Speech-to-Text
音声テキスト変換(STT)、すなわち自動音声認識では、Whisperなどのニューラルモデルを使って話し言葉の音声を書き起こし、単語誤り率で評価します。
音声テキスト変換(STT)は、自動音声認識(ASR)または単に音声認識とも呼ばれ、音声をテキストに変換します。STTモデルは波形を時間周波数表現に変換し、ニューラルネットワークを使って文字またはサブワードに対応付け、句読点、タイムスタンプ、話者ラベルなどを含むことが多い文字起こしを出力します。STTは、音声アシスタント、ライブ字幕、会議メモ、通話分析の入力レイヤーであり、文字起こしは検索、要約、意図検出のための自然言語処理(NLP)に活用されます。ラベルのない音声を使った自己教師あり事前学習や、OpenAIのWhisperがインターネット上の68万時間分の多言語音声で学習した例に見られる大規模な弱教師あり学習により、現代のシステムはさまざまなアクセントや背景雑音、数十の言語に対して高い精度を実現しています。
音声テキスト変換の仕組み#
まず音声を再サンプリングし、Whisperでは16 kHzに変換した後、時間経過に伴う周波数帯ごとのエネルギーを格子状に表す対数メルスペクトログラムに変換します。Whisperは10ミリ秒間隔の25ミリ秒ウィンドウで80個のメル帯域を計算し、large-v3モデルでは128個の帯域を使います。畳み込み層とTransformer層で構成される音響エンコーダーが、これらのフレームを特徴に変換します。Conformerエンコーダーは、局所的な音のパターンを捉える畳み込みと、発話の離れた部分同士を関連付ける自己アテンションを交互に配置しており、外部言語モデルを使わずにLibriSpeechのtest-cleanとtest-otherで、それぞれ2.1%と4.3%の単語誤り率を達成しました。エンコーダーの特徴をテキストに変換するデコーダーには、3つの系統があります。
- コネクショニスト時間分類(CTC):音声フレームごとに文字、単語サブピース、またはブランクを予測し、その後、繰り返しをまとめてブランクを削除します。すべてのフレームを並列にデコードするため、CTCは高速です。
- トランスデューサー:RNN-Tとその後継モデルは、音声フレームの到着に合わせてトークンを出力するため、スマートフォンやライブ字幕でのストリーミング認識に適しています。
- アテンション型エンコーダー・デコーダー:テキストデコーダーが、エンコードされた音声にアテンションを向けながら、トークンを1つずつ生成します。Whisperはこの方式で30秒のウィンドウをデコードし、専用トークンを使って言語の識別、タイムスタンプの予測、英語への翻訳も行います。
ストリーミングシステムでは、音声が届くにつれて変化する途中段階の文字起こしが表示され、話者が間を置くとセグメントが確定します。
デコード後、逆テキスト正規化によって「twenty five dollars」のような話し言葉を「$25」のように書き換え、話者ダイアライゼーションによって誰がいつ話したかに基づいて文字起こしを分割します。
学習データとモデル#
- 自己教師あり事前学習:Metaのwav2vec 2.0は、ラベルのない音声の一部をマスクすることで、音声表現を学習します。ラベルのない音声5万3,000時間で事前学習し、文字起こし済み音声をわずか10分使ってファインチューニングしたところ、LibriSpeechのcleanとotherのテストセットで単語誤り率4.8%と8.2%を達成しました。
- 大規模な弱教師あり学習:Whisperは、オンラインで見つかる不完全な文字起こしと音声を組み合わせて学習します。モデルのパラメーター数はtinyの3,900万からlargeの15億5,000万まであります。809百万パラメーターの最適化版large-v3であるturboモデルは、largeの約8倍の速度で動作します。
- ハルシネーション:アテンション型デコーダーは言語モデルのように振る舞うため、無音や雑音を受けて、流暢なテキストを作り出すことがあります。Careless Whisperの研究では、Whisperによる文字起こしの約1%に、音声には存在しない語句や文が丸ごと含まれており、話者の長い沈黙がある場合に発生しやすいことが明らかになりました。
音声テキスト変換と関連用語の比較#
- 音声認識とASR:音声テキスト変換の同義語です。
- 話者認識とダイアライゼーション:何が話されたかではなく、誰が話しているかを特定します。ダイアライゼーションでは録音を話者ごとのセグメントに分類するため、議事録の各発言に話者を割り当てられます。
- 自然言語理解(NLU):「7時に2人で食事を予約して」のような発話から、意図やエンティティなど、文字起こしの意味を解釈します。
- 音声合成(TTS):テキストから音声を生成する逆方向の処理です。音声アシスタントは、STT、大規模言語モデル、TTSを連携させます。
実際のアプリケーション#
- 字幕とアクセシビリティ:スマートフォン、動画プラットフォーム、会議ソフトウェアのライブ字幕により、聴覚障害のある人や難聴の人も音声を利用でき、誰もが内容を検索できるようになります。
- 臨床文書作成:環境音声を使う書記支援システムは、医師と患者の会話を文字起こしし、電子カルテ用の臨床記録を下書きします。
- コンタクトセンター:通話の文字起こし結果は、検索、コンプライアンス確認、感情分析に活用されます。
- ビジョンシステムの音声制御:「赤いバックパックを見つけて」のような文字起こし済みのコマンドを、YOLOE-26へのテキストプロンプトとして使います。YOLOE-26はUltralytics YOLO26のオープン語彙版であり、推論時に指定されたカテゴリが学習クラスに含まれていなくても、そのカテゴリを検出してセグメンテーションできます。
精度の測定#
単語誤り率(WER)は、文字起こしを正解テキストに変換するために必要な置換、削除、挿入の数を数え、正解テキストの単語数で割って求めます。次のコードは、単語単位の編集距離を使ってWERを計算します。
import numpy as np
reference = ["turn", "on", "the", "kitchen", "lights"]
hypothesis = ["turn", "of", "the", "kitchen", "light", "please"]
# Edit distance over words: d[i, j] is the cheapest way to turn the first i reference words into the first j hypothesis words
d = np.zeros((len(reference) + 1, len(hypothesis) + 1), dtype=int)
d[:, 0] = np.arange(len(reference) + 1) # deletions
d[0, :] = np.arange(len(hypothesis) + 1) # insertions
for i in range(1, len(reference) + 1):
for j in range(1, len(hypothesis) + 1):
substitution = d[i - 1, j - 1] + (reference[i - 1] != hypothesis[j - 1])
d[i, j] = min(substitution, d[i - 1, j] + 1, d[i, j - 1] + 1)
# Word error rate: (substitutions + deletions + insertions) / words in the reference
print(f"{d[-1, -1]} errors / {len(reference)} words = WER {d[-1, -1] / len(reference):.0%}")3 errors / 5 words = WER 60%が出力されます。「on」に対する「of」と、「lights」に対する「light」は置換であり、「please」は挿入です。挿入も数えるため、WERは100%を超えることがあります。Open ASR Leaderboardなどのベンチマークでは、スコアを計算する前に大文字・小文字、句読点、綴りの違いを正規化するため、「Lights.」と「lights」は一致します。中国語や日本語のように単語間にスペースを入れない言語は、代わりに文字誤り率で評価します。










