Ultralytics YOLO27: ウェイトリストに登録する
YOLOのライセンス
Ultralytics用語集に戻る

Speech-to-Text

音声テキスト変換(STT)、すなわち自動音声認識では、Whisperなどのニューラルモデルを使って話し言葉の音声を書き起こし、単語誤り率で評価します。

音声テキスト変換(STT)は、自動音声認識(ASR)または単に音声認識とも呼ばれ、音声をテキストに変換します。STTモデルは波形を時間周波数表現に変換し、ニューラルネットワークを使って文字またはサブワードに対応付け、句読点、タイムスタンプ、話者ラベルなどを含むことが多い文字起こしを出力します。STTは、音声アシスタント、ライブ字幕、会議メモ、通話分析の入力レイヤーであり、文字起こしは検索、要約、意図検出のための自然言語処理(NLP)に活用されます。ラベルのない音声を使った自己教師あり事前学習や、OpenAIのWhisperがインターネット上の68万時間分の多言語音声で学習した例に見られる大規模な弱教師あり学習により、現代のシステムはさまざまなアクセントや背景雑音、数十の言語に対して高い精度を実現しています。

音声テキスト変換の仕組み#

まず音声を再サンプリングし、Whisperでは16 kHzに変換した後、時間経過に伴う周波数帯ごとのエネルギーを格子状に表す対数メルスペクトログラムに変換します。Whisperは10ミリ秒間隔の25ミリ秒ウィンドウで80個のメル帯域を計算し、large-v3モデルでは128個の帯域を使います。畳み込み層とTransformer層で構成される音響エンコーダーが、これらのフレームを特徴に変換します。Conformerエンコーダーは、局所的な音のパターンを捉える畳み込みと、発話の離れた部分同士を関連付ける自己アテンションを交互に配置しており、外部言語モデルを使わずにLibriSpeechのtest-cleanとtest-otherで、それぞれ2.1%と4.3%の単語誤り率を達成しました。エンコーダーの特徴をテキストに変換するデコーダーには、3つの系統があります。

  • コネクショニスト時間分類(CTC):音声フレームごとに文字、単語サブピース、またはブランクを予測し、その後、繰り返しをまとめてブランクを削除します。すべてのフレームを並列にデコードするため、CTCは高速です。
  • トランスデューサー:RNN-Tとその後継モデルは、音声フレームの到着に合わせてトークンを出力するため、スマートフォンやライブ字幕でのストリーミング認識に適しています。
  • アテンション型エンコーダー・デコーダー:テキストデコーダーが、エンコードされた音声にアテンションを向けながら、トークンを1つずつ生成します。Whisperはこの方式で30秒のウィンドウをデコードし、専用トークンを使って言語の識別、タイムスタンプの予測、英語への翻訳も行います。

ストリーミングシステムでは、音声が届くにつれて変化する途中段階の文字起こしが表示され、話者が間を置くとセグメントが確定します。

デコード後、逆テキスト正規化によって「twenty five dollars」のような話し言葉を「$25」のように書き換え、話者ダイアライゼーションによって誰がいつ話したかに基づいて文字起こしを分割します。

学習データとモデル#

  • 自己教師あり事前学習:Metaのwav2vec 2.0は、ラベルのない音声の一部をマスクすることで、音声表現を学習します。ラベルのない音声5万3,000時間で事前学習し、文字起こし済み音声をわずか10分使ってファインチューニングしたところ、LibriSpeechのcleanとotherのテストセットで単語誤り率4.8%と8.2%を達成しました。
  • 大規模な弱教師あり学習:Whisperは、オンラインで見つかる不完全な文字起こしと音声を組み合わせて学習します。モデルのパラメーター数はtinyの3,900万からlargeの15億5,000万まであります。809百万パラメーターの最適化版large-v3であるturboモデルは、largeの約8倍の速度で動作します。
  • ハルシネーション:アテンション型デコーダーは言語モデルのように振る舞うため、無音や雑音を受けて、流暢なテキストを作り出すことがあります。Careless Whisperの研究では、Whisperによる文字起こしの約1%に、音声には存在しない語句や文が丸ごと含まれており、話者の長い沈黙がある場合に発生しやすいことが明らかになりました。
  • 音声認識とASR:音声テキスト変換の同義語です。
  • 話者認識とダイアライゼーション:何が話されたかではなく、誰が話しているかを特定します。ダイアライゼーションでは録音を話者ごとのセグメントに分類するため、議事録の各発言に話者を割り当てられます。
  • 自然言語理解(NLU):「7時に2人で食事を予約して」のような発話から、意図やエンティティなど、文字起こしの意味を解釈します。
  • 音声合成(TTS):テキストから音声を生成する逆方向の処理です。音声アシスタントは、STT、大規模言語モデル、TTSを連携させます。

実際のアプリケーション#

  • 字幕とアクセシビリティ:スマートフォン、動画プラットフォーム、会議ソフトウェアのライブ字幕により、聴覚障害のある人や難聴の人も音声を利用でき、誰もが内容を検索できるようになります。
  • 臨床文書作成:環境音声を使う書記支援システムは、医師と患者の会話を文字起こしし、電子カルテ用の臨床記録を下書きします。
  • コンタクトセンター:通話の文字起こし結果は、検索、コンプライアンス確認、感情分析に活用されます。
  • ビジョンシステムの音声制御:「赤いバックパックを見つけて」のような文字起こし済みのコマンドを、YOLOE-26へのテキストプロンプトとして使います。YOLOE-26はUltralytics YOLO26のオープン語彙版であり、推論時に指定されたカテゴリが学習クラスに含まれていなくても、そのカテゴリを検出してセグメンテーションできます。

精度の測定#

単語誤り率(WER)は、文字起こしを正解テキストに変換するために必要な置換、削除、挿入の数を数え、正解テキストの単語数で割って求めます。次のコードは、単語単位の編集距離を使ってWERを計算します。

import numpy as np

reference = ["turn", "on", "the", "kitchen", "lights"]
hypothesis = ["turn", "of", "the", "kitchen", "light", "please"]

# Edit distance over words: d[i, j] is the cheapest way to turn the first i reference words into the first j hypothesis words
d = np.zeros((len(reference) + 1, len(hypothesis) + 1), dtype=int)
d[:, 0] = np.arange(len(reference) + 1)  # deletions
d[0, :] = np.arange(len(hypothesis) + 1)  # insertions
for i in range(1, len(reference) + 1):
    for j in range(1, len(hypothesis) + 1):
        substitution = d[i - 1, j - 1] + (reference[i - 1] != hypothesis[j - 1])
        d[i, j] = min(substitution, d[i - 1, j] + 1, d[i, j - 1] + 1)

# Word error rate: (substitutions + deletions + insertions) / words in the reference
print(f"{d[-1, -1]} errors / {len(reference)} words = WER {d[-1, -1] / len(reference):.0%}")

3 errors / 5 words = WER 60%が出力されます。「on」に対する「of」と、「lights」に対する「light」は置換であり、「please」は挿入です。挿入も数えるため、WERは100%を超えることがあります。Open ASR Leaderboardなどのベンチマークでは、スコアを計算する前に大文字・小文字、句読点、綴りの違いを正規化するため、「Lights.」と「lights」は一致します。中国語や日本語のように単語間にスペースを入れない言語は、代わりに文字誤り率で評価します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう