独立した実験プロジェクトが、Googleの埋め込みモデルEmbeddingGemma 2を、基盤モデルを再学習させずに音声文字起こしシステムへ転用した。開発者によると、この試作システムは、録音データを端末内にとどめたまま、標準構成のM3 MacBook Airで1時間分の音声をおよそ13秒で処理できる。

EmbeddingGemma 2は、テキスト、画像、音声、動画を共通の数学的空間に配置するよう作られている。形式が違っても似た概念は近い位置に来るはずで、例えば、発話された単語の音を、文字で書かれた同じ単語の近くに表現できる。Embedding Gemma Transcribeと名付けられたこのプロジェクトは、軽量な読み出しモデルが、その共通表現から直接テキストを取り出せるかを検証する。

学習させたのは読み出しモデルだけだ。開発者によると、オープンライセンスの英語音声を使い、Nvidia H100アクセラレーター8基で2時間未満の学習を行った。元のEmbeddingGemma 2モデルは変更せず、そもそも音声認識モデルとして学習されたものでもない。そのため、このプロジェクトは、従来型のエンドツーエンドの文字起こしモデルではなく、汎用的なマルチモーダル表現を別の用途に転用する方法の実証となっている。

チームが報告する単語誤り率は約5％だ。主要な音声専用モデルはおよそ2～3％に達するとしており、この試作品の精度はまだ最良のシステムには及ばない。開発者は、読み出しモデルの学習を改善すれば差を縮められると考えているが、それは実証済みの成果ではなく、今後の目標だ。

性能の数値も慎重に解釈する必要がある。プロジェクトは、独自のM3 MacBook Airでのテストを、より大型で新しいMacと別の音声を使って測定されたFluidAudioの公開ベンチマークと比較している。ウェブサイトは、その表を同条件の順位表ではなく、大まかな目安と明記している。直接の裏付けがある主張は、標準構成のM3搭載機で1時間の音声を処理するのに約13秒かかったという、チーム自身の結果だ。

アプリケーションには、ファイルの文字起こしと、キーを押している間だけ話す音声入力モードがある。利用者は右側のOptionキーを押したまま話し、離すことで、認識されたテキストを別のアプリケーションに送れる。推論はMacのNeural Engine上で動き、開発者によると、音声がコンピューターの外に出ることはない。こうした特徴から、この試作品の最も明確な魅力は、ベンチマークで首位となる精度ではなく、プライバシーと遅延の小ささにある。

この実験は、比較的小さなデコーダーでも有用な文字起こしを抽出できるほどの、音声とテキストの対応関係が、マルチモーダル埋め込みモデルに含まれている可能性を示す。ただし、どの埋め込みモデルでも同様に転用できることを示したわけではなく、言語、アクセント、騒がしい環境をまたぐ統制された評価に代わるものでもない。現時点では、非常に高い処理速度を報告し、精度の差を明示し、さらなる学習への明確な道筋を備えた、範囲を絞った概念実証だ。