出来事の日付：2026年11月5日

百度（Baidu）は、専門用途の学習に取り組む開発者の出発点となるよう設計した、疎な混合エキスパート（MoE）型言語モデル「ERNIE 5.5 Flash Base」の重みを公開した。総パラメーター数は2800億だが、各トークンで活性化するのは140億で、はるかに大きなネットワークの容量を維持しながら計算量を抑える構造を採用している。

同社によると、このチェックポイントは33兆5000億トークンを使い、ゼロから学習された。事前学習では最大12万8000トークンの系列を用いた一方、モデルの構造はファインチューニングと推論で最大100万トークンのコンテキストに対応する。公開された重みは事前学習を終えた段階のもので、指示チューニングや強化学習などの事後学習はまだ施していない。

この違いにより、今回の公開物は完成した対話製品ではなく、研究者向けの基盤という位置付けになる。開発者は大規模な事前学習の費用をすべて負担することなく、特定分野向けに調整したり、指示に従う挙動を学習させたり、新しい強化学習手法を試したりできる。百度は、リポジトリ規模のコードや長いコンテキストの理解など、後から加えることが難しい能力を学習コーパスで重視したとしている。

ERNIE 5.5 Flash Baseは、43のTransformer層、4096の隠れ次元、64のアテンションヘッドを備える。効率化の中心となるのは、コンテキスト全体へのアテンションと圧縮アテンションを組み合わせる手法だ。7層に1層はマルチヘッド潜在アテンションを使い、履歴全体へトークン単位でアクセスできるようにする。残る大半の層は、直近のトークンを保持する短いウィンドウを確保しつつ、128トークンの各ブロックを1つのキャッシュエントリーへ圧縮する。

この設計は、キー・バリュー（KV）キャッシュに必要なメモリーを削減する。KVキャッシュは、モデルが長文を処理したり、エージェントとの長時間の対話を維持したりする際、大きなコスト要因になり得る。コンテキスト全体を扱う層でも疎なアテンションを用い、インデクサーがクエリーごとに過去の最も関連性の高い位置を選ぶことで、アテンションの計算量がコンテキスト全体の長さにそのまま比例して増えないようにしている。

百度は、ほかにも複数の実験的な構成要素を導入した。マルチルーター方式では、エキスパートの選択時に、独立して初期化した複数のルーターのスコアを組み合わせ、入力のノイズに選択が左右されにくくなることを目指す。ネットワークの大部分では、従来の単一の残差経路に代わり、4本の並列残差ストリームを採用する。出力層は学習による区分的な温度を使い、可能性の低い次トークンを抑制しながら、複数のもっともらしい候補を残すことを狙っている。

また、独立したマルチトークン予測モジュールに代えて、「ECHO」と呼ぶ手法を採用した。これは基幹モデルの最終層を再利用して将来のトークンを予測するもので、百度は、将来のトークンから得られる学習信号を、付加的なモジュールよりも主モデルへ多く伝える仕組みだと説明している。

今回の公開により、オープンモデルのコミュニティーは、際立って長いコンテキストへの対応を目指す大規模なベースチェックポイントを利用できるようになる。ただし、実用上の価値は独立した検証と、その後の学習の質に左右される。百度による性能や効率の説明は開発元自身の主張であり、公開されたベースの重みは、まだ汎用アシスタントとして調整されたものではない。