オープンソース陣営の劇的な反撃！Metaが「Llama 3」を正式公開：最高峰の性能と開発者コミュニティへの大激震

生成AIの世界には、対極をなす2つの思想が存在します。1つは OpenAI や Google に代表される「プロプライエタリな商用クラウド」、もう1つは Meta が主導する「重み（Weights）を一般公開するオープンソースエコシステム」です。

2024年4月18日、Meta のマーク・ザッカーバーグ CEO は、オープン陣営にとって決定的な勝利を告げるモデル「Llama 3」の第1弾（8Bおよび70Bパラメータ）を正式にリリースしました。

「オープンソースモデルは商用クローズドモデルより半年から1年遅れている」というこれまでの常識は、この発表によって完全に過去のものとなりました。Llama 3 は同規模モデルの性能基準を大幅に塗り替えただけでなく、ノートPCなどの手元環境で実用的な知能を完全オフライン駆動できる時代を切り拓いたのです。

1. 劇的進化の理由：15兆トークン学習とトークナイザー刷新

Llama 3 がパラメータ数を無暗に増やさずに圧倒的な知能を獲得できた秘訣は、学習データの圧倒的なスケールと品質管理にあります：

1. 15兆（15T）トークンという未曾有のデータ量：
   • Llama 2（2兆トークン）の約7倍に拡大。高品質なプログラミングコードや30以上の多言語データを贅沢に投入しました。
   • 自社AIを活用した高度なフィルタリングパイプラインにより、低品質なウェブノイズを徹底排除しています。
2. 128K トークナイザーの全面採用：
   • 語彙数を従来の4倍に拡張した12.8万トークンの辞書を採用。コードや非英語テキストの圧縮効率が約15%向上し、推論速度が劇的に改善しました。
3. グループクエリアテンション（GQA）の標準搭載：
   • 8B・70Bの全モデルで GQA を採用。長文コンテキスト処理時のメモリ消費を最小限に抑え、一般的な市販グラフィックボード（RTX 4060等）でも快適に動作します。

2. 驚異のベンチマーク：8B が旧型大型モデルを圧倒

標準的なテストセットにおいて、Llama 3 は驚くべきスコアを記録しました：

• Llama 3 8B：MMLU（知識）で 68.4%、GSM8K（数学）で 79.6%、HumanEval（コード）で 62.2% を記録。数GBのVRAMで動く小型モデルが、以前の大規模サーバー向けモデルを凌駕する結果となりました。
• Llama 3 70B：MMLU で 82.0%、GSM8K で 93.0%、HumanEval で 81.7% を達成。Claude 3 Sonnet や初期の GPT-4 に匹敵する実力を示しました。

人間のテスターによるブラインド評価においても、コードのバグ修正や長文要約、クリエイティブライティングにおいて極めて高い支持を獲得しています。

3. ザッカーバーグの戦略：なぜ無償公開するのか？

数億ドル規模のGPUインフラと電力を投じて開発したモデルを、なぜ Meta は世界に無料で配るのでしょうか？

• ライバルの価格支配力を削ぐ：最高峰のAIが誰でも無料で手に入るようになれば、OpenAI 等のAPI課金による囲い込みを阻止できます。
• 世界中の知見を無償で吸収する：世界中の開発者が軽量化手法（LoRA）や推論高速化ツール（vLLM）を自発的に開発し、Meta はその果実を自社のインフラに還元できます。
• ウェアラブル端末への布石：Ray-Ban スマートグラスや Quest ヘッドセットなど、Meta が注力するハードウェアのエッジAI基盤として活用されます。

Llama 3 の登場は、オープンソースコミュニティの活力が巨大テック企業の独占に対する最も強力な牽制力であることを証明しました。