編集部
メタは最新のオープンソース生成AIモデル「Llama 3」を発表した。この新しいモデルは、80億および700億のパラメータを持つ二つのバリエーションで構成されており、先代のLlama 2と比較して著しく性能が向上している。
Llama 3は、特定のAIベンチマークで既存のモデルを上回る結果を示しており、その中にはMMLUやHumanEvalなどが含まれる。これらのベンチマークは、モデルの知識習得能力やテキスト上の推論力を測定するものである。
さらに、Llama 3のトレーニングには、Llama 2の約7倍のデータセットが使用され、長文ドキュメントの生成能力が強化されている。このモデルは、コーディング、クリエイティブライティング、推論、要約など多岐にわたる用途で優れたパフォーマンスを発揮している。
Llama 3の新機能と性能向上の詳細
メタがリリースしたLlama 3は、8ビリオンと70ビリオンのパラメータを持つ二つのモデルで構成されており、これにより処理能力と応答の質が大幅に向上した。前モデルのLlama 2と比較して、新たに追加された機能には、質問への回答拒否率の低減や、トリビア、歴史、STEM分野に関するクエリの正確性が向上している。
さらに、AIの安全性を高めるための新しいデータフィルタリングパイプラインが導入され、Llama GuardとCybersecEvalという二つのAI安全スイートがアップグレードされた。これらの改善により、モデルの適用範囲が広がり、多様なプラットフォームでの利用が可能になっている。
AIベンチマークにおけるLlama 3の優位性
Llama 3 8Bは、7ビリオンのパラメータを持つ他のオープンモデル、MistralのMistral 7BやGoogleのGemma 7Bを含む競合他社のモデルを9つのベンチマークで上回っている。これには、MMLU、ARC、DROP、GPQA、HumanEval、GSM-8K、MATH、AGIEval、BIG-Bench Hardが含まれる。
その一方で、70ビリオンのパラメータを持つLlama 3 70Bは、Gemini 1.5 ProやAnthropicのClaude 3 Sonnetといった旗艦モデルと競合し、特定のベンチマークで優れた性能を発揮している。これにより、MetaのLlama 3は、生成AIモデルの中でも最高峰の位置に立つことができた。
データセットと安全対策の進化
Llama 3のトレーニングに用いられたデータセットは、Llama 2のものと比較して約7倍の規模に拡大された。これには、コード量が4倍に増加したことも含まれる。この大規模なデータセットにより、モデルはより複雑な問題解決能力を獲得し、長文ドキュメントの生成においてもその力を発揮する。
新たに開発されたテストセットは、コーディング、クリエイティブライティング、推論、要約といった多様な使用シナリオをカバーしており、これによりLlama 3 70Bは、多くの競合他社のモデルよりも優れたパフォーマンスを示している。また、生成AIモデルの毒性や偏見に対する懸念に応じて、新しいデータフィルタリングパイプラインが導入されている。
Llama 3のアクセス性と使用上の制約
Llama 3モデルは現在、ダウンロード可能であり、メタのAIアシスタントを通じてFacebook、Instagram、WhatsApp、Webなど様々なプラットフォームで利用されている。近い将来、このモデルはDatabricks、AWS、Google Cloud、Hugging Face、Kaggle、IBMのWatsonX、Microsoft Azure、NVIDIAのNIM、Snowflakeといった広範なクラウドプラットフォームで管理される形で提供される予定である。
しかし、Llamaモデルの使用には一定の制約が設けられている。開発者は、これを利用して他の生成モデルを訓練することが禁止されており、700万月間ユーザーを超えるアプリ開発者は特別なライセンスをメタから取得する必要がある。さらに、メタは現在、400ビリオン以上のパラメータを持つ更に大きなLlama 3モデルのトレーニングを行っており、これによりモデルの多言語対応や画像とテキストの理解能力が向上することを目指している。
AI界の新星、Llama 3の隆盛
メタによるLlama 3の公開は、AIの星座に新たな光を投げかけた。このモデルは、技術の大海原を航海する船のように、未知の領域へと突き進む力を秘めている。Llama 3は、先代モデルと比較して格段に進化した機能を搭載しており、これまでのAI技術の限界を押し広げる役割を担っている。
その性能は、AIベンチマークの競技場で競合他社を圧倒し、特に高度な問題解決能力や推論力でその優位性を証明している。これはまるで、知識の宇宙を自在に航行する宇宙船が、他の追随を許さずに疾走するかのようだ。Llama 3が持つ先進的な学習能力と適応性は、AIという大きな海での新たな航路を切り開く力となり得る。
この技術的飛躍は、一つの時代の終わりと新しい章の始まりを告げるものであり、Llama 3は今後、多くのアプリケーションでその価値を発揮することだろう。未来のAI技術を象徴する灯台となり、夜の海を照らす光となる期待が寄せられている。