中国のAI企業DeepSeekが、1.2兆パラメータを持つ次世代モデル「R2」の開発を進めている。R2はHuaweiのAscend 910Bチップでトレーニングされ、GPT-4oと比較してトレーニングコストが97.3％も低いと報告された。

R2はハイブリッドMoEアーキテクチャを採用し、AIワークロードの最適化と高効率化を狙う設計が特徴である。トレーニングデータは5.2PB、COCOベンチマークで92.4％、C-Eval2.0で89.7％のスコアを達成している。

中国企業によるAI分野での垂直統合の動きが加速する中、DeepSeekの取り組みはコスト競争力と独自技術の両面で注目を集めている。

DeepSeek R2は1.2兆パラメータとハイブリッドMoEを採用し圧倒的性能を追求

DeepSeekが開発を進めるR2モデルは、1.2兆パラメータという大規模構成を誇り、前モデルR1から倍増した性能を実現している。さらに、ハイブリッドMoE（Mixture of Experts）アーキテクチャを採用することで、従来のMoEに比べ、密結合層と専門家層を組み合わせた高度なワークロード最適化を可能にした。これにより、タスクごとに専門的な応答を迅速に切り替える柔軟性を備え、生成AIの応答精度や処理効率を大幅に向上させている。

R2は、入力トークンあたり0.07ドル、出力トークンあたり0.27ドルという極めて低いコストで運用可能とされており、同時にC-Eval2.0ベンチマークでは89.7%、COCOベンチマークでは92.4%という高いスコアを記録している。この数値は、AI性能を測る上で極めて高水準であり、特に企業向けの実運用において強力な武器となることが期待される。

これらの特徴を踏まえると、DeepSeek R2は単なる大規模モデルの更新に留まらず、次世代AIモデルの新たな設計思想を具現化しようとする試みとも捉えられる。今後、運用開始時の実際のパフォーマンスが注目される展開である。

Huawei Ascend 910Bチップの高効率活用がもたらす独自のトレーニング体制

DeepSeek R2は、HuaweiのAIチップ「Ascend 910B」を利用してトレーニングされており、82%という高い利用率を維持しているとされる。この数字は、通常のトレーニング作業におけるリソース利用効率としては極めて高水準であり、FP16精度において512 PetaFLOPSという計算性能を引き出している。これにより、1.2兆パラメータという膨大なモデルを迅速かつ効率的にトレーニングできる環境が整えられている。

また、DeepSeekが社内機器のみを用いてR2を開発している点も大きな特徴である。外部クラウドリソースに依存せず、自社内で完結するトレーニング体制は、セキュリティやコスト最適化の観点からも重要な意味を持つ。中国国内におけるAI開発において、こうした垂直統合型アプローチは徐々に主流になりつつある。

この動きを見る限り、今後のAIモデル開発において、リソースの内製化と独自チップ活用が競争力の鍵を握る可能性が高まると考えられる。特にコストと性能を両立する手法として、他社の追随も十分にあり得る状況である。

Source：TweakTown