Microsoftは、1.58ビットの低精度でネイティブに訓練された大規模言語モデル「BitNet b1.58 2B4T」を発表した。

20億パラメータと4兆トークンによる学習を経た本モデルは、標準的なCPU上で動作可能でありながら、トークンあたりのエネルギー消費を最大85%削減し、遅延も従来の最大4分の1に抑えたとされる。特にGSM8KやWinoGrandeなど複数のベンチマークにおいて、INT4量子化モデルや高精度モデルと比較しても遜色ない性能を実証している。

BitNetの中核には、独自の「BitLinear層」と1.58ビット重みを用いた量子化戦略がある。これにより、汎用GPU環境では得られない効率性を、専用フレームワークbitnet.cppにより最大限に引き出す構造となっている。モデルはMITライセンスで公開されており、今後は多言語化やNPU対応の強化も計画されている。

BitNetが実現したCPU上での高効率AI処理

Microsoftの新型LLM「BitNet b1.58 2B4T」は、20億パラメータを持ちながらも1.58ビットという極めて低精度な重みで訓練された点が特徴である。これは、従来の事後量子化型モデルとは異なり、トレーニング過程から低ビット構成を前提としたアーキテクチャによって成立している。埋め込みを除いたメモリ使用量はわずか0.4GBであり、Gemma-3やMiniCPMといった競合モデルと比較しても大幅な軽量化を実現した。

この効率性は、Intel Core i7-13800Hといった汎用CPU上での検証によって裏付けられており、トークンあたりのエネルギー消費は0.028ジュール、トークン処理遅延は29ミリ秒と報告されている。

モデル全体はTransformerを基盤にしているが、線形層のBitLinear化やReLU²などの関数変更によって、計算構造が低ビットに最適化されている。これにより、専用GPUを用いずとも、高効率な推論が可能となった点が最大の意義である。

BitNetは、オープンソースのLLMの中でも、現実的な運用を意識した軽量設計とエネルギー効率の両立を図った稀有な事例である。今後、クラウドリソースに依存しないエッジAIの分野においても、このような軽量LLMの存在感は着実に高まっていくと考えられる。

積極的量子化と三値化がもたらす学習効率の革新

BitNet b1.58 2B4Tは、学習段階から重みの三値化を行うという設計方針に基づいており、これは-1、0、+1という3つの値のみを重みに許容する方式である。

この方式では、1つの重みに必要な情報量は理論上log₂(3)≒1.58ビットとされる。Microsoftは、従来のPTQ（Post Training Quantization）に見られる性能劣化を回避する手段として、この方式を導入した。加えて、活性化出力についても「absmax」方式により8ビット整数に量子化しており、モデル全体としてW1.58A8構成を採用している。

このような前例の少ない積極的量子化戦略によって、モデルのメモリ効率と実行速度は著しく向上している。加えて、バイアス項の排除やRoPEによる位置エンコーディングの導入、sublnによる安定性強化など、Transformerの構造自体にも細かく手が加えられており、全体の整合性と最適性が保たれている。これにより、学習段階から一貫した軽量処理が実現されている。

この三値化重み戦略は、今後のLLM設計において新たな定石となる可能性を持つが、適用可能なアーキテクチャやドメインには慎重な検討が求められる。単なる低ビット化ではなく、モデル構造と一体化した設計が不可欠であることを、BitNetの事例は示している。

高効率を活かすための専用実装とハードウェア最適化の課題

BitNet b1.58 2B4Tは、理論上は標準的なCPU上でも動作可能とされているが、実際の効率性を得るには専用のC++実装「bitnet.cpp」の使用が不可欠とされている。

これは、汎用的なtransformersライブラリでは、BitNet特有の演算構造に最適化されていないためである。bitnet.cppは、llama.cppをベースに、ルックアップテーブルによる高速化と低消費電力化を実現しており、x86およびARMチップ環境において最大82%のエネルギー削減と6.17倍の速度向上を報告している。

一方で、GPU上での動作については、カスタムCUDAカーネルや重みのパッキング処理が必要であり、現時点ではGPU親和性は限定的である。これは、GPU向けの最適化が進んでいないことに起因しており、Microsoftは将来的にGPUおよびNPU対応の強化を視野に入れているとされる。

BitNetの真価は、汎用ハードウェアでの軽量運用にあるが、それを支えるソフトウェア基盤の整備が今後の普及に向けた鍵となる。特に、一般ユーザーや企業が容易に導入可能なエコシステムが形成されるか否かが、BitNetがLLM市場に与える影響の大きさを左右する。

Source：WinBuzzer