PrismML、3値化LLM「Bonsai 2」小型3モデルを公開

米AIスタートアップのPrismMLは、モデルの重みを{-1, 0, +1}の3つの値のみで表現する「3値化LLM（重みを3値に制約し1.58ビット相当の極小容量で動作させる量子化モデル）」の新シリーズとして、「Ternary Bonsai 2」の2B（20億）、4B（40億）、9B（90億）の3モデルを追加公開しました。オープンソース（Apache 2.0ライセンス）としてHugging Faceで配布されており、フル精度モデルの9分の1以下という極小メモリで、スマートフォンやPC上で高速なオンデバイスAIエージェントを実行できます。

容量9分の1でiPhone上120tok/sを達成

「Ternary Bonsai 2」は、Alibabaの「Qwen3.5」をベースに3値量子化技術を適用して開発されました。すでに公開済みの27Bモデルと合わせて4サイズ展開となります。

• ​極限の小型化​: モデル容量は2Bが0.43GB、4Bが0.95GB、9Bが2.00GBに抑えられています。いずれも元のフル精度モデルと比較して9分の1以下のフットプリントです。
• ​オンデバイスでの高速推論​: 公式発表によると、iPhone 18 Pro Max上で2Bモデルが最大120 tok/s、9Bモデルが最大34 tok/sで動作します。また、MacBook M5 ProやGeForce RTX 4090環境では2Bモデルで最大276 tok/s、9Bモデルで最大124 tok/sを記録し、フル精度比で最大3倍のエネルギー効率と最大5倍のスループットを達成しています。
• ​マルチモーダルとツール実行対応​: テキスト生成だけでなく、画像理解（ビジョン）やツール呼び出し（Function Calling）に対応しており、スマートグラス（Snapdragon AR1 Gen 1搭載機）などのウェアラブル端末での動作も視野に入れています。

ベンチマーク維持率と未確認事項の整理

国内報道（PC Watch）と公式リリースから、各分野における性能維持率とトレードオフを整理すると以下のようになります。

評価分野	元モデル（Qwen3.5）に対するスコア維持率	特記事項・トレードオフ
指示追従（Instruction）	100%以上	冗長さを抑え、日常タスクの消費トークン数を約40%削減
コーディング	100.1%以上	フル精度と同等以上の実装能力を維持
数学（Math）	98.2%以上	計算処理における劣化は極めて軽微
ツール呼び出し	90%以上	モバイル端末上でのエージェント動作に必要な水準をクリア
画像理解（Vision）	89〜92.5%	軽量モデルながら一定の視覚認識精度を維持
専門知識・推論	82.9〜93.0%	2BのGPQADiamondで元モデルの67.7%（39.6点）にとどまる低下を確認

指示追従やコード生成、ツール実行といったエージェント動作の基盤性能はほぼ完全に維持されている一方、難関の知識・推論タスクでは顕著なスコア低下が見られます。高度な専門知識の回答にはクラウドモデルを併用し、端末上の即時操作や要約にはBonsai 2を割り当てるといったハイブリッド運用が現実的な選択肢となります。

分析と今後の展望

スマートフォンのメモリ（RAM）制約が厳しいなか、1GB未満で動作し100 tok/sを超える3値化モデルの実用化は、オンデバイスAIの普及を大きく加速させます。特にAppleのMacやiPhone、さらにはスマートグラスなど、消費電力と発熱が問題となる小型端末において、重いクラウド通信を行わずにローカル完結でUI操作や視覚支援を行えるメリットは絶大です。モデルの極小化技術が急速に進むなか、今後は知識性能の補完手法（RAGやクラウド連携）の最適化が焦点となります。

引用元：PrismML | PC Watch