1兆パラメータのMoEモデル「Inkling」

AIスタートアップのThinking Machinesは、画像・テキスト・音声をネイティブに入力できる、総パラメータ数975B（約1兆）規模のオープンMoE（混合専門家）マルチモーダルモデル「​Inkling​」をHugging Faceで公開しました。100万トークン（1M）という極めて長大なコンテキストウィンドウをサポートし、高性能なオープンモデル市場に新たな風を吹き込んでいます。

Inklingの画期的なアーキテクチャ

Inklingは、9,750億の総パラメータのうち、処理時には410億（41B）のアクティブパラメータのみを動かすことで、1兆パラメータ級の巨大でありながら高速な推論速度を実現するMoE（混合専門家モデル。複数の専門家ニューラルネットワークを内包し、入力に応じて必要な一部のネットワークのみを起動して効率的に処理を行うアーキテクチャ）構成を採用しています。

動作に必要なシステム要件と量子化

モデルが巨大であるため、通常のBF16フォーマットでの実行には「​2TBのVRAM​」必要となります。また、Blackwell世代のNVIDIA GPUでサポートされている4ビット精度「NVFP4」でも「​600GBのVRAM​」を必要とします。

分析と展望

Inklingのリリースは、これまでの商用クローズドモデル（GPT-5.6 SolやGemini 3.1 Pro等）に近い推論ベンチマーク性能を、オープンソースコミュニティの手にもたらす画期的なものです。特に1兆パラメータ規模でありながら、MTPによる高速化やUnslothの1bit化のような「実用性・軽量化」のソリューションが初日から揃っている点は極めて優秀です。開発者が独自のドメインデータでファインチューニングを行う際の強力なマルチモーダル基盤となるでしょう。

引用元：Hugging Face | ITmedia AI＋