NVIDIA、Jetson Thor上でAI推論を6.4倍高速化

米NVIDIA（GPUおよびアクセラレーテッドコンピューティングの世界的リーダー企業）は、次世代エッジAI開発モジュールJetson AGX Thor（Blackwell世代GPUを搭載した高性能組み込みAIモジュール）と推論エンジンTensorRT Edge-LLM（エッジデバイス向けに特化されたNVIDIAの大規模言語モデル推論ランタイム）を組み合わせ、業界標準ベンチマーク「MLPerf Inference v6.1 Edge Agentic」において、リファレンス実装（llama.cpp）比で6.4倍の高速化を達成したと技術ブログで発表しました。

1,007ターンの長文エージェント処理を24分台で完走

AIエージェントがクラウドからロボットや自動運転車、ドローンなどのエッジデバイスへ移行するにつれ、単発の質問応答だけでなく、ツールの選択、実行結果の検証、長文化する対話履歴を踏まえた推論の継続が求められています。

今回のMLPerf測定では、ソフトウェア開発エージェントの実軌跡（20会話、計1,007ターン、最大約23.5Kトークン）を再生。128GBのユニファイドメモリを備えた単一のJetson AGX Thor開発キット上で、270億パラメータ規模のモデル「Qwen3.6-27B」を実行しました。

llama.cppによる参照実装が完了に2時間37分を要したのに対し、TensorRT Edge-LLMはわずか​24分36秒（6.4倍高速）​​で全ワークロードを完走しました。

6.4倍高速化を支えた3つの核となる最適化技術

1. NVFP4量子化の適用​: Blackwell GPUがサポートする4ビット浮動小数点フォーマット（NVFP4）を重みと活性化に採用し、KVキャッシュにはFP8を使用。メモリフットプリントを最小化してエッジ特有のDRAM帯域幅ボトルネックを解消。
2. KVキャッシュとリカレント状態の再利用​: 毎ターンの共通プレフィックス（過去ログ）をキャッシュから即座に復元。プロンプトトークンの約96%をホットキャッシュで処理し、全1,360万トークン中、事前計算が必要なトークンをわずか約50万トークンに抑制。
3. ​ツリー型マルチトークン予測 (tree-based MTP): 将来のトークン候補をツリー状に展開して1回のフォワードパスで一括検証。関数呼び出しやJSON構文などの定型的なパターンを複数トークン同時に進めることで、従来の線形MTP比でデコード性能を約40%向上。

独自価値要素：MLPerf v6.1測定結果と参照環境の比較

測定されたベンチマーク性能の主要指標および参照環境との比較は以下の通りです。

評価指標	TensorRT Edge-LLM (AGX Thor)	llama.cpp 参照実装 (AGX Thor)	差異・改善度
​全ワークロード完了時間​	24分36秒​	2時間37分	6.4倍高速化​
​出力スループット​	52.33 tokens/sec	非公表	実用的なリアルタイム対話速度
​初動遅延 (TTFT中央値)	247.12 ms	非公表	0.25秒未満で初回応答を開始
​トークン生成時間中央値​	14.68 ms	非公表	安定した低遅延デコードを実現
BFCL総合精度​	87.94%	基準クリア	正確な関数呼び出しと誤検出防止を維持

未確認事項の整理

本技術ブログは開発者向けキット（Developer Kit）における検証結果であり、量産車載グレード・産業グレードとしてのThorモジュールの量産出荷時期や最終的な一般市販価格については言及されていません。

分析と今後の展望

編集部注: エッジ環境におけるLLMの課題は、消費電力とメモリ帯域の厳格な制約にありました。従来は小型モデル（7B〜8Bクラス）の動作が現実的とされていましたが、BlackwellアーキテクチャのNVFP4対応とツリー型MTP技術の組み合わせにより、推論能力や関数呼び出し精度の高い27Bクラスの中規模モデルがエッジ単体で50 tokens/sec超の実用速度で動作可能であることが実証されました。

特に車載コックピットや自律走行、自律移動ロボット（AMR）の現場において、クラウドへの通信遅延や通信断絶を許容できないミッションクリティカルな状況下でも、高精度な推論エージェントをオンデバイスで常時稼働させる道が大きく開かれたといえます。

引用元：NVIDIA Technical Blog