NVIDIA、HSTU生成推薦AIの高速推論基盤を公開

米NVIDIAは公式技術ブログにて、生成推薦（Generative Recommender: GR）モデル「HSTU（高基数・非定常な行動系列を扱う階層型逐次変換ユニット）」の推論レイテンシを最大5.93倍短縮するエンドツーエンドの本番デプロイワークフローを公開した。新ブランドとなった推論サービング基盤「NVIDIA Dynamo-Triton（旧Triton Inference Serverを中核とする次世代推論フレームワーク）」と、PyTorch AOT Inductor（AOTI）コンパイル、さらに「FlexKV（GPUメモリとホストストレージを連携させる階層型KVキャッシュ技術）」によるKVキャッシュ管理を統合。長大なユーザー行動履歴を扱う推薦システムで発生していた重複計算を削減し、高精度なシーケンスモデリングの実用化を後押しする。

生成推薦における「長大シーケンス処理」のボトルネックを解消

従来の推薦システムは、検索（Retrieval）・ランキング（Ranking）・予測（Prediction）といった個別モデルとパイプラインを組み合わせて構築されてきた。これに対し、生成推薦モデルはユーザーの行動履歴、コンテキスト、候補アイテムを単一のイベントストリームとして扱い、シーケンス予測問題として定式化する。順序や時間的近接性を精密に捉えられる一方、ユーザー履歴が長くなるほど推論計算量と埋め込みテーブルのメモリ消費が増大し、本番環境での低遅延要件を満たすことが困難であった。

NVIDIAが公開したワークフローは、以下の5つのステージでこの課題を解決する。

1. ​カスタム演算子とランタイムライブラリのビルド​: ページング対応のKVデータテーブル演算子を準備
2. PyTorch AOTIによるモデルエクスポート​: torch.exportとAOT Inductorを用いてモデルを事前コンパイルし、Pythonランタイムのオーバーヘッドを排除したC++ネイティブ実行パッケージを作成
3. FlexKVバックエンドによるKVキャッシュサービスの起動​: GPUメモリをページ単位のKVテーブルとして管理し、溢れた分はホストストレージに多段退避（LRUポリシーによる追い出しに対応）
4. ​ネイティブC++検証​: Python環境とC++実行環境で同一のテンソルをリプレイし、推論結果の整合性と性能を検証
5. Dynamo-Tritonでの本番サービング​: platform: "torch_aoti"バックエンドを用いてコンパイル済みパッケージを低遅延で提供

また、「NV Embedding Cache」を併用することで、アクセス頻度の高い埋め込みのみをGPUメモリ上にキャッシュし、テーブル全体はCPUメモリに保持することでGPUメモリの圧迫を防ぐ。

ベンチマーク：バッチサイズ8で最大5.93倍の高速化を実証

NVIDIAは、単一の「NVIDIA RTX PRO 6000 Blackwell Workstation Edition」GPU環境において、推薦ベンチマーク「KuaiRand-1K」データセット（最大履歴系列長8,192トークン、候補長100トークン）を用いた推論レイテンシを計測した。

論理バッチサイズ8におけるリクエストあたりの遅延は以下の通りである。

• 3層HSTUモデル​: KVキャッシュヒット率100%時に​0.423 ms​を記録（同一AOTI構成のキャッシュなし比で​​最大4.47倍高速化​​）
• 8層HSTUモデル​: KVキャッシュヒット率100%時に​0.678 ms​を記録（同一AOTI構成のキャッシュなし比で​​最大5.93倍高速化​​）

層が深くシーケンス長が長いモデルほど、先行する行動履歴のAttention再計算をスキップできるKVキャッシュの効果が顕著に現れる結果となった。

従来型推薦システムとの技術比較と開発者への影響

生成推薦モデルの推論最適化における主要なアプローチの違いは下表の通りである。

比較項目	従来型推薦モデル (DLRMなど)	今回公開されたHSTUスタック
モデル構造	検索・ランキングの分離パイプライン	履歴・文脈・候補の一貫シーケンス処理
ユーザー履歴処理	直近の集計特徴量に圧縮して入力	最大8,000トークン超の生履歴系列を入力
履歴の再計算対策	リクエストごとに都度計算	FlexKVによるKVキャッシュ再利用​
埋め込みメモリ消費	テーブル全量をGPU上に配置	NV Embedding Cacheによる階層管理​
サービング実行基盤	Pythonベース推論サーバー	Dynamo-Triton + PyTorch AOTI (C++)

日本のWeb事業者・開発者への影響

ECサイト、動画・音楽ストリーミング、ニュース配信など、国内の多くのプラットフォームでは数十ミリ秒以内の厳しいレイテンシ予算（SLA）の中で推薦結果を返す必要がある。これまで生成推薦アプローチは計算コストの高さから研究段階に留まるケースが多かったが、1ミリ秒未満で8,000トークン超の履歴を考慮した推論が可能になったことで、実サービス投入への技術的ハードルが大幅に下がった。

関連コードおよび再現手順は、GitHubのNVIDIA/recsys-examplesリポジトリ（v26.06.01 / v26.06.02ブランチ）にて公開されている。

分析・展望：LLM最適化技術のエンタープライズ推薦への波及

大規模言語モデル（LLM）の推論高速化で培われた「KVキャッシング」「事前コンパイル（AOTI）」「ページングメモリ管理」といった要素技術が、エンタープライズの稼ぎ頭である推薦・パーソナライゼーション基盤へと急速に逆輸入されている。

また、NVIDIAがTriton Inference Serverを「Dynamo-Triton」としてオープンソースAIファクトリ基盤「NVIDIA Dynamo」ブランドに組み入れた点も注目される。今後は単なるチャットやコード生成だけでなく、毎秒数万件のトラフィックを処理するリアルタイム推薦インフラにおいても、キャッシュ最適化を前提とした生成AIモデルの導入が標準化していくと考えられる。

引用元：NVIDIA Technical Blog