HF、vLLM向けライブラリをネイティブ化

Hugging Face（ハギングフェイス）は、機械学習モデルの業界標準ライブラリである「transformers」と、高速な推論エンジン「vLLM」を統合するバックエンドシステムの大幅なアップデートを発表しました。プログラムの静的解析により、手書きで移植されたカスタムコードと同等以上の推論速度を自動で達成します。

1. 開発効率と推論速度のトレードオフの解消

通常、新しいLLM（大規模言語モデル）の構造が提案されると、利用者はまずtransformers上で学習や検証を行い、その後、本番環境での高速稼働のためにvLLMへ手作業で移植・最適化していました。この移植には多くの時間が必要でした。今回のアップデートにより、利用者は特別なコードを書くことなく、 --model-impl transformers というフラグを指定するだけで、移植版と同等の極めて高い推論スループット（処理性能）を得られます。

2. torch.fx と ast を用いた動的コード最適化

本バックエンドは、PyTorchの静的グラフ解析ツール「torch.fx」を使ってモデルの内部構造を解析し、Pythonの「ast（抽象構文木：プログラムの構造を木のように表現したもの）」操作によってプログラムコードを自動的に書き換えます。これにより、MoE（混合専門家）の専門化処理やテンソル並列などの複雑なGPU（画像処理半導体）演算を最適化し、vLLMの超高速カーネルへと自動で紐づけます。

3. 大規模モデルでの実証結果

最新のQwen3モデル群を用いたベンチマーク測定では、単一GPUの4Bモデルから、データおよびエキスパート並列処理を行う超巨大な235BパラメータのMoEモデルまで、あらゆるサイズで手書きカスタムコードに匹敵、またはそれを上回る毎秒トークン処理スループットを実証しました。

今回のアップデートは、オープンなAI開発プロセスを大きく加速させます。モデルの開発から本番サーバーへのデプロイまでの手間がほぼ無くなり、企業は最先端のモデルを迅速に本番運用できるようになります。学習と推論で同一のtransformersコードを共有できるため、RLHF（人間のフィードバックによる強化学習）など、開発と実機での実行を何度も往復するプロセス全体の効率化にも貢献するでしょう。

引用元：Hugging Face