NVIDIA、Llama 3.1 405BのFP4量子化モデルをHugging Faceで公開

NVIDIA​は、Metaのオープンな大規模言語モデルである​Llama 3.1 405B Instruct​モデルを​FP4​精度に量子化したバージョンをHugging Face上で公開しました。 この量子化プロセスにはNVIDIAのTensorRT Model Optimizerが使用されており、ベースモデルの高い精度を維持しながらも劇的なモデルサイズの軽量化を実現しています。

量子化されたモデルは、ディスクサイズおよび必要となるGPUメモリの要件を元のモデルと比較して約​3.5倍​​削減することに成功しました。 特にNVIDIAの次世代アーキテクチャである​Blackwell​（B200など）での推論実行に最適化されており、エンタープライズ環境における超巨大モデルの運用コストやインフラ要件を大幅に引き下げる効果が期待されています。