オープンソースSoup、4GB VRAMで8Bモデル微調整に成功

オープンソースのファインチューニング（追加データによるAIモデルの再学習）ツール「Soup」が、VRAM（GPUの映像用メモリ）がわずか4GBのノートPC向けGPUでも80億パラメーターの大規模言語モデルを学習できることを実証した。高価な専用GPUやクラウドサービスを持たない個人開発者でも、手元のノートPCで大規模言語モデルのファインチューニングに挑戦できる可能性が広がる。

レイヤーストリーミングで4GBの壁を越える

Soupの開発者は、VRAMが4GBのGeForce RTX 3050 Laptop GPUを使い、Metaの大規模言語モデル「Llama 3.1 8B Instruct」をNF4（4bit精度でモデルを軽量化する量子化形式）形式に量子化した上で、LoRA（モデル全体でなく一部パラメータのみ学習する軽量な手法）によるファインチューニングに成功したと報告している。

Soupはこれを、学習中に更新しない基盤モデルのデコーダー層をメインメモリに置き、計算に必要な層だけを1層ずつVRAMへ転送する「レイヤーストリーミング」という手法で実現した。1回に処理する文章の長さ512トークン・バッチサイズ1の条件では、ピーク時のVRAM使用量が​3.32GB​、処理速度は​​毎秒119.6トークン​​だったという。同じNF4形式のモデル全体をGPU上に保持した場合と比べ、計算結果がビット単位で一致することも確認されたとしている。

Soupはもともと、学習データを指定するだけでファインチューニングを開始できるコマンドラインツールとして開発されており、GPUの検出やバッチサイズ調整の自動化などを特徴としていた。バージョン0.72のアップデートで、このレイヤーストリーミング機能が追加された。開発者は検証条件や結果をGitHub上のベンチマーク記録として公開しており、失敗例や採用しなかった数値を含む記録を第三者が確認できる状態にしている。

日本の開発者にとっての意味

日本の個人開発者や中小企業のエンジニアの多くは、業務用ノートPCに搭載されているのはVRAM 4〜8GB程度のGPUであることが多く、これまで8Bクラスのモデルを自前の環境でファインチューニングするには、クラウドGPUのレンタル費用や高性能な専用マシンへの投資が必要だった。Soupがレイヤーストリーミングで示した手法が安定して使えるようになれば、追加のハードウェア投資をせずに手元のノートPCで検証や試作ができる開発者が増える可能性がある。ツール自体はGitHubでオープンソース公開されているため、コストをかけずに試せる点も導入のハードルを下げる要素になりそうだ。

未確認事項:ベータ版ゆえの制約

Soupのレイヤーストリーミング機能は記事作成時点でベータ版であり、いくつかの制約が明らかになっている。VRAM容量の少ないGPUで動作させる場合はCPU側のメインメモリも併用するため、モデル全体をVRAMに常駐させる方式より学習時間は長くなるという。また、あらゆる設定で動作するわけではなく、1回に処理する文章の長さやバッチサイズの組み合わせによってはVRAMが不足するケースもあるとされている。今回報告された「3.32GB・毎秒119.6トークン」という数値も、上記の特定条件（512トークン・バッチサイズ1）下での結果であり、他の条件でも同等の性能が出るとは限らない点に注意が必要だ。

編集部の見方:ノートPCが検証環境になる可能性

編集部注:今回の報告はベータ版の技術検証であり、商用の学習基盤を完全に代替するものと断定はできない。ただし、計算結果がビット単位で一致するという再現性の主張や、失敗例まで含めた検証記録を公開する姿勢は、個人開発のオープンソースソフトウェアにしては検証の透明性が高いといえる。今後、対応モデルの拡大や速度改善が進めば、大規模言語モデルのファインチューニングを試すための最初の一歩として、クラウド環境より前に手元のノートPCを選ぶ開発者が増えていく可能性がある。

引用元：gigazine.net