TunixとTPUを使ってGemmaに「考える」ことを学習させた方法——Google Developers Blog

Kaggleで開催された「Google Tunix Hack: Train a model to show its work」ハッカソンにおいて、参加した開発者たちが限られた計算リソース（Kaggle TPU v5e-8を9時間）の中で、小規模なGemmaモデル（Gemma-2-2BおよびGemma-3-1B）に高度な推論能力を持たせる事後学習を行いました。11,000人以上の参加者と300件以上の高品質な提出作品が集まり、コミュニティ主導でオープンソースの推論学習レシピが公開されました。これは、フロンティアモデルだけでなく小規模モデルにも推論能力を持たせる民主化の重要な一歩として注目されています。

1. ハッカソンの概要とTunixの役割

• GoogleはKaggle上でTunix Hackathonを開催し、開発者に対してGemma-2-2BとGemma-3-1Bを一般的な推論モデルに変換する課題を出した
• 使用するツールとしてGoogleのオープンソース事後学習ライブラリ「Tunix」とKaggleの無料TPU（v5e-8）が提供された
• Frontier LLMであるGemini 3や大規模オープンウェイトモデルGemma 4が持つChain-of-Thought（CoT）の推論能力を、小規模モデルでも再現することが目的

2. 上位入賞作品の技術手法

• 1位「G-RaR」（Rubric-Based Reinforcement Learning）​: SFTとGRPOを組み合わせ、Gemma-3-12Bをジャッジモデルとして用いるルーブリックベースのLLM-as-judgeリワードシステムを採用。モデルが <reasoning> タグ内に推論過程を明示するよう学習させる二段階パイプラインを構築した
• 2位「Pinocchio-1B」​: 1Bパラメータモデルを対象にSFT→SimPO→GRPOの3段階パイプラインで学習。Gemini 2.0 Flashを非同期ジャッジとして利用し、DPOに比べてメモリ効率の高いSimPOで厳格なXMLフォーマットを徹底させた
• 3位「IDEA-E Distillation with Curriculum Guided GRPO」​: 倫理的推論フレームワーク「IDEA-E」を2Bモデルに蒸留し、低速なLLMジャッジの代わりにCPU上で高速に動作するTF-IDF報酬システムを採用した

3. 特定ドメインへの応用

• 医療・化学・法律・ロボット工学など専門ドメインに特化した推論モデルの取り組みも高く評価された
• 医療分野ではGRPOが臨床問題解決に対してステップごとの推論トレースを生成し解釈可能性を向上
• 法律分野ではGemma 3 1Bを用いた複雑な法的データの分析に、GRPOによる段階的推論が有効

4. 開発リソースの公開

• ハッカソンの成果として多数の推論学習レシピがすべて公開された
• 公式Tunixリポジトリ（GitHub）、Google Colab上のTPUを使ったTunixチュートリアル、Tunixの強化学習ドキュメントが参照先として案内されている

今回のGoogle Tunix Hackathonは、推論能力を持つAIモデルの学習がフロンティア企業だけでなくコミュニティにも開放されうることを実証しました。Kaggle TPU v5e-8という無料かつ限られたリソースを9時間使うだけで、Gemma-2-2BやGemma-3-1Bといった小規模モデルに対して、Chain-of-Thoughtによる構造化された推論能力を付与できることが示されました。

入賞作品が採用したSFT・GRPO・SimPOなどの技術手法はいずれもオープンソースとして公開されており、同様の取り組みを行いたい開発者が再現しやすい形で整備されています。特に1位のG-RaRが採用したルーブリックベースのLLM-as-judgeアプローチは、数値的な正解が得られにくいオープンエンドなタスクにも対応できる点で汎用性が高く、今後の研究・応用への波及効果が期待されます。

また、医療・化学・法律・ロボット工学といった専門ドメインへの応用も多数示されたことで、汎用的な推論能力だけでなく特定業界向けの推論特化モデルの開発可能性も広がりました。TunixライブラリとKaggle TPUの組み合わせにより、従来は大規模な計算インフラが必要だった推論学習が個人や小規模チームにも現実的な選択肢となりつつあります。この民主化の流れは、AIの推論能力に関する研究開発の裾野を大きく広げるとともに、より透明性の高い学習プロセスの共有文化をコミュニティに根付かせる意義も持っています。