NVIDIA、インド22言語向け2.8兆トークンコーパス公開

米NVIDIAはインド工科大学マドラス校（IIT Madras）の研究機関「AI4Bharat」と共同で、インド憲法に定められた22の公認言語を網羅する約2.8兆トークンの合成事前学習コーパス「Nemotron-pretraining-Indic-v1」を発表しました。あわせて、データ生成に用いたGPU高速化パイプラインと、多言語モデルの評価スイート「Indic-LLM-Eval-Suite」をオープンソースとして公開します。人口約14億人を擁するインドの言語データを大幅に拡張し、英語圏中心だった大規模言語モデルの多言語格差解消を目指します。

22言語の文字体系と厳格な品質管理ワークフロー

発表されたコーパスは、ネイティブ文字表記で約2.6兆トークン（2,601.0 billion）、ラテン文字によるローマ字表記で約2,246億トークン（224.6 billion）で構成されています。

• ​多言語・複数文字体系の網羅​: ベンガル語、ヒンディー語、タミル語など主要12言語はネイティブ文字表記とローマ字表記の双方を収録し、アッサム語やサンスクリット語など10言語はネイティブ文字表記を収録しています。
• 2段階の高品質翻訳・評価パイプライン​: 起点データ「Nemotron-CC-v2」の英語文書を、Gemma-4-31B-itおよびIndic Translateを用いて翻訳。多次元品質指標（MQM）に基づき、意味・流暢さ・専門用語などの評価基準で100点中75点以上を得た出力のみを採用しました。基準未満の文はフィードバックによる自動修正ループを行い、約4,384億トークンを回収して品質とデータ量を両立させています。
• ​継続学習での性能向上​: 「Nemotron 3.5 Super VL」の事前学習において本コーパスを100億トークン混合したところ、MILUやIndic MMLU-Proなどインド諸言語の推論ベンチマーク全5種で4.98〜9.82ポイントのスコア向上が確認されました。
• ​評価スイート「Indic-LLM-Eval-Suite」​: 既存ベンチマークの誤訳や設問不備を修正したMILU-1.5やIndicIFEval-1.5を含み、NVIDIA NeMo-Gym上で多言語LLMを公正に比較できる環境を提供します。

合成コーパスの特性と未確認事項の整理

本コーパスの活用にあたっては、以下の制約と技術的留意点が示されています。

• ​母語テキストとの併用が前提​: 高度な機械翻訳に基づく合成データであるため、各言語で最初から執筆された自然文の完全な代替とはならず、地域固有の文化的文脈や暗黙知を網羅する保証はありません。自然なテキストとの混合利用が推奨されています。
• ​重複排除の範囲​: ソースIDによる処理上の重複は排除されていますが、文脈の類似度に基づくセマンティック（意味的）重複排除は行われていません。
• ​国内言語モデル開発への示唆​: 英語以外の非欧米言語において、大規模な翻訳と厳格な自動フィルタリング・反復修正を組み合わせて兆単位のコーパスを生成する手法は、日本語の専門領域データ拡張や地域言語の保存・モデル化にとっても極めて有益な参考事例です。

分析と今後の展望

NVIDIAにとってインド市場は、莫大な人口とIT人材基盤を抱える最重要拠点です。現地トップ研究機関と組み、兆単位の学習データと評価ベンチマークをオープン公開することで、インド国内でのソブリンAI構築を支援し、同時に自社のGPUインフラ（NeMoやDGX）への開発者の定着を狙っています。グローバルなAI覇権が英語圏から多言語圏へと広がるなか、オープンなデータ基盤を押さえる戦略は競合他社に対する大きなアドバンテージになるとみられます。

引用元：Unite.AI