NVIDIA、金融AI向けの50万件合成データ生成手法を公開

NVIDIAは、同社のAIツール「NeMo Data Designer」および「NeMo Curator」と、大規模言語モデル（LLM）「Nemotron」を組み合わせ、金融分野における自然言語処理（NLP）研究向けの高品質な合成データ（AIが生成した架空のデータ）の生成パイプラインを構築したと発表した。本パイプラインを用いて約50万件の重複のない金融ニュース見出しデータセット「FinHeadlineMix」を生成し、オープンソースとして公開している。

1. 単一バッチ処理から反復的なグローバル重複排除へ

金融分野のニュースデータは、決算発表や株価変動といった一般的なトピックに偏りやすく、信用格付け変更や労働問題などの希少なイベントのデータが不足する課題があった。NVIDIAは、単一の巨大なバッチ生成では類似データが65%に達することを発見。そこで、「生成・フィルタ・累積データとのグローバル重複排除（コサイン類似度90%以上を除外）・多様なFew-shot（少数の学習用データ）選択・カテゴリ配分調整」を繰り返す閉ループを構築し、82回の反復で50万件超のユニークなデータを抽出した。

2. 進化プログラミングによる多様性の確保

ループの各段階において、「K-means（K平均法）」クラスタリングの重心から最も遠い（特異な）文を次回の Few-shot プロンプト例として選択する「Farthest-from-centroid（重心から最も遠いデータを選択する手法）」を採用。これにより、生成される見出しにニッチな金融商品の名前や、より複雑で具体的な構造を持たせることに成功している。

この手法により生成された高品質なデータセットは、巨大なモデルから軽量なモデルへ能力を移植する「モデル蒸留（AIモデルの軽量化手法）」の学習データとして大きな成果を発揮し、3B（30億パラメータ）のモデルで教師モデルの95%の精度を達成可能にしている。データバイアスを抑え、著作権や機密情報を含まない安全な合成データ生成の手法は、金融や医療などデータ制限の厳しい業界でのAI導入を加速させる強力なアプローチとなると見られる。

引用元：NVIDIA Technical Blog