OpenAI、創薬研究用ベンチマーク

OpenAIは、エージェント型AIシステムが実世界のライフサイエンス研究や意思決定プロセスをどの程度サポートできるかを評価するための新しいベンチマーク「LifeSciBench」を発表しました。博士号（Ph.D.）を保有し創薬現場の実務経験を持つ複数の専門家によって執筆および査読されており、実際の研究フローに基づいた高度な課題設計が行われているのが特徴です。

1. 実世界の研究ワークフローを模したデータセット

ベンチマークは、実際の科学者へのアンケートに基づき、エビデンス処理、分析、設計と最適化、科学的推論、検証、臨床移行、科学的コミュニケーションの7つのカテゴリに分類されています。173名の科学者によって作成された750件の専門的なタスクが含まれます。79%のタスクが4ステップ以上の推論を必要とし、PDFや化合物・配列ファイルなどのオブジェクトの理解も要求されます。

2. 厳格な査読と評価結果

1タスクあたり平均25項目、計19,020件の評価基準が用意されており、最終的な結論だけでなく、科学的な妥当性も詳細に採点します。OpenAIの最新モデル「GPT-Rosalind」は全体合格率36.1%を記録し、「GPT-5.5」の25.7%から進歩を示しました。科学的コミュニケーション等で強みを見せる一方、数値計算や配列・構造生成などの実務的なタスクでは依然として合格率が低く、弱みが残っています。

LifeSciBenchは、AIエージェントのライフサイエンス分野における能力を定量化するための実用的な評価フレームワークを提供します。GPT-Rosalindの進歩は、AIが専門的な意思決定アシスタントとして有望であることを示唆していますが、CRISPRのドナー設計や複雑なグラフデータ解析などの正確なタスクではまだ実用レベルには達していません。今後は自律的なマルチステップ型AIの改善が求められます。