化学特化AIがGPT-5.5を超える性能を達成

化学素材領域に特化した自律型AI（人工知能）エージェント「Cataris（カタリス）」を開発するCataris株式会社は、化学素材の調査業務において、自社エージェントと米OpenAI（オープンAI）社の最新の汎用高性能LLM「GPT-5.5」の出力品質を比較検証した結果を公表した。中立な第三者AIによる匿名評価で、Catarisが79.2％の勝率を記録した。

1. 匿名評価の手法と分野別の勝率

検証では、用途探索および新規開発の市場調査という2つの実務タスクにおいて、CatarisとGPT-5.5が作成したレポートを第三者AI（LLM-as-a-Judge）で匿名比較した。実務有効性を評価する全72件の判定において、Catarisが全体の79.2%で優れていると判定された。特に「新規事業に参入すべきか（Go/No-Go）」を判定する市場調査レポートでは勝率が94.4%に達した。

2. 引用はあるが数値が嘘になる「不整合ハルシネーション」の抑制

従来の汎用LLM（GPT-5.5など）で顕著だったエラーとして、「実在する論文や公式資料を引用しているにも関わらず、非現実的な成長率、あるいは内部矛盾した数値を出力してしまう」という事例が18件確認された。これに対し、化学文献や企業データベースを構造的に検索・検証するプロセスを持つCatarisでの同様の誤りは1件に留まった。同社は自社レポートの品質を確認できる出力アセスメントの無料枠（3社限定）を7月末まで提供する。

汎用的な大規模言語モデルは全体の要約や対話には優れるものの、特定業界の厳密なファクトチェックや経営判断のための意思決定資料の作成においては、領域特化型のDeep Research（高度な自律調査）エージェントが実用面で大きく先行することを示した検証結果と言える。今後はこのような産業特化型エージェントの現場導入が進み、経営判断の手戻り削減に寄与するものと見られる。

引用元：MONOist