AI関連の最新ニュースをピックアップ
AIモデルの標準ベンチマーク評価機関BenchLMは、Anthropicの「Claude Fable 5(マルチモーダルと対話・ストーリーテリング処理に長けた思考型モデル)」と「Claude Opus 5(最高峰の論理推論とコード生成能力を誇る最上位モデル)」の比較テスト結果を発表した。
検証では、HumanEval(コーディング能力)、GSM8K(数学的推論)、および独自エージェント運用タスクの3項目で測定が行われた。
| 評価項目 | Claude Fable 5 | Claude Opus 5 |
|---|---|---|
| HumanEval スコア | 88.5% | 94.2% |
| 応答レイテンシ | 高速 | 標準 |
| トークン単価 | Opus 5の約50% | 基準価格 |
| 推奨用途 | 対話・コンテンツ作成・軽量分析 | 複雑な設計・コード生成・高度な推論 |
企業でAnthropicのAPIを導入する際、すべてをOpus 5で処理するとコストが膨らむ問題があった。BenchLMの検証データは、日常業務やコンテンツ作成にはFable 5を配置し、難度の高い設計開発のみOpus 5に割り当てるというコスト最適化の明確な指針を与える。
なお、マルチモーダル入力時における両モデルの画像認識精度の差については、今後の追加レポートで検証される予定である。
分析・展望として、ユーザーは単一の最強モデルに依存するのではなく、目的ごとにモデルを使い分けるマルチモデル運用の時代に入っている。
引用元:BenchLM
引用元:BenchLM