BridgeBench、AI性能劣化を追跡するベンチマーク公開

AI評価プラットフォームのBridgeBenchは、各社のAIモデルがサービス開始（ローンチ）後にどれだけ性能を維持しているかを継続的に追跡・可視化するベンチマーク「Nerf Bench」を公開しました。モデルの提供初日の性能を基準値（100%）とし、経時的な性能低下（いわゆるナーフ（アップデート等によって性能や能力が下方修正・弱体化されること））や向上の推移を客観的な指標で測定します。

3要素で算出する総合指標「パワー」の仕組み

Nerf Benchはモデルの総合性能を「パワー」という単一の数値として集約します。パワーの算出には以下の3要素が用いられます。

• ​パフォーマンス（Performance）​: モデルがタスクをどれだけ的確に完了できるか
• ​トークン（Tokens）​: 同一タスクの完了に消費したトークン数
• ​コスト（Cost）​: タスクの実行に要した費用

タスクの正答率自体が維持されていても、同じタスクを完了するためにより多くのトークンを消費したり、利用費用が高騰したりした場合はパワーが低下したと判定されます。ローンチ時の数値を100%とし、現在のパワーが85%であれば15%の性能低下、115%であれば15%の性能向上を意味します。

正規分布に基づく「通常の変動」と劣化検出判定

Nerf Benchでは、正規分布における分散の概念に基づき、ローンチ時の90%から110%の範囲内を日々の応答の揺らぎによる「通常の変動」とみなします。この範囲を下回る、あるいは上回る結果が2回連続で検出された場合に、モデルの性能に実際の変化（劣化または向上）が生じたと判断します。単一タスクの偶発的な低下ではなく、広範なタスク群での傾向を捉える設計です。なお、テスト問題や具体的な評価内容は、ベンチマークへの不正な最適化を防ぐため非公開とされています。

API利用者やシステム開発者への影響

AIモデルをバックエンドに組み込んだ業務システムを運用する開発者にとって、「サイレントなモデル更新による回答品質低下やコスト急増」は検知が極めて難しい運用リスクです。Nerf Benchのように独立した第三者機関が性能と消費トークンを定点観測する仕組みは、プロンプトの調整タイミングやモデル乗り換え判断の客観的データとして実用的な価値を持ちます。

分析と今後の展望

提供各社が推論コスト削減や安全フィルターの強化を目的にモデル内部の量子化やルーティングを日々変更する中、ユーザー側の体感性能低下に対する不満は高まり続けています。静的なベンチマークから、モデルの経時変化を監視する動的ベンチマークへの移行は、AI業界のサービス品質保証（SLA）を透明化する上で不可欠な流れとなりつつあります。

引用元：GIGAZINE