アリババら、EC評価ベンチ「E-Commerce Bench」を発表

中国AlibabaのQwen（Alibabaが開発するオープンウェイト言語モデルシリーズ）チームや香港科技大学（HKUST）などの研究グループは、LLM（大規模言語モデル）エージェントが長期にわたり自律的にネットショップを経営する能力を測定するベンチマーク「E-Commerce Bench」を発表した。初期資金10万元（約235万円）を与えて365日間の店舗運用をシミュレーションしたところ、商用・オープンソースを含む18モデルの間で運用戦略や収益性に大きな差が生じることが明らかになった。

6886商品・576サプライヤーが競合する1年間のシミュレーション環境

研究チームが公開した論文「E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation」によると、本ベンチマークは中国の大手ECサイト（淘宝・天猫）の実データに基づく市場環境を構築している。AIモデルは最大4つの店舗を同時運営でき、6,886点の商品と576社のサプライヤーが存在する市場で業務を行う。

エージェントには市場調査、価格交渉、仕入れ、価格設定、発送、返品処理、資金管理など全18種類のツールが与えられる。市場では需要変動イベント（セールや自然災害など）が発生するほか、サプライヤーの約4分の1が悪質な詐欺業者（相場超過の価格提示、注文数の水増し、返品率が跳ね上がる粗悪品の納品など）として設定されている。

また資金決済にはリアルな制約が設けられており、仕入れ代金や運営費が銀行口座から即座に引き落とされるのに対し、売上金は発送から9日間エスクロー（売買取引の安全性を確保するため第三者が決済代金を一時保管する仕組み）口座に留保された後にウォレットへ入金される。計画的に銀行口座へ資金を戻さなければ、帳簿上は黒字でも銀行残高が10日連続マイナスとなり強制破産に追い込まれる仕組みとなっている。

18モデルの運用成績：収益トップと堅実派の対比

商用およびオープンウェイト（モデルの重みパラメータが一般に公開されている状態）の18モデルをテストした結果、最終資産額ではOpenAIの「GPT-5.6 Sol」が平均約14.3倍（約143万元）まで資金を増やして首位となった。しかし同モデルは詐欺業者への支出割合が18モデル中16位と低迷し、リスク管理の甘さが露呈した。

モデル名	最終資産倍率	特徴・評価
GPT-5.6 Sol	平均 約14.3倍（1位）	積極投資で最大収益を記録する一方、詐欺業者への支出割合は16位と防犯性に課題
Fable5	約8.0倍（2位）	ツール呼び出し回数がGPT-5.6 Solの半分以下で、1手あたりの利益効率で首位
Qwen3.8-Max-Preview	約4.2倍（5位）	オープンウェイト最高位。過去最安値を記憶して価格交渉に生かす長期学習能力で全体首位
Claude Opus 4.7	8位	価格交渉力と詐欺回避率でトップの緻密さを示すも、取引拡大に慎重で総資産は伸び悩む

一方で長期運用の脆さも確認された。全90回の試行（各モデル5回実施）のうち10回が途中で破産した。GPT-5.5、Claude Opus 4.6、Gemini 3.1 Proはいずれも5回中2回の頻度で破産し、Qwen3.5-Plusでは5回中4回が破産に至った。古い会話履歴が消去される中で最大20件のメモリを活用しきれず、キャッシュフローの枯渇を予測できなかったことが原因と分析されている。

日本のEC事業者・開発者への示唆と未確認事項

これまでLLMの性能評価は単発のコーディング試験や知識ベンチマークが主流だったが、E-Commerce Benchは複数ツールを連鎖させながら資金ショートを防ぐ「時間軸の長い実務運用能力」を定量化した点で意義が大きい。日本のEC事業者や業務自動化に取り組む開発者にとっても、AIエージェントに仕入れや価格設定を委任する際の大きな判断材料となる。

一方で、本シミュレーション環境には実運用との差異も残る。実際のEC運用ではプラットフォーム規約の突発的な変更、物流障害、顧客からの法的な問い合わせ対応など、数式化しにくい事象が頻発する。これらへの対応力や、エージェントが引き起こした損害に対する法的責任の所在については本研究のスコープ外であり、実ビジネスへの全面適用には慎重な検証が必要となる。

エージェント評価の新基準としての展望

短期タスクで高い正答率を誇るフロンティアモデルであっても、売上金の入金ラグと支払いサイクルの不一致による「黒字倒産」を起こすという事実は、実務特化型AIの現在地を明瞭に示している。今後は単なる知識量や推論速度だけでなく、自己資金のキャッシュフロー予測や悪意ある取引相手の選別能力が、自律エージェントの選定において決定的な指標になっていくとみられる。

引用元：ITmedia NEWS