OpenAI、低リソース言語評価でCOBOL移行97.9％達成と発表

米OpenAIは、COBOL（1959年に開発された事務処理向けの高水準プログラミング言語）やFortran、Visual Basicといった学習データの少ない低リソースプログラミング言語を対象とした最新モデルのコーディング能力評価結果を公開した。ゼロからデータベースを構築する新ベンチマーク「MultiLangBench」において、最新モデル「GPT-6 Astra（推論性能を強化したOpenAIのフロンティアモデル）」が20言語平均で87.4％のテスト合格率を記録。さらに既存コードの振る舞いを維持したまま移行する「COBOL移行評価」では、「GPT-6.1 Sol」が高推論設定時に97.9％の正解率に到達した。金融や重要インフラを支えつつも技術者不足が深刻化するレガシーコードの近代化に向け、モデルの精度とコスト効率の両面で顕著な進歩を示している。

20言語でエンジン構築を検証する「MultiLangBench」と高精度COBOL移行

OpenAIが公開した評価体系は、新規コード構築を検証する「MultiLangBench」と、既存資産の互換移行を測る「COBOL移行評価」の2本柱で構成される。開発者や企業顧客から、コーディングAIがレガシー言語を苦手としているというフィードバックを受けた取り組みだという。

ゼロからのDB構築を競う「MultiLangBench」

MultiLangBenchは、指定されたプログラミング言語でSQLite互換のデータベースエンジンをゼロから実装させるテストである。コードの構成、状態管理、エラー処理、機能追加を総合的に評価し、共通のデータベースファイルを比較インターフェースに用いることで、言語の違いを問わず同一のテストスイートを適用する。

推論量を最大に設定したGPT-6 Astraは、対象20言語中19言語で合格率83％を超え、全体平均87.4％を達成した。前世代モデル「GPT-5.6 Sol」の平均26.8％から大幅に向上している。最も難関とされたCOBOLでも10.9％から72.1％へと躍進したほか、OCaml（25.6％から85.8％）、Fortran（21.4％から83.5％）、Visual Basic（27.5％から89.4％）と広範な言語で高い合格率を記録した。 また、低コストモデル「GPT-6 Luna」も平均40.3％と前世代GPT-5.6 Solを上回り、サンプルあたりの推定APIコストは0.77ドルと、GPT-5.6 Sol（3.48ドル）比で約78％低減した。評価環境とテストスイートはGitHub上の公開リポジトリ（ openai/MultiLangBench ）で公開されている。

出力のバイト単位一致を要求するCOBOL移行テスト

2つ目のCOBOL移行評価では、既存のCOBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ移植させ、挙動が完全に維持されるかを検証する。COBOLの固定小数点演算では端数が明示的な丸め指定なしに切り捨てられるなど、金額計算や業務ルールに関わる細かな仕様の違いが存在する。 OpenAIはこれらを厳密に判定するため、出力結果がバイト単位で完全に一致することを要求する非公開テストを採用し、全テスト合格のみを成功と定義した。この評価において、推論量を低く設定した「GPT-6.1 Sol」の正解率は86.6％に達し、同一設定のGPT-5.6 Sol（5.4％）を圧倒した。APIコストもGPT-5.6 Sol比で39％削減（61％のコスト水準）されている。さらに推論量を引き上げた設定では正解率97.9％に達し、評価上限に近い精度を実証した。

モデル別性能とコストの比較

MultiLangBenchおよびCOBOL移行評価における各モデルの性能と推定コストの差異は下表のとおりとなる。

モデル名	MultiLangBench平均合格率	COBOL合格率（MultiLangBench）	COBOL移行評価正解率	推定APIコスト・効率
GPT-6 Astra	87.4％​	72.1％​	—	フロンティア推論（最大設定）
GPT-6.1 Sol​（高推論）	—	—	97.9％​	高推論（高精度移行）
GPT-6.1 Sol​（低推論）	—	—	86.6％	GPT-5.6 Sol比 39％コスト減
GPT-6 Luna	40.3％	17.1％	—	0.77ドル​/サンプル（78％減）
GPT-5.6 Sol（前世代）	26.8％	10.9％	5.4％	3.48ドル/サンプル（基準値）

金融インフラへの依存と日本のレガシー移行における留意点

COBOLは1959年の誕生から半世紀以上が経過した現在も、世界中の基幹システムを支えている。OpenAIによると、COBOLはオンラインバンキングシステムの40％超、対面クレジットカード取引の80％、ATM取引の95％を担っており、Fortranも気象予測や原子炉の安全性解析で稼働している。日本国内でも金融機関や行政機関に膨大なCOBOL資産が残存し、保守要員の高齢化に伴う技術継承が喫緊の課題となっている。

一方でOpenAIは、本番システムへのAI適用にあたっては、専門家によるレビューと、業務ルールや外部依存関係に照らした入念なテストが引き続き不可欠であると注意を促している。AIによる自動移行は仕様解析やコード生成の負荷を劇的に下げるものの、業務上の例外処理や運用要件を担保する人間の監査体制を省略できるわけではない。

レガシーコード近代化を巡る競争と実用化の展望

レガシー資産のモダナイゼーション市場では、IBMが2023年にメインフレーム向けAI「watsonx Code Assistant for Z」を投入し、2026年2月にはAnthropicが「Claude Code」によるCOBOL移行支援を打ち出すなど、生成AI各社による提案が活発化している。OpenAIが公開ベンチマーク「MultiLangBench」を提供し、高推論モデルによる97.9％という高い移行精度を示したことは、エンタープライズ顧客に対する強力な訴求力を持つ。単なるコード変換に留まらず、ビルドツールの活用や不慣れなリポジトリの解析といった総合的なソフトウェアエンジニアリングスキルの向上に向け、今後の実務適用とツールの拡充が期待される。

引用元：OpenAI | ITmedia NEWS | Engadget | テクノエッジ編集部ピックアップ | ビジネス+IT