OpenAI、ChatGPTとCodexの長文読込を94%高速化

米OpenAIは、対話型AI「ChatGPT（OpenAIが開発・提供する対話型AIサービス）」および開発者向けコーディングAI「Codex（OpenAIが提供するコーディング特化型AIエージェント）」において、膨大な履歴を含む超長文対話スレッドの読み込み速度を最大94%短縮するアーキテクチャ最適化を発表しました。

231MBスレッドの読み込みが27.62秒から1.66秒に劇的短縮

大規模なコードベースの解析や長期にわたるシステム設計など、数百ターンに及ぶ対話履歴を持つユーザーにとって、スレッドを開く際の待ち時間は大きな課題でした。

公開されたベンチマーク測定結果（データサイズ231MB、741ターンに及ぶ対話スレッド）における最適化前後の比較は以下の通りです。

指標	最適化前	最適化後	改善率
​初期読み込み時間​	27.62秒	1.66秒​	94.0%短縮​
​初期取得メッセージ数​	15,529件	64件​	99.6%削減​
​ネットワークリクエスト数​	894回	16回​	98.2%削減​
​プロセス消費メモリ増加量​	基準値	41.2%削減​	—

この高速化は、モデルによるテキスト生成（推論）の処理時間を短縮するものではなく、対話を開く際のフロントエンドとバックエンド間のデータペイロード（通信で送受信されるデータ本体の容量）とリクエスト回数を効率化することで実現されています。

Codexユーザー1500万人突破とエコシステム拡大

Codexのアクティブユーザー数は世界で1,500万人を突破しており、開発現場での日常的な利用が急速に拡大しています。ユーザーの急増に伴い、週次利用制限のリセットや、コンテキストキャッシュ（過去の対話履歴を再利用して計算量を削減する仕組み）を活用したトークン節約手法が開発者コミュニティで活発に議論されています。

今回の長文読み込み最適化に加え、デスクトップ環境へのアプリ展開が進むことで、Codexを中心とした開発ワークフローの快適性が一段と向上します。

提供時期と利用上の注意点

• ​提供時期​: 今後1週間をかけて全ユーザーに対して順次展開されます。
• ​適用対象​: Web版および各種デスクトップアプリのChatGPT/Codex対話スレッド。
• ​注意点​: 本最適化はスレッドの読み込み・UI表示処理を対象としており、モデルの回答生成速度そのものを変更するものではありません。

引用元：KuCoin | KuCoin