Google、API Gatewayのストリーミング対応を発表

米Google Cloud（Googleのクラウドコンピューティング基盤）は10月22日、マネージドAPI管理サービス「API Gateway」において、リアルタイム通信および生成AIのトークン逐次配信に対応するストリーミング機能のパブリックプレビューを開始した。既存のAPI仕様書（OpenAPI定義等）に修正を加えることなく、SSE（サーバーからクライアントへ逐次データを送信する通信技術）（Server-Sent Events）、WebSockets、gRPCストリーミングなどをゲートウェイ経由で中継できる。APIキー検証やJWT認証といった統制ポリシーを維持したまま、AIアプリケーション向けのリアルタイム配信基盤を構築可能になる。

仕様変更不要で多様なストリーミングプロトコルを中継

従来のAPI Gatewayはリクエストとレスポンスが1対1で完結するトランザクション型通信を前提として設計されていた。そのため、生成AIモデルのトークンストリーミングや協調編集を導入する開発者は、ゲートウェイをバイパスしてセキュリティ統制を犠牲にするか、ストリーミングを諦めるかの二者択一を迫られていた。

今回のアップデートにより、API定義を変更することなく、以下のストリーミングプロトコルを透過的にプロキシできるようになった。

• Server-Sent Events（SSE）​: ブラウザやクライアントSDKへのモデル出力ストリーミングに広く用いられる標準プロトコル。OpenAI互換のチャット補完APIのバックエンドをそのまま中継可能。
• ​チャンク転送エンコーディング／HTTPレスポンスストリーミング​: 改行区切りJSON（NDJSON）などの逐次配信レスポンスを、バッファリングせずバックエンドの生成に合わせて即時伝送。
• WebSockets: チャット、双方向通知、インタラクティブ操作を可能にする全二重通信に対応。
• gRPCストリーミング​: サーバーサイドストリーミングおよび双方向ストリーミングに対応し、これまでプロキシが困難だったgRPCサービスを保護。

ストリーム接続は最長1時間まで維持できる（クライアント側での再接続ロジック実装を推奨）。

項目	従来のAPI Gateway	ストリーミング対応API Gateway
通信モデル	1リクエスト・1レスポンス（バッファリング）	逐次トークン配信・全二重ストリーミング
対応プロトコル	通常のHTTP/REST	SSE、WebSockets、gRPC、Chunked HTTP
API仕様書の変更	—	不要（既存定義をそのまま利用可能）
適用可能な統制	APIキー、JWT、Cloud Logging/Monitoring	同等の認証・認可・監査ログをストリーミングにも適用
ホスト名命名規則	ランダムハッシュ付き（事前確定不可）	確定的な命名規則（IaCや設定事前記述に対応）

予測可能なホスト名とAIワークロード統合

ストリーミング機能の導入に伴い、ゲートウェイのデフォルトホスト名が確定的な形式（GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev）へと刷新された。従来はランダムハッシュが含まれていたため作成後でなければURLが確定しなかったが、新規則により作成前からTerraform構成やファイアウォール設定にURLを記述できる。

さらに、API Gatewayの「モデルルーティング」機能と組み合わせることで、単一のOpenAI互換エンドポイントを用意し、リクエストに応じてGeminiやClaude、オープンソースモデルへストリーミング応答を振り分ける構成が容易になる。

プレビュー期間中の留意点と制約

パブリックプレビュー期間中は、ゲートウェイ作成時に --enable-streaming フラグを指定して新規作成する必要がある。既存ゲートウェイのインプレース変更には対応していない。

また、初期プレビュー時点では以下の機能が未提供となっており、プレビュー期間中に対象を順次拡大する予定である。

• Cloud Console（GUI画面）からのストリーミング有効化
• サーバーレスNEGおよび外部アプリケーションロードバランサ経由のカスタムドメイン設定
• Terraformによるストリーミングフラグの直接プロビジョニング

なお、ストリーミング接続時のレイテンシメトリクスは、最初の1バイトが届くまでの時間（TTFB）ではなく接続全体の継続時間を表すため、監視グラフの形状変化に留意する必要がある。

分析・展望

大規模言語モデル（LLM）や自律型エージェントの普及に伴い、Webトラフィックは従来のステートレスな短時間通信から、長時間接続を伴う逐次ストリーミングへと構造転換を遂げつつある。API Gatewayがストリーミングを標準サポートしたことで、エンタープライズ企業が直面していた「AIエンドポイントの野良プロキシ化（シャドーAI）」を防ぎ、企業統一のポリシー・監査下でリアルタイムAIアプリを展開できる現実的な基盤が整った。

Google Cloudはより高度なAIポリシー管理を提供する「Apigee」や、エージェント間連携を統制する「Agent Gateway」を展開しており、API Gatewayはその軽量なエントリーポイントとして位置づけられる。各ゲートウェイを用途に応じて組み合わせることで、企業内のエージェントトラフィックを多層防御するアーキテクチャの標準化が進むとみられる。

引用元：Google Developers Blog