AI関連の最新ニュースをピックアップ
米Perplexity AI(AIを活用した対話型検索エンジンおよびAPIを提供する米国企業)は、開発者向け「Perplexity Search API」において、検索結果を高速に応答する新機能「Fast Search」の提供を発表した。新開発の検索・ランキング基盤「Photon」の導入により、検索結果の大部分をミリ秒単位で高速に返却できるようになった。

Perplexityの公式発表によると、Fast Searchは同社が新たに設計した検索およびランキングサービス「Photon」をバックエンドとして動作している。
従来のWeb検索APIでは、クエリの解析から外部インデックス検索、ランキング処理を経て結果を返すまでに秒単位の時間を要する場合も多かったが、Photon基盤により大幅な低遅延化が達成された。
外部知識を検索して回答を生成するRAG(検索拡張生成。LLMの回答精度を高めるため外部文書を検索してプロンプトに組み込む技術)や自律型AIエージェントにおいて、情報取得の待ち時間はユーザー体験のボトルネックとなってきた。
日本の開発者や企業にとっても、対話型チャットボットや顧客対応エージェントにリアルタイムな最新Web情報を組み込む際、230ミリ秒以下という高速レスポンスは対話のテンポを崩さない大きな利点となる。特に複数回の検索と推論を繰り返すエージェントワークフローにおいて、総処理時間の劇的な短縮が期待できる。
今回の発表で示された230ミリ秒以下という数値は、Fast Searchによる検索結果返却処理(p95)のレイテンシである。検索結果を元に大規模言語モデルが文章を生成・要約する全体のレイテンシとは区別して設計・評価する必要がある。また、APIの利用制限や料金形態についての詳細な仕様は開発者向けドキュメントでの確認が必要となる。
少人数チームが数百のエージェントと協働してインフラ基盤を構築した開発アプローチ自体も、今後のソフトウェア開発のあり方として示唆に富んでおり、高速検索市場におけるPerplexityの存在感向上につながるか注目される。
引用元:X (Twitter)