Perplexity、埋め込みAI「pplx-embed-v2」公開

AI検索エンジン大手の米Perplexityは、テキストだけでなく画像やPDFスライドなどの視覚的文書を高精度に検索・照合できるマルチモーダル遅延相互作用（Late-Interaction / ColBERT（クエリと文書の各トークン間の最大類似度を計算する高精度検索手法））埋め込みモデル群「pplx-embed-v2-late」をHugging Faceでオープンソース公開した。0.6Bモデルと9Bモデルが共通の埋め込み空間を共有しており、サーバー側で9Bモデルを用いて構築した文書インデックスを、端末側の軽量な0.6Bモデルから低遅延で直接検索できる画期的なアーキテクチャを備えている。

Qwen3.5双方向アテンションと知識蒸留による高効率リトリーバー

本モデルファミリーは、Qwen3.5をベースに双方向アテンション（Bidirectional Attention）構造へ拡張して構築された。文書全体を1つの固定次元ベクトルに縮約する一般的な埋め込みとは異なり、トークンごとに128次元のマルチベクトルを生成し、MaxSim（最大類似度の総和）演算によってクエリと文書の関連度をきめ細かく算出する。

モデルの構成と学習手法の詳細は以下の通りである。

• ​ラインナップ​: 総パラメータ0.6B（活性化パラメータ3億4,000万）の「pplx-embed-v2-late-0.6b」と、9B（活性化パラメータ74億）の「pplx-embed-v2-late-9b」の2種。
• 18B教師モデルからの蒸留​: ペアおよびトリプレットデータで事前学習された社内の18B ColBERT教師モデルから、トークン単位のLEAFスタイル目的関数を用いて蒸留を実施。0.6Bモデルは全層ファインチューニングされ、9Bモデルは最終8層を調整しつつ残りの層と視覚エンコーダーをLoRAで適応させた。
• ​標準ライブラリとの連携​: Sentence Transformers 6.0.0以上およびTransformers 5.4.0以上に対応し、独自のラッパーコードなしでMultiVectorEncoderクラスから直接利用可能。

モデル比較と利用上の留意点

0.6Bモデルと9Bモデルの性能ベンチマークおよび仕様比較は以下の通りである。

モデル名	活性化パラメータ数	ベクトル次元数	ViDoRe(v3) 画像 nDCG@10	ViDoRe(v3) Markdown nDCG@10
pplx-embed-v2-late-0.6b	340M	128 (トークン毎)	62.3%	61.2%
pplx-embed-v2-late-9b	7.4B	128 (トークン毎)	65.2%	64.7%

公開視覚文書ベンチマーク「ViDoRe (v3)」において、軽量な0.6Bモデルでありながら大型モデルに迫る極めて高い検索精度を達成している。

導入時の留意点（制約事項）

• ​バッチ処理の分離​: 現行バージョンでは、テキストのみのバッチと画像のみのバッチを個別にエンコードする必要があり、単一バッチ内でのテキスト・画像混合入力には対応していない。
• ​マーカー位置の仕様​: ColBERT用ライブラリ「PyLate」ではQuery/Documentマーカーを2番目の位置に挿入する実装があるが、本モデルはマーカーを先頭（1番目）に配置することを前提としているため、前処理のパイプラインに注意が必要である。

視覚的RAG（Visual RAG）実用化へのインパクト

複雑な表やグラフを含むPDFドキュメントの検索（RAG）において、従来のOCR（文字認識）によるテキスト抽出では、配置情報や視覚的な文脈が失われる問題が頻発していた。

pplx-embed-v2-lateのように、画像やドキュメントページ全体をそのままマルチベクトル空間に埋め込めるモデルがオープン化されたことで、エンタープライズ検索や専門ドキュメント検索の精度が飛躍的に向上すると期待される。特に0.6Bという軽量サイズで高い視覚文書検索性能を持つ点は、エッジ環境やローカル推論基盤における検索エンジン構築に大きな弾みをつける。

引用元：perplexity-ai/pplx-embed-v2-late-0.6b | perplexity-ai/pplx-embed-v2-late-9b