~/ / 埋め込みと検索(RAG)

埋め込みと検索(RAG)

検索で補う生成(RAG)を順に組み立てるツールです。文書を区切り、埋め込みを比べ、PostgreSQL の pgvector に保存して検索し、出典だけで答えさせるプロンプトを作って、回答の引用が出典と合っているかを確かめます。

使う順に並べたツール

  1. RAG用にテキストを分割し、Ollama /api/embed を作成RAG Text Chunkerテキストをオーバーラップ付きで分割し、RAG用のOllama /api/embed リクエストを作成
  2. Ollama の埋め込みベクトルを比較するEmbedding Similarity CalculatorOllama /api/embed のベクトルを比較: コサイン類似度・内積・距離
  3. pgvector のテーブル・索引・検索の SQL を書くpgvector SQL BuilderpgvectorのSQLを書く: テーブル、HNSWまたはIVFFlatのインデックス、最近傍検索のクエリ
  4. 埋め込みを pgvector の INSERT 文にするEmbeddings to pgvector INSERTOllamaの /api/embed の結果とテキストを、pgvectorの INSERT 文にする
  5. 出典付きで答える RAG のリクエストを作るRAG Prompt Builder番号付きの出典だけをもとに答え、引用も付ける Ollama の /api/chat リクエストを作る
  6. RAG の回答の出典番号と引用文を、送った出典と照らして確認RAG Citation CheckerRAG の回答の出典番号と引用文が、本当に出典と一致するかを確認する

この話題の記事

ほかの話題