トップ / シリーズ
シリーズ「ベクトル検索」
ベクトル化のしくみ
RAGなどで使われる「ベクトル化(埋め込み)」は、文章を数字の並びにして、意味の近い文章を探せるようにする仕組みです。言葉の関係を数字で表す考え方から、意味の近さをどうやって学ぶのか、質問と答えを近づける工夫、近さの測り方(コサイン類似度)までを、雨衣が解説します。プログラミングの経験がなくても分かるように話しています。
ベクトル検索の注意点
ベクトル検索(RAGなど)を使い始める前に知っておきたい注意点を、公式資料と実験をもとにまとめました。登録と検索で同じモデルを使うこと、目印(プレフィックス)の付け忘れ、型番の区別、入力の長さと次元数の上限、モデルの選び方、距離と正規化を取り上げます。
リランカーで検索は良くなる?
ベクトル検索で見つけた候補を、別のモデルで並べ直す「リランカー」は、検索を良くしてくれるのでしょうか。前回と同じデータと、大きい説明書のデータで実験し、うまくいった例と、思ったようにいかなかった例の両方を紹介します。何で測るか、どんな文書かで、結論が変わることが分かりました。
ベクトルはどこに保存する?
作ったベクトルは、どこに保存して、どうやって探すのでしょうか。PostgreSQLの拡張機能「pgvector」を例に、普段のSQLと組み合わせて探せる強みと、速く探すための近似インデックス、条件で絞り込んだときの注意点、次元数の上限を、実測をもとに解説します。
キーワード検索と混ぜれば強くなる?
キーワード検索とベクトル検索を組み合わせる「ハイブリッド検索」は、検索を強くしてくれるのでしょうか。キーワード検索の仕組みと、日本語ならではの区切り方の工夫、2つの結果の混ぜ方を説明し、これまでと同じデータで、効く場面と効かない場面を実験で確かめます。
長い文書はどう分ける?
長い文書を検索に入れるときは、いくつかに分けてから入れます。これを「チャンク分割」と言います。決まった長さで分ける方法と、見出しで分ける方法を実験で比べ、分けたときに「何の話か」が消えてしまう問題と、その対策(重ねる、見出しを付ける、文脈を付ける)を紹介します。
AIに何度も検索させると?
1回の検索では答えられない質問があります。そんなときに、AIに検索を何度も繰り返させる「エージェント検索」を試しました。仕組みと実験の結果、得意なことと気をつけること、かかる時間を紹介し、通常の検索(RAG)との使い分けを考えます。シリーズ「ベクトル検索」の最終回です。