ベクトル検索 #4 2026-11-03 ・ ▶ 動画でも見られます
ベクトルはどこに保存する?
作ったベクトルは、どこに保存して、どうやって探すのでしょうか。
PostgreSQLの拡張機能「pgvector」を例に、普段のSQLと組み合わせて探せる強みと、速く探すための近似インデックス、条件で絞り込んだときの注意点、次元数の上限を、実測をもとに解説します。
解説
RAGのどこの話?
RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近い文章を探す → LLMが答える
本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。
RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。
準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。
質問されたら、質問もベクトルにして、データベースから近い文章を探し、見つかった文章をLLMに渡して、答えを書かせます。
今回取り上げるのは、ベクトルを保存して、そこから探す、データベースの部分です。
文書が増えても速く探せるか、条件を付けても正しく探せるかは、ここで決まります。
今回の内容
1. ベクトルデータベースの選び方と、何件まで入るか 2. pgvectorの強み 3. 速く探す仕組み(インデックス) 4. 実験: 条件で絞り込むと? 5. 次元数の上限 6. まとめ
今回の内容です。
ベクトルデータベースの選び方と、何件くらいまで入れられるかの目安、pgvectorの強みを見てから、速く探す仕組みを説明します。
そのあと、条件で絞り込むときの落とし穴と、次元数の上限を、実際に試して確かめます。
ベクトルデータベースの選び方
| ベクトルデータベース | 特徴 |
|---|---|
| pgvector | PostgreSQLの拡張機能 |
| ChromaDB | オープンソース。手元でもクラウドでも |
| LanceDB | サーバーなしで組み込んで使える |
ベクトルを保存して検索するには、ベクトルデータベースを使います。
たとえば、手元でも動かせるものに、pgvector、ChromaDB、LanceDBなどがあります。
pgvectorは、PostgreSQLというデータベースに、ベクトルを扱う機能を追加するものです。
ChromaDBは、オープンソースのベクトルデータベースで、手元で動かすことも、クラウドで使うこともできます。
LanceDBは、サーバーを立てずに、プログラムに組み込んで使えるのが特徴です。
何件まで入れられる?
pgvectorの一般的な目安(1536次元のベクトルの場合)
| 件数 | 目安 |
|---|---|
| 約100万件 | 普通の組み方で動くことが多い |
| 約1000万件 | 圧縮・分割・メモリの調整が要る |
| 約1億件 | インデックスの種類から見直す |
| 10億件〜 | PostgreSQLだけでは割に合わないことが多い |
・境目は、件数よりインデックスがメモリに載るか ・インデックス込みで1件あたり約20〜25KB → 100万件で20GB超
(質問)何件くらいまで使えるの?
データや機械の性能で変わりますが、一般的な目安はあります。pgvectorで、1536次元のベクトルを入れる場合の目安です。
100万件くらいまでは、特別な工夫をしなくても、普通の組み方で動くことが多いです。
1000万件に近づくと、ベクトルを圧縮したり、表を分けたり、メモリの設定を詰めたりする工夫が必要になってきます。
1億件に近づくと、インデックスの種類から見直す段階です。10億件を超えると、PostgreSQLだけで組むのは、割に合わないことが多いとされています。
(質問)何で決まるの?
境目を決めるのは、件数そのものより、インデックスがメモリに載り切るかどうかです。
インデックスまで含めると、1件あたり20から25キロバイトほどになることがあって、100万件で20ギガバイトを超えます。
メモリに載り切らなくなると、探すたびにディスクを読みに行くので、急に遅くなります。
あくまで目安なので、最後は、自分の環境で試してみるのが確実です。
pgvectorの強み
・SQLのWHEREで絞り込み + ベクトル検索 ・全文検索と組み合わせて、ハイブリッド検索(日本語は pg_bigm・PGroonga などの拡張機能が必要) ・今あるPostgreSQLに足せる
ここからは、pgvectorを例に、詳しく見ていきます。
pgvectorの強みは、普段のデータベースの機能と組み合わせられることです。
たとえば、SQLのWHEREで「この部署の文書だけ」と条件を付けて、その中から意味の近いものを探せます。
全文検索と組み合わせれば、キーワード検索とベクトル検索を混ぜる、ハイブリッド検索もできます。
ただ、日本語の全文検索には、pg_bigmやPGroongaといった、追加の機能が必要です。ハイブリッド検索は、次の動画で詳しく試す予定です。
速く探す仕組み(インデックス)
・インデックスなし: 全部のベクトルと比べる(正確だが、件数に比例して遅い) ・近似インデックス: 近そうなところだけを探す(速いが、正確な上位とずれることがある)
| 10万件・128次元、上位10件(実測) | 探す時間 |
|---|---|
| インデックスなし | 約36ms |
| HNSWあり | 約2ms |
| 実際の文書2910件(768次元)、310問 | 正確な結果との一致 |
| --- | --- |
| 上位10件が完全に一致 | 297問 |
| 1位が一致 | 310問 |
| 上位10件が完全に一致(ef_search 200) | 310問 |
ベクトル検索は、何もしなければ、保存した全部のベクトルと、1つずつ近さを比べます。
正確ですが、件数が増えるほど、時間がかかります。
そこで、近そうなところだけを探して、速く答えを返す、近似インデックスを作ります。
10万件のベクトルで試すと、上位10件を探すのに、インデックスなしで約36ミリ秒、インデックスありで約2ミリ秒でした。
(質問)近似ってことは、ずれることもあるの?
はい。実際の文書約3000件のベクトルで確かめると、上位10件が正確な結果と完全に一致したのは、310問中297問でした。
1位は全問一致していて、探す候補の数を増やす設定にすると、全問で一致しました。速さと正確さの、かね合いですね。
HNSWとIVFFlat
| HNSW | IVFFlat | |
|---|---|---|
| 探す | 速く正確 | 性能は劣る |
| 作る | 遅く、メモリを多く使う | 速く、メモリが少ない |
| 作る時期 | データが無くても作れる | データを入れてから作る |
・実測: 10万件・128次元のHNSWを作るのに約38秒
pgvectorの近似インデックスには、HNSWと、IVFFlatの2種類があります。
HNSWは、探すのが速くて正確ですが、作るのに時間がかかり、メモリも多く使います。
今回の10万件でも、作るのに約38秒かかりました。
IVFFlatは、作るのが速く、メモリも少なくて済みますが、探す性能では、HNSWに劣るとされています。
また、IVFFlatは、データを入れてから作る必要があります。
実験 条件で絞り込むと?
10万件、部署は10種類
| 絞り込みの条件 | 頼んだ件数 | 返ってきた件数 |
|---|---|---|
| 1部署(約1万件) | 上位10件 | 7件 |
| 1部署(約1万件) | 上位100件 | 7件 |
| 5部署(約5万件) | 上位10件 | 10件 |
・HNSWでは、絞り込みはインデックスで候補を探した後に行われる(候補は既定で40件)
では、冒頭の実験です。
10万件のベクトルに、10種類の部署を割り当てて、「この部署の文書だけ」と条件を付けて探しました。
1つの部署には、約1万件の文書があります。それなのに、上位10件を頼むと、7件しか返ってきませんでした。
上位100件を頼んでも、やっぱり7件です。
(質問)1万件もあるのに、なんで?
HNSWでは、まずインデックスで近い候補を探して、その後で条件を当てはめるからです。
候補は、既定では40件だけなので、その中に、条件に合うものが7件しかなかったわけです。
条件を5つの部署に広げると、ちゃんと10件返ってきました。条件が厳しいほど、起きやすいんですね。
しかも、エラーは出ません。件数を確かめていないと、気づけないんです。
実際の文書でも起きる?
実際の文書2910件(リランカーの回のデータ)、約1割に絞って上位10件を頼む(270問)
| 絞り込みの条件 | 10件そろった問題 |
|---|---|
| 部署(内容と関係ない条件) | 1問(中央値 4件) |
| 家電の種類(内容と関係ある条件) | 257問 |
・表が小さいと、PostgreSQLはインデックスを使わずに全部を比べる → 起きない(実行計画で確認)
乱数のベクトルは、実際の文書とは性質が違うので、リランカーの回で使った、実際の文書約3000件でも試しました。
文書ごとに部署を割り当てて、1つの部署に絞ると、上位10件がそろったのは、270問中たった1問でした。
一方で、「ロボット掃除機の文書だけ」のように、質問の内容と関係のある条件で絞ると、ほとんど減りませんでした。
(質問)条件によって違うの?
はい。ロボット掃除機の質問なら、近い候補も、もともとロボット掃除機の文書なので、絞っても残るんです。部署や閲覧権限のように、内容と関係ない条件ほど、起きやすいわけですね。
ちなみに、表が小さいうちは、PostgreSQLが自分でインデックスを使わずに、全部を比べる方を選ぶので、この問題は起きませんでした。件数が増えてから、急に起きることがあるので、注意が必要です。
反復スキャンで対策
| 反復スキャンあり | 返ってきた件数 |
|---|---|
| 1部署、上位10件を頼む | 10件 |
| 1部署、上位100件を頼む | 100件 |
| 実際の文書2910件(270問) | 270問とも10件 |
・pgvector 0.8.0から。足りない分を自動で探し足す ・ほかの対策: 部分インデックス、パーティション分割 ・使った設定(relaxed_order)では、並びが厳密な近さの順にならないことがある
対策の1つが、pgvectorのバージョン0.8.0から入った、反復スキャンという機能です。
条件に合う結果が足りないときに、インデックスの続きを、自動で探し足してくれます。
有効にしてもう一度試すと、10件を頼めば10件、100件を頼めば100件が、ちゃんと返ってきました!実際の文書でも、270問すべてで10件そろいました。
ほかにも、よく使う条件ごとにインデックスを分けておく、といった方法もあります。
条件を付けて探すなら、返ってきた件数を確かめる習慣をつけておくと安心です。
次元数の上限
HNSWのインデックスは2000次元まで ・3072次元で作ろうとしたときの実際のエラー: column cannot have more than 2000 dimensions for hnsw index ・halfvec(半分の精度)なら4000次元まで ・ベクトルを0と1に縮める方法(二値量子化)も
もう1つの注意点が、次元数の上限です。
以前の動画で、3072次元のベクトルを作れるモデルを紹介しました。そのまま、3072次元でインデックスを作ろうとすると、こうなります。
「2000次元より大きい列には、インデックスを作れません」というエラーです。
対策としては、数字を半分の精度で持つ、halfvecという形にすれば、4000次元まで対応できます。
ベクトルを0と1だけに縮めて、軽くする方法も紹介されています。
モデルを選ぶときは、次元数と、保存先の上限を、セットで確認しておきましょう。
使い始める前に確かめること
・検索の条件を付けるなら、返ってきた件数を確かめる ・次元数とインデックスの上限 ・インデックスを作る時間とメモリ ・モデルを変えたら、全部のベクトルを作り直す
最後に、使い始める前に確かめておきたいことを、まとめておきます。
条件を付けて探すなら、返ってきた件数を確かめること。
使うモデルの次元数が、インデックスの上限に収まるか確かめること。
件数が多いなら、インデックスを作る時間とメモリも見ておくこと。
そして、ベクトルにするモデルを変えたら、保存してあるベクトルも、全部作り直しになることです。
おわりに
まとめ ・pgvector: 普段のSQLと組み合わせて探せる ・近似インデックスで速く(今回: 約36ms → 約2ms) ・内容と関係ない条件で絞り込むと、件数が減ることがある(反復スキャンで対策) ・次元数の上限に注意(HNSWは2000次元まで)
では、まとめです。
pgvectorは、普段のSQLの条件と組み合わせて、ベクトル検索ができます。
近似インデックスを作ると、検索がぐっと速くなりますが、部署のような、内容と関係ない条件で絞り込むと、返ってくる件数が減ることがありました。反復スキャンで対策できます。
また、インデックスには次元数の上限があるので、モデルを選ぶときに、あわせて確認しておきましょう。
次の動画では、pgvectorの強みの1つだった、キーワード検索とベクトル検索を組み合わせる、ハイブリッド検索を試す予定です。
今回は「ベクトルはどこに保存する?」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。