あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #4 2026-11-03 ・ ▶ 動画でも見られます

ベクトルはどこに保存する?

作ったベクトルは、どこに保存して、どうやって探すのでしょうか。

PostgreSQLの拡張機能「pgvector」を例に、普段のSQLと組み合わせて探せる強みと、速く探すための近似インデックス、条件で絞り込んだときの注意点、次元数の上限を、実測をもとに解説します。

解説

RAGのどこの話?

RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近い文章を探す → LLMが答える

本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。

RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。

準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。

質問されたら、質問もベクトルにして、データベースから近い文章を探し、見つかった文章をLLMに渡して、答えを書かせます。

今回取り上げるのは、ベクトルを保存して、そこから探す、データベースの部分です。

文書が増えても速く探せるか、条件を付けても正しく探せるかは、ここで決まります。

今回の内容

1. ベクトルデータベースの選び方と、何件まで入るか 2. pgvectorの強み 3. 速く探す仕組み(インデックス) 4. 実験: 条件で絞り込むと? 5. 次元数の上限 6. まとめ

今回の内容です。

ベクトルデータベースの選び方と、何件くらいまで入れられるかの目安、pgvectorの強みを見てから、速く探す仕組みを説明します。

そのあと、条件で絞り込むときの落とし穴と、次元数の上限を、実際に試して確かめます。

ベクトルデータベースの選び方

ベクトルデータベース特徴
pgvectorPostgreSQLの拡張機能
ChromaDBオープンソース。手元でもクラウドでも
LanceDBサーバーなしで組み込んで使える

ベクトルを保存して検索するには、ベクトルデータベースを使います。

たとえば、手元でも動かせるものに、pgvector、ChromaDB、LanceDBなどがあります。

pgvectorは、PostgreSQLというデータベースに、ベクトルを扱う機能を追加するものです。

ChromaDBは、オープンソースのベクトルデータベースで、手元で動かすことも、クラウドで使うこともできます。

LanceDBは、サーバーを立てずに、プログラムに組み込んで使えるのが特徴です。

何件まで入れられる?

pgvectorの一般的な目安(1536次元のベクトルの場合)

件数目安
約100万件普通の組み方で動くことが多い
約1000万件圧縮・分割・メモリの調整が要る
約1億件インデックスの種類から見直す
10億件〜PostgreSQLだけでは割に合わないことが多い

・境目は、件数よりインデックスがメモリに載るか ・インデックス込みで1件あたり約20〜25KB → 100万件で20GB超

(質問)何件くらいまで使えるの?

データや機械の性能で変わりますが、一般的な目安はあります。pgvectorで、1536次元のベクトルを入れる場合の目安です。

100万件くらいまでは、特別な工夫をしなくても、普通の組み方で動くことが多いです。

1000万件に近づくと、ベクトルを圧縮したり、表を分けたり、メモリの設定を詰めたりする工夫が必要になってきます。

1億件に近づくと、インデックスの種類から見直す段階です。10億件を超えると、PostgreSQLだけで組むのは、割に合わないことが多いとされています。

(質問)何で決まるの?

境目を決めるのは、件数そのものより、インデックスがメモリに載り切るかどうかです。

インデックスまで含めると、1件あたり20から25キロバイトほどになることがあって、100万件で20ギガバイトを超えます。

メモリに載り切らなくなると、探すたびにディスクを読みに行くので、急に遅くなります。

あくまで目安なので、最後は、自分の環境で試してみるのが確実です。

pgvectorの強み

・SQLのWHEREで絞り込み + ベクトル検索 ・全文検索と組み合わせて、ハイブリッド検索(日本語は pg_bigm・PGroonga などの拡張機能が必要) ・今あるPostgreSQLに足せる

ここからは、pgvectorを例に、詳しく見ていきます。

pgvectorの強みは、普段のデータベースの機能と組み合わせられることです。

たとえば、SQLのWHEREで「この部署の文書だけ」と条件を付けて、その中から意味の近いものを探せます。

全文検索と組み合わせれば、キーワード検索とベクトル検索を混ぜる、ハイブリッド検索もできます。

ただ、日本語の全文検索には、pg_bigmやPGroongaといった、追加の機能が必要です。ハイブリッド検索は、次の動画で詳しく試す予定です。

速く探す仕組み(インデックス)

・インデックスなし: 全部のベクトルと比べる(正確だが、件数に比例して遅い) ・近似インデックス: 近そうなところだけを探す(速いが、正確な上位とずれることがある)

10万件・128次元、上位10件(実測)探す時間
インデックスなし約36ms
HNSWあり約2ms
実際の文書2910件(768次元)、310問正確な結果との一致
------
上位10件が完全に一致297問
1位が一致310問
上位10件が完全に一致(ef_search 200)310問

ベクトル検索は、何もしなければ、保存した全部のベクトルと、1つずつ近さを比べます。

正確ですが、件数が増えるほど、時間がかかります。

そこで、近そうなところだけを探して、速く答えを返す、近似インデックスを作ります。

10万件のベクトルで試すと、上位10件を探すのに、インデックスなしで約36ミリ秒、インデックスありで約2ミリ秒でした。

(質問)近似ってことは、ずれることもあるの?

はい。実際の文書約3000件のベクトルで確かめると、上位10件が正確な結果と完全に一致したのは、310問中297問でした。

1位は全問一致していて、探す候補の数を増やす設定にすると、全問で一致しました。速さと正確さの、かね合いですね。

HNSWとIVFFlat

HNSWIVFFlat
探す速く正確性能は劣る
作る遅く、メモリを多く使う速く、メモリが少ない
作る時期データが無くても作れるデータを入れてから作る

・実測: 10万件・128次元のHNSWを作るのに約38秒

pgvectorの近似インデックスには、HNSWと、IVFFlatの2種類があります。

HNSWは、探すのが速くて正確ですが、作るのに時間がかかり、メモリも多く使います。

今回の10万件でも、作るのに約38秒かかりました。

IVFFlatは、作るのが速く、メモリも少なくて済みますが、探す性能では、HNSWに劣るとされています。

また、IVFFlatは、データを入れてから作る必要があります。

実験 条件で絞り込むと?

10万件、部署は10種類

絞り込みの条件頼んだ件数返ってきた件数
1部署(約1万件)上位10件7件
1部署(約1万件)上位100件7件
5部署(約5万件)上位10件10件

・HNSWでは、絞り込みはインデックスで候補を探した後に行われる(候補は既定で40件)

では、冒頭の実験です。

10万件のベクトルに、10種類の部署を割り当てて、「この部署の文書だけ」と条件を付けて探しました。

1つの部署には、約1万件の文書があります。それなのに、上位10件を頼むと、7件しか返ってきませんでした。

上位100件を頼んでも、やっぱり7件です。

(質問)1万件もあるのに、なんで?

HNSWでは、まずインデックスで近い候補を探して、その後で条件を当てはめるからです。

候補は、既定では40件だけなので、その中に、条件に合うものが7件しかなかったわけです。

条件を5つの部署に広げると、ちゃんと10件返ってきました。条件が厳しいほど、起きやすいんですね。

しかも、エラーは出ません。件数を確かめていないと、気づけないんです。

実際の文書でも起きる?

実際の文書2910件(リランカーの回のデータ)、約1割に絞って上位10件を頼む(270問)

絞り込みの条件10件そろった問題
部署(内容と関係ない条件)1問(中央値 4件)
家電の種類(内容と関係ある条件)257問

・表が小さいと、PostgreSQLはインデックスを使わずに全部を比べる → 起きない(実行計画で確認)

乱数のベクトルは、実際の文書とは性質が違うので、リランカーの回で使った、実際の文書約3000件でも試しました。

文書ごとに部署を割り当てて、1つの部署に絞ると、上位10件がそろったのは、270問中たった1問でした。

一方で、「ロボット掃除機の文書だけ」のように、質問の内容と関係のある条件で絞ると、ほとんど減りませんでした。

(質問)条件によって違うの?

はい。ロボット掃除機の質問なら、近い候補も、もともとロボット掃除機の文書なので、絞っても残るんです。部署や閲覧権限のように、内容と関係ない条件ほど、起きやすいわけですね。

ちなみに、表が小さいうちは、PostgreSQLが自分でインデックスを使わずに、全部を比べる方を選ぶので、この問題は起きませんでした。件数が増えてから、急に起きることがあるので、注意が必要です。

反復スキャンで対策

反復スキャンあり返ってきた件数
1部署、上位10件を頼む10件
1部署、上位100件を頼む100件
実際の文書2910件(270問)270問とも10件

・pgvector 0.8.0から。足りない分を自動で探し足す ・ほかの対策: 部分インデックス、パーティション分割 ・使った設定(relaxed_order)では、並びが厳密な近さの順にならないことがある

対策の1つが、pgvectorのバージョン0.8.0から入った、反復スキャンという機能です。

条件に合う結果が足りないときに、インデックスの続きを、自動で探し足してくれます。

有効にしてもう一度試すと、10件を頼めば10件、100件を頼めば100件が、ちゃんと返ってきました!実際の文書でも、270問すべてで10件そろいました。

ほかにも、よく使う条件ごとにインデックスを分けておく、といった方法もあります。

条件を付けて探すなら、返ってきた件数を確かめる習慣をつけておくと安心です。

次元数の上限

HNSWのインデックスは2000次元まで ・3072次元で作ろうとしたときの実際のエラー: column cannot have more than 2000 dimensions for hnsw index ・halfvec(半分の精度)なら4000次元まで ・ベクトルを0と1に縮める方法(二値量子化)も

もう1つの注意点が、次元数の上限です。

以前の動画で、3072次元のベクトルを作れるモデルを紹介しました。そのまま、3072次元でインデックスを作ろうとすると、こうなります。

「2000次元より大きい列には、インデックスを作れません」というエラーです。

対策としては、数字を半分の精度で持つ、halfvecという形にすれば、4000次元まで対応できます。

ベクトルを0と1だけに縮めて、軽くする方法も紹介されています。

モデルを選ぶときは、次元数と、保存先の上限を、セットで確認しておきましょう。

使い始める前に確かめること

・検索の条件を付けるなら、返ってきた件数を確かめる ・次元数とインデックスの上限 ・インデックスを作る時間とメモリ ・モデルを変えたら、全部のベクトルを作り直す

最後に、使い始める前に確かめておきたいことを、まとめておきます。

条件を付けて探すなら、返ってきた件数を確かめること。

使うモデルの次元数が、インデックスの上限に収まるか確かめること。

件数が多いなら、インデックスを作る時間とメモリも見ておくこと。

そして、ベクトルにするモデルを変えたら、保存してあるベクトルも、全部作り直しになることです。

おわりに

まとめ ・pgvector: 普段のSQLと組み合わせて探せる ・近似インデックスで速く(今回: 約36ms → 約2ms) ・内容と関係ない条件で絞り込むと、件数が減ることがある(反復スキャンで対策) ・次元数の上限に注意(HNSWは2000次元まで)

では、まとめです。

pgvectorは、普段のSQLの条件と組み合わせて、ベクトル検索ができます。

近似インデックスを作ると、検索がぐっと速くなりますが、部署のような、内容と関係ない条件で絞り込むと、返ってくる件数が減ることがありました。反復スキャンで対策できます。

また、インデックスには次元数の上限があるので、モデルを選ぶときに、あわせて確認しておきましょう。

次の動画では、pgvectorの強みの1つだった、キーワード検索とベクトル検索を組み合わせる、ハイブリッド検索を試す予定です。

今回は「ベクトルはどこに保存する?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」