ベクトル検索 #2 2026-11-01 ・ ▶ 動画でも見られます
ベクトル検索の注意点
ベクトル検索(RAGなど)を使い始める前に知っておきたい注意点を、公式資料と実験をもとにまとめました。
登録と検索で同じモデルを使うこと、目印(プレフィックス)の付け忘れ、型番の区別、入力の長さと次元数の上限、モデルの選び方、距離と正規化を取り上げます。
解説
今回の内容
1. 30秒でおさらい 2. モデルと目印の注意(実験つき) 3. 型番は区別できる?(実験つき) 4. 入力の長さと次元数(実験つき) 5. モデルの選び方 6. 距離と正規化
今回の内容です。
まず、ベクトル化を簡単におさらいして、モデルまわりの注意を、実験もしながら確かめます。
そのあと、モデルの選び方と、距離の測り方を見ていきます。
30秒でおさらい
・文章 → 数字の並び(ベクトル) ・意味が近い文章ほど、ベクトルも近い ・質問と答えを近づける学習(対照学習)
まずは、30秒でおさらいです。
ベクトル化は、文章を、数百から数千個の数字の並びに変換することです。
意味が近い文章ほど、ベクトルも近くなるので、キーワードが一致しなくても、意味で文章を探せます。
検索用のモデルは、質問と、その答えのベクトルが近づくように学習されています。
詳しい仕組みは、前の動画「ベクトル化のしくみ」で解説しています。
登録と検索は、同じモデルで
・登録する文書と、検索する質問は、同じモデルでベクトル化する ・モデルを変えたら、登録済みの文書も全部ベクトル化し直し
1つ目の注意は、モデルの組み合わせです。
登録する文書と、検索する質問は、必ず同じモデルでベクトル化します。
(質問)違うモデルのベクトルどうしを比べたらダメなの?
モデルが違うと、数字の並び方のルールがまるで違うので、比べても意味がありません。
つまり、モデルを乗り換えるときは、登録済みの文書も、全部ベクトル化し直しなんです。
後から気づくと大変なので、最初のモデル選びは、慎重にしたいところですね。
目印を付け忘れない
| モデル | 質問に付ける目印 | 文書に付ける目印 |
|---|---|---|
| Ruri v3 | 検索クエリ: … | 検索文書: … |
| e5 | query: … | passage: … |
・付けないと性能が落ちる(e5のモデルカード)
2つ目は、目印、つまりプレフィックスです。
検索用のモデルの多くは、質問と文書を区別するために、文章の頭に目印を付けて使います。
たとえばRuri v3では、質問に「検索クエリ」、文書に「検索文書」を付けます。
e5というモデルのシリーズでは、「query」と「passage」です。
e5の説明書きには、目印を付けないと性能が落ちる、とはっきり書かれています。
地味ですけど、付け忘れても、エラーにはならないんです。だからこそ、気づきにくいんですよね。
実験 目印を付け忘れるとどうなる?
正しい答えが1位に来た数(100問中)・正しい答えの平均順位
| 目印 | 答えだけから探す | 紛らわしい文章も混ぜる |
|---|---|---|
| あり | 84問・1.28位 | 42問・1.93位 |
| なし | 85問・1.48位 | 20問・3.08位 |
| 質問だけ付け忘れ | 85問・1.33位 | 33問・2.39位 |
| 文書だけ付け忘れ | 80問・1.36位 | 39問・2.21位 |
・実測: Ruri v3(310m)、自作のFAQ 100問
では、Ruri v3で、実際に試してみます。
架空のアプリやお店の、よくある質問と答えを、100組自作しました。
質問ごとに、正しい答えが検索の1位に来るかを数えます。
1位の数だけだと、外れたときに2位だったのか、ずっと下だったのかが分からないので、正しい答えが平均で何位に来たかも見ます。
さらに、質問と同じ言葉を使っているのに、答えにはなっていない、紛らわしい文章も100件混ぜてみました。
たとえば「パスワードを忘れた、という声が多く寄せられました」のような文章です。
(質問)結果はどうだった?
答えだけから探したときは、1位の数は、目印ありが84問、目印なしが85問で、ほとんど差がありませんでした。
ただ、平均の順位で見ると、目印ありは1.28位、目印なしは1.48位で、目印ありの方が、正しい答えを上の方に並べていました。
さらに、紛らわしい文章を混ぜると、1位の数は、目印ありが42問、目印なしが20問と、2倍以上の差がつきました。平均の順位も、1.93位と3.08位です。
質問か文書の、片方だけ付け忘れた場合は、その間の成績でした。
簡単な問題では、1位の数にほとんど差が出ないので、付け忘れていても、なかなか気づけないんです。これは怖いですね。
ただ、目印ありでも、半分以上は、紛らわしい文章に1位を取られていました。
こうした紛らわしい文章への対策は、また別の動画で取り上げる予定です。
もちろん、100問の小さな実験なので、データが変われば結果も変わります。自分のデータでも、一度確かめてみてください。
実験 型番は、ベクトル検索で区別できる?
| 自作の家電の説明書 30組 | 正しい文書が1位 | 平均順位 |
|---|---|---|
| ベクトル検索 | 28 | 1.07位 |
| キーワード検索 | 30 | 1.00位 |
・ベクトル検索の内訳: 型番 8/10、エラーコード 10/10、機能の名前 10/10 ・例: 「TV-43X2を初期化するには?」→ 1位はTV-43X3の文書 ・WM-9100: 正しい文書 0.9622/紛らわしい文書 0.9618 ・実測: Ruri v3(310m)
紛らわしい文章の話が出たので、もう1つ試してみました。
よく、型番や固有名詞は、ベクトル検索よりキーワード検索の方が確実だ、と言われます。
(質問)型番って、ベクトル検索だと苦手なの?
そこで、実際に比べてみました。
架空の家電の説明書をもとに、型番やエラーコード、機能の名前が、一文字だけ違う文書の組を、30組作りました。
たとえば、「TV-43X2」と「TV-43X3」の、初期化のしかた、のような組です。
質問ごとに、正しい方の文書が1位に来るかを、ベクトル検索と、キーワード検索で比べます。
結果は、ベクトル検索が30問中28問、キーワード検索は30問すべて正解でした。
正直に言うと、ベクトル検索も、思ったよりずっと区別できていました。
ただ、間違えた2問は、どちらも型番の最後の一文字だけが違う組で、TV-43X2の質問に、TV-43X3の文書が1位に来ていました。
その2問も、正しい文書は2位に来ていて、平均の順位は1.07位でした。
正解できた問題でも、正しい文書と紛らわしい文書の類似度の差が、0.001もないものがありました。
一文字の違いで答えが変わる型番やコードは、キーワード検索と組み合わせておくと安心です。
この、キーワード検索とベクトル検索を組み合わせる、ハイブリッド検索は、また別の動画で詳しく取り上げる予定です。
入力の長さと次元数
・入力できる長さに上限(例: Ruri v3は8192トークン、multilingual-e5-largeは512トークン) ・次元数が大きいほど、細かいが重い ・保存先にも上限(例: pgvectorのインデックスは2000次元まで)
3つ目は、入力できる長さです。
モデルは、文章をトークンという小さな単位に区切って読みます。一度に読めるトークンの数には、上限があります。
Ruri v3なら8192トークンまでですが、e5の多言語版の大きいモデルは512トークンまでです。
(質問)上限を超えたら、エラーになるんじゃないの?
それが、エラーにならないこともあるんです。e5の説明書きでは、長い文章は切り捨てられるとされています。後ろが黙って読まれないわけです。
4つ目は、次元数です。次元数が大きいほど細かい意味まで表せますが、計算の手間や、保存に使う容量も増えます。
しかも、保存先のデータベースにも、次元数の上限があります。たとえばpgvectorでは、検索を速くするインデックスを作れるのは、2000次元までです。
実験 上限を超えた文章は、どうなる?
約5万字(上限の8192トークンを超える)の文章
| 変えたところ | 変える前との類似度 |
|---|---|
| 最後の一文だけ | 1.000000(まったく同じベクトル) |
| 最初の一文だけ | 0.989 |
・エラーは出ない ・実測: Ruri v3(310m)
本当に黙って切り捨てられるのか、Ruri v3で試してみました。
上限を大きく超える、約5万字の文章を用意して、最後の一文だけが違う2つの文章を比べます。
1つは「結論は、猫はとてもかわいい」、もう1つは「結論は、宇宙の歴史は約138億年だ」です。
(質問)まったく違う内容だよね?
結果は、2つのベクトルの類似度が、ぴったり1でした。つまり、まったく同じベクトルです。
最後の一文は、読まれていなかったわけです。もちろん、エラーも出ませんでした。
同じ一文を、最初に置いた場合は、ちゃんと違うベクトルになりました。
大事な結論が最後に書いてある長い文書だと、その結論は検索に反映されない、ということですね。
長い文書は、チャンクと呼ばれる小さなかたまりに分けてから入れます。
上手な分け方にもコツがあるので、それは、また別の動画で取り上げる予定です。
検索用モデルの例(1)Ruri v3
Ruri v3(名古屋大学の研究者が公開) ・日本語に特化 ・4つの大きさ(256〜768次元) ・最大8192トークン ・仕上げの学習のデータも公開
ここからは、検索用のモデルの例を紹介します。
1つ目は、名古屋大学の研究者が公開している、Ruri v3です。
日本語に特化したモデルで、小さいサイズのものも用意されているので、手元のパソコンで動かすこともできます。
公開されている比較表では、日本語の性能評価で、海外の有料のモデルを上回る成績が載っています。
ただ、評価は決まった課題での成績なので、自分の用途でも同じ結果になるとは限りません。
さらに、仕上げの学習に使ったデータが、Hugging Faceというサイトで公開されています。
約63万件のデータで、Wikipediaをもとにした質問と答えの組や、クイズの問題などが含まれています。
どんなデータで学んだのかを、自分の目で確かめられるのは、うれしいポイントですよね!
検索用モデルの例(2)Gemini Embedding 2と選び方
Gemini Embedding 2(Google) ・文章・画像・動画・音声・PDFを同じベクトルに ・最大3072次元 ・APIで利用
| 使い方 | モデルの例 |
|---|---|
| 手元で・日本語の文章中心 | Ruri v3 など |
| 画像や音声もまとめて | Gemini Embedding 2 など |
2つ目は、Googleが提供している、Gemini Embedding 2です。
2026年3月にプレビュー版として公開され、4月に正式版になったモデルで、文章だけでなく、画像や動画、音声、PDFも、同じ種類のベクトルにできます。
ネット経由のサービスとして使う形で、ベクトルは最大3072次元です。
あっ、さっきの2000次元の上限、覚えてる?3072次元のまま入れようとしたら、インデックスが作れなかった!なんてことになりかねないから、ここは要チェックだよ!
コホン。次元数と、保存先の上限は、セットで確認しておきましょう。
(質問)結局、どっちがいいの?
どちらが上というよりは、目的で選ぶのがよさそうです。
手元の環境で、日本語の文章を中心に扱うなら、Ruri v3のようなモデル。
画像や音声もまとめて検索したいなら、Gemini Embedding 2のようなモデル、という選び方ができます。
どちらにしても、自分のデータで、実際に検索して確かめるのが確実です。
距離の測り方と正規化
・距離: コサイン類似度/内積/L2距離(モデルの説明に合わせる) ・正規化: 長さを1にそろえる → コサイン類似度と内積が同じ順位に
最後は、距離の測り方です。
ベクトルの近さの測り方には、向きの近さを見るコサイン類似度や、内積、まっすぐな距離を測るL2距離などがあります。
どれを使うかは、モデルの説明に書かれていることが多いので、それに合わせます。
また、ベクトルの長さを1にそろえる、正規化をしておくと、コサイン類似度と内積で、同じ順番の結果になります。
pgvectorの説明でも、長さがそろったベクトルなら、内積を使うと一番速いとされています。
おわりに
まとめ ・登録と検索は同じモデルで。乗り換えたら全部やり直し ・目印を付け忘れない ・型番やコードは、キーワード検索との組み合わせも ・入力の長さと次元数の上限を確認
では、まとめです。
登録と検索は同じモデルで行い、目印も忘れずに付けます。
型番やコードのように、一文字の違いが大事な言葉は、キーワード検索との組み合わせも考えます。
入力の長さと次元数は、モデルとデータベースの両方の上限を確認しておきましょう。
今回は「ベクトル検索の注意点」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。