あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #2 2026-11-01 ・ ▶ 動画でも見られます

ベクトル検索の注意点

ベクトル検索(RAGなど)を使い始める前に知っておきたい注意点を、公式資料と実験をもとにまとめました。

登録と検索で同じモデルを使うこと、目印(プレフィックス)の付け忘れ、型番の区別、入力の長さと次元数の上限、モデルの選び方、距離と正規化を取り上げます。

解説

今回の内容

1. 30秒でおさらい 2. モデルと目印の注意(実験つき) 3. 型番は区別できる?(実験つき) 4. 入力の長さと次元数(実験つき) 5. モデルの選び方 6. 距離と正規化

今回の内容です。

まず、ベクトル化を簡単におさらいして、モデルまわりの注意を、実験もしながら確かめます。

そのあと、モデルの選び方と、距離の測り方を見ていきます。

30秒でおさらい

・文章 → 数字の並び(ベクトル) ・意味が近い文章ほど、ベクトルも近い ・質問と答えを近づける学習(対照学習)

まずは、30秒でおさらいです。

ベクトル化は、文章を、数百から数千個の数字の並びに変換することです。

意味が近い文章ほど、ベクトルも近くなるので、キーワードが一致しなくても、意味で文章を探せます。

検索用のモデルは、質問と、その答えのベクトルが近づくように学習されています。

詳しい仕組みは、前の動画「ベクトル化のしくみ」で解説しています。

登録と検索は、同じモデルで

・登録する文書と、検索する質問は、同じモデルでベクトル化する ・モデルを変えたら、登録済みの文書も全部ベクトル化し直し

1つ目の注意は、モデルの組み合わせです。

登録する文書と、検索する質問は、必ず同じモデルでベクトル化します。

(質問)違うモデルのベクトルどうしを比べたらダメなの?

モデルが違うと、数字の並び方のルールがまるで違うので、比べても意味がありません。

つまり、モデルを乗り換えるときは、登録済みの文書も、全部ベクトル化し直しなんです。

後から気づくと大変なので、最初のモデル選びは、慎重にしたいところですね。

目印を付け忘れない

モデル質問に付ける目印文書に付ける目印
Ruri v3検索クエリ: …検索文書: …
e5query: …passage: …

・付けないと性能が落ちる(e5のモデルカード)

2つ目は、目印、つまりプレフィックスです。

検索用のモデルの多くは、質問と文書を区別するために、文章の頭に目印を付けて使います。

たとえばRuri v3では、質問に「検索クエリ」、文書に「検索文書」を付けます。

e5というモデルのシリーズでは、「query」と「passage」です。

e5の説明書きには、目印を付けないと性能が落ちる、とはっきり書かれています。

地味ですけど、付け忘れても、エラーにはならないんです。だからこそ、気づきにくいんですよね。

実験 目印を付け忘れるとどうなる?

正しい答えが1位に来た数(100問中)・正しい答えの平均順位

目印答えだけから探す紛らわしい文章も混ぜる
あり84問・1.28位42問・1.93位
なし85問・1.48位20問・3.08位
質問だけ付け忘れ85問・1.33位33問・2.39位
文書だけ付け忘れ80問・1.36位39問・2.21位

・実測: Ruri v3(310m)、自作のFAQ 100問

では、Ruri v3で、実際に試してみます。

架空のアプリやお店の、よくある質問と答えを、100組自作しました。

質問ごとに、正しい答えが検索の1位に来るかを数えます。

1位の数だけだと、外れたときに2位だったのか、ずっと下だったのかが分からないので、正しい答えが平均で何位に来たかも見ます。

さらに、質問と同じ言葉を使っているのに、答えにはなっていない、紛らわしい文章も100件混ぜてみました。

たとえば「パスワードを忘れた、という声が多く寄せられました」のような文章です。

(質問)結果はどうだった?

答えだけから探したときは、1位の数は、目印ありが84問、目印なしが85問で、ほとんど差がありませんでした。

ただ、平均の順位で見ると、目印ありは1.28位、目印なしは1.48位で、目印ありの方が、正しい答えを上の方に並べていました。

さらに、紛らわしい文章を混ぜると、1位の数は、目印ありが42問、目印なしが20問と、2倍以上の差がつきました。平均の順位も、1.93位と3.08位です。

質問か文書の、片方だけ付け忘れた場合は、その間の成績でした。

簡単な問題では、1位の数にほとんど差が出ないので、付け忘れていても、なかなか気づけないんです。これは怖いですね。

ただ、目印ありでも、半分以上は、紛らわしい文章に1位を取られていました。

こうした紛らわしい文章への対策は、また別の動画で取り上げる予定です。

もちろん、100問の小さな実験なので、データが変われば結果も変わります。自分のデータでも、一度確かめてみてください。

実験 型番は、ベクトル検索で区別できる?

自作の家電の説明書 30組正しい文書が1位平均順位
ベクトル検索281.07位
キーワード検索301.00位

・ベクトル検索の内訳: 型番 8/10、エラーコード 10/10、機能の名前 10/10 ・例: 「TV-43X2を初期化するには?」→ 1位はTV-43X3の文書 ・WM-9100: 正しい文書 0.9622/紛らわしい文書 0.9618 ・実測: Ruri v3(310m)

紛らわしい文章の話が出たので、もう1つ試してみました。

よく、型番や固有名詞は、ベクトル検索よりキーワード検索の方が確実だ、と言われます。

(質問)型番って、ベクトル検索だと苦手なの?

そこで、実際に比べてみました。

架空の家電の説明書をもとに、型番やエラーコード、機能の名前が、一文字だけ違う文書の組を、30組作りました。

たとえば、「TV-43X2」と「TV-43X3」の、初期化のしかた、のような組です。

質問ごとに、正しい方の文書が1位に来るかを、ベクトル検索と、キーワード検索で比べます。

結果は、ベクトル検索が30問中28問、キーワード検索は30問すべて正解でした。

正直に言うと、ベクトル検索も、思ったよりずっと区別できていました。

ただ、間違えた2問は、どちらも型番の最後の一文字だけが違う組で、TV-43X2の質問に、TV-43X3の文書が1位に来ていました。

その2問も、正しい文書は2位に来ていて、平均の順位は1.07位でした。

正解できた問題でも、正しい文書と紛らわしい文書の類似度の差が、0.001もないものがありました。

一文字の違いで答えが変わる型番やコードは、キーワード検索と組み合わせておくと安心です。

この、キーワード検索とベクトル検索を組み合わせる、ハイブリッド検索は、また別の動画で詳しく取り上げる予定です。

入力の長さと次元数

・入力できる長さに上限(例: Ruri v3は8192トークン、multilingual-e5-largeは512トークン) ・次元数が大きいほど、細かいが重い ・保存先にも上限(例: pgvectorのインデックスは2000次元まで)

3つ目は、入力できる長さです。

モデルは、文章をトークンという小さな単位に区切って読みます。一度に読めるトークンの数には、上限があります。

Ruri v3なら8192トークンまでですが、e5の多言語版の大きいモデルは512トークンまでです。

(質問)上限を超えたら、エラーになるんじゃないの?

それが、エラーにならないこともあるんです。e5の説明書きでは、長い文章は切り捨てられるとされています。後ろが黙って読まれないわけです。

4つ目は、次元数です。次元数が大きいほど細かい意味まで表せますが、計算の手間や、保存に使う容量も増えます。

しかも、保存先のデータベースにも、次元数の上限があります。たとえばpgvectorでは、検索を速くするインデックスを作れるのは、2000次元までです。

実験 上限を超えた文章は、どうなる?

約5万字(上限の8192トークンを超える)の文章

変えたところ変える前との類似度
最後の一文だけ1.000000(まったく同じベクトル)
最初の一文だけ0.989

・エラーは出ない ・実測: Ruri v3(310m)

本当に黙って切り捨てられるのか、Ruri v3で試してみました。

上限を大きく超える、約5万字の文章を用意して、最後の一文だけが違う2つの文章を比べます。

1つは「結論は、猫はとてもかわいい」、もう1つは「結論は、宇宙の歴史は約138億年だ」です。

(質問)まったく違う内容だよね?

結果は、2つのベクトルの類似度が、ぴったり1でした。つまり、まったく同じベクトルです。

最後の一文は、読まれていなかったわけです。もちろん、エラーも出ませんでした。

同じ一文を、最初に置いた場合は、ちゃんと違うベクトルになりました。

大事な結論が最後に書いてある長い文書だと、その結論は検索に反映されない、ということですね。

長い文書は、チャンクと呼ばれる小さなかたまりに分けてから入れます。

上手な分け方にもコツがあるので、それは、また別の動画で取り上げる予定です。

検索用モデルの例(1)Ruri v3

Ruri v3(名古屋大学の研究者が公開) ・日本語に特化 ・4つの大きさ(256〜768次元) ・最大8192トークン ・仕上げの学習のデータも公開

ここからは、検索用のモデルの例を紹介します。

1つ目は、名古屋大学の研究者が公開している、Ruri v3です。

日本語に特化したモデルで、小さいサイズのものも用意されているので、手元のパソコンで動かすこともできます。

公開されている比較表では、日本語の性能評価で、海外の有料のモデルを上回る成績が載っています。

ただ、評価は決まった課題での成績なので、自分の用途でも同じ結果になるとは限りません。

さらに、仕上げの学習に使ったデータが、Hugging Faceというサイトで公開されています。

約63万件のデータで、Wikipediaをもとにした質問と答えの組や、クイズの問題などが含まれています。

どんなデータで学んだのかを、自分の目で確かめられるのは、うれしいポイントですよね!

検索用モデルの例(2)Gemini Embedding 2と選び方

Gemini Embedding 2(Google) ・文章・画像・動画・音声・PDFを同じベクトルに ・最大3072次元 ・APIで利用

使い方モデルの例
手元で・日本語の文章中心Ruri v3 など
画像や音声もまとめてGemini Embedding 2 など

2つ目は、Googleが提供している、Gemini Embedding 2です。

2026年3月にプレビュー版として公開され、4月に正式版になったモデルで、文章だけでなく、画像や動画、音声、PDFも、同じ種類のベクトルにできます。

ネット経由のサービスとして使う形で、ベクトルは最大3072次元です。

あっ、さっきの2000次元の上限、覚えてる?3072次元のまま入れようとしたら、インデックスが作れなかった!なんてことになりかねないから、ここは要チェックだよ!

コホン。次元数と、保存先の上限は、セットで確認しておきましょう。

(質問)結局、どっちがいいの?

どちらが上というよりは、目的で選ぶのがよさそうです。

手元の環境で、日本語の文章を中心に扱うなら、Ruri v3のようなモデル。

画像や音声もまとめて検索したいなら、Gemini Embedding 2のようなモデル、という選び方ができます。

どちらにしても、自分のデータで、実際に検索して確かめるのが確実です。

距離の測り方と正規化

・距離: コサイン類似度/内積/L2距離(モデルの説明に合わせる) ・正規化: 長さを1にそろえる → コサイン類似度と内積が同じ順位に

最後は、距離の測り方です。

ベクトルの近さの測り方には、向きの近さを見るコサイン類似度や、内積、まっすぐな距離を測るL2距離などがあります。

どれを使うかは、モデルの説明に書かれていることが多いので、それに合わせます。

また、ベクトルの長さを1にそろえる、正規化をしておくと、コサイン類似度と内積で、同じ順番の結果になります。

pgvectorの説明でも、長さがそろったベクトルなら、内積を使うと一番速いとされています。

おわりに

まとめ ・登録と検索は同じモデルで。乗り換えたら全部やり直し ・目印を付け忘れない ・型番やコードは、キーワード検索との組み合わせも ・入力の長さと次元数の上限を確認

では、まとめです。

登録と検索は同じモデルで行い、目印も忘れずに付けます。

型番やコードのように、一文字の違いが大事な言葉は、キーワード検索との組み合わせも考えます。

入力の長さと次元数は、モデルとデータベースの両方の上限を確認しておきましょう。

今回は「ベクトル検索の注意点」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」