あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #3 2026-11-02 ・ ▶ 動画でも見られます

リランカーで検索は良くなる?

ベクトル検索で見つけた候補を、別のモデルで並べ直す「リランカー」は、検索を良くしてくれるのでしょうか。

前回と同じデータと、大きい説明書のデータで実験し、うまくいった例と、思ったようにいかなかった例の両方を紹介します。何で測るか、どんな文書かで、結論が変わることが分かりました。

解説

今回の内容

1. 前回のおさらい 2. リランカーの仕組み 3. 実験: 前回のデータで並べ直す 4. なぜ?学習データを見る 5. ほかの方法と比べる 6. 大きいデータで試す 7. まとめ

今回の内容です。

前回の実験をおさらいしてから、リランカーの仕組みを見て、同じデータで試します。

そのあと、結果の理由を学習データから考えて、ほかの方法とも比べます。

最後に、文書が約3000件ある、大きいデータでも試します。

前回のおさらい

自作のFAQ 100問(正しい答え100件+紛らわしい文章100件から探す)

ベクトル検索正解の数
1位が正解42問
上位5件に正解96問
上位10件に正解100問

・質問: 「パスワードを忘れてしまいました」 ・紛らわしい文章: 「パスワードを忘れてしまった、という声が、先月のアンケートで多く寄せられました」

まず、前回の実験のおさらいです。

架空のアプリやお店の、よくある質問と答えを100組自作して、ベクトル検索で正しい答えが1位に来るかを調べました。

そこに、質問と同じ言葉を使っているのに、答えにはなっていない、紛らわしい文章を100件混ぜました。

結果は、100問中、正しい答えが1位に来たのは42問だけでした。

ただ、よく見ると、上位5件までなら96問、上位10件までなら100問すべてに、正しい答えが入っていました。

(質問)じゃあ、並べ替えれば直るんじゃない?

そう考えたくなりますよね。その並べ替えをするのが、今回のリランカーです。

リランカーの仕組み

読み方返すもの
ベクトル検索質問と文書を、別々にベクトルにしておく近さ
リランカー質問+文書を、一緒に読む点数(0〜1)だけ

ベクトル検索では、質問と文書を、それぞれ別々にベクトルにして、その近さを比べます。

文書のベクトルは、前もって作っておけるので、検索のときは速く計算できます。

リランカーは、質問と文書を1組ずつ、一緒に読みます。

そして、ベクトルではなく、「この文書は、この質問にどれくらい合っているか」という点数を、1つだけ返します。

(質問)一緒に読むと、何がいいの?

質問と文書の言葉どうしを、直接見比べられるので、細かい違いまで見分けやすいとされています。

その代わり、質問が来るたびに、文書を1件ずつ読み直すので、時間がかかります。

2段構えで使う

ベクトル検索で多めに集める(例: 上位10件)→ リランカーで並べ直す → 上位5件をLLMへ

並べ直す件数時間(1問あたり、実測)
10件約0.11秒
20件約0.18秒
200件約1.2秒

そこで、よく使われるのが、2段構えの使い方です。

まず、速いベクトル検索で、候補を多めに集めます。

次に、その候補だけを、リランカーで並べ直します。

並べ直した上位の数件を、LLMに渡して、答えを作ってもらいます。

実際に時間を測ってみると、10件を並べ直すのに約0.11秒、20件で約0.18秒でした。

200件では約1.2秒と、件数に比例して増えるので、文書が何万件もあれば、ベクトル検索で先に絞り込むわけです。

使ったリランカー

ruri-v3-reranker-310m(名古屋大学の研究者が公開) ・日本語向け ・入力の上限: 8192トークン ・約3億パラメータ ・日本語の評価 JQaRA: 86.9(前の版 77.1) ・ライセンス: Apache 2.0

今回使ったリランカーは、ruri-v3-reranker-310mです。

前回使った、ベクトル化のモデルのRuri v3と、同じシリーズのリランカーで、日本語向けに作られています。

質問と文書を合わせて、8192トークンまで読めます。

モデルの説明書きの比較表では、日本語の評価で、前の版のリランカーより、大きく成績が上がっています。

実験 うまくいった例

正しい答えが1位に来た数ベクトル検索だけ並べ直し
型番・エラーコード・機能の名前(30問)2830
紛らわしい文章なしのFAQ(100問)8489

・実測: ベクトル検索の上位10件を並べ直す

では、前回と同じデータで、ベクトル検索の上位10件を、リランカーで並べ直してみます。

まずは、前回、ベクトル検索が2問だけ間違えた、型番の実験です。

「TV-43X2」と「TV-43X3」のように、一文字だけ違う型番の文書を、取り違えていた問題ですね。

並べ直すと、30問すべてで、正しい文書が1位になりました!

紛らわしい文章を混ぜない、普通のFAQでも、1位の正解が84問から89問に増えました。

実験 紛らわしい文章では?

紛らわしい文章入り(100問)ベクトル検索だけ並べ直し
1位が正解4235
1位が紛らわしい文章5462

・正解の順位: 上がった15問/下がった22問/変わらない63問 ・下がったのは、ほとんどが1位 → 2位

では、本題の、紛らわしい文章を混ぜたデータです。

並べ直す前は、1位の正解が42問でした。

並べ直した後は、35問でした。

(質問)え、減ってない?

はい、減ってしまいました。紛らわしい文章が1位に来た数も、54問から62問に増えています。

1問ずつ見ると、正解の順位が上がったのが15問、下がったのが22問でした。

下がった問題は、ほとんどが、1位から2位への入れ替わりです。紛らわしい文章が、正解の上に割り込んでいました。

念のため、質問と、正しい答えと、紛らわしい文章の3つだけで点数を比べても、100問中63問で、紛らわしい文章の方が高い点数でした。

上位5件で見ると?

紛らわしい文章入り(100問)1位が正解上位5件に正解
ベクトル検索だけ4296
並べ直し3598

・RAGでは、上位の数件をまとめてLLMに渡すことが多い

ただ、ここで、見る場所を少し変えてみます。

RAGでは、検索の1位だけではなく、上位の数件をまとめてLLMに渡すことがよくあります。

そこで、上位5件の中に、正しい答えが入っていた数を数えてみました。

すると、並べ直す前が96問、並べ直した後が98問で、少しですが、増えていたんです。

1位だけを見ると悪くなったのに、5件で見ると良くなっている。何で測るかで、結論が逆になるんですね。

検索は、いつも正解を1位に持ってこられるわけではありません。

だから、上位5件くらいをまとめて渡して、どれが答えかは、LLMに読んで判断してもらう。これが、よく使われる工夫です。

なお、このデータは候補が200件と少ないので、後半で、もっと大きいデータでも試します。

なぜ?学習データを見る

リランカーの学習データ(約39万件) ・質問1つに、正解1件+不正解63件 ・不正解=答えの言葉を含まない文章。既存のリランカー5つの平均点が0.7以下のものだけを残す(誤った不正解を取り除くため) ・元の質問は、ウィキペディアのQAやクイズなどが中心 → 点数が高く出る「紛らわしい文章」は、不正解として学んでいない?(推測)

では、なぜ、紛らわしい文章に高い点数が付いたのでしょうか。

ヒントは、リランカーが、どんなデータで学習したかにあります。

このリランカーの学習データは公開されていて、質問1つにつき、正解の文章が1件と、不正解の文章が63件、組になっています。

不正解は、答えの言葉を含まない文章です。ただし条件があって、ほかのリランカー5つに点数を付けさせて、その平均が0.7以下のものだけを残しています。

(質問)なんで高い点数のものは外すの?

データの説明書きによると、間違って「不正解」とされている文章を取り除くためです。そうしたら、成績が大きく上がったそうです。

ここからは推測ですが、今回の紛らわしい文章のように、質問の言葉をそのまま繰り返す文章は、点数が高く出やすいので、不正解として学ぶ機会が少なかったのかもしれません。

それに、学習に使われた質問は、ウィキペディアのQAやクイズなどが中心で、お店のよくある質問とは、少し種類が違います。

リランカーが測っているのは、「質問とどれくらい関係が深いか」で、「答えになっているか」とは、少し違うのかもしれませんね。

ほかの方法1 想定質問を事前に作る

文章ごとに、LLMで「この文章が答えになる質問」を作る → 質問どうしで比べる

紛らわしい文章入り(100問)1位が正解上位5件に正解
ベクトル検索だけ4296
想定質問どうし44—
答えにならない文章からは作らない7898

・「答えにならない文章からは作らない」=LLMに「なし」と答えさせる ・作るのにかかった時間: 200件で約2〜3分 ・例: 「アプリが起動しなくなったときは、誰でも焦ってしまうものです」→ 作られた質問「アプリが起動しません。どうすればいいですか?」

リランカーを使わずに、検索を良くする方法も試してみました。

1つ目は、文章ごとに、LLMで「この文章が答えになりそうな質問」を、前もって作っておく方法です。

結果は、1位の正解が42問から、44問か47問への、小さな改善にとどまりました。

(質問)あんまり変わらないね

作られた質問を見ると、紛らわしい文章からも、「アプリが起動しません。どうすればいいですか?」のような、本物らしい質問ができていました。

答えになっていない文章から、答えがありそうな質問を作っちゃったわけですね。

そこで、「答えになっていない文章なら、『なし』と答えて」と頼み方を変えると、紛らわしい文章100件のうち84件で「なし」と答えて、1位の正解は78問まで増えました。

ほかの方法2 LLMに選ばせる

ベクトル検索の上位5件 → LLMに「質問の答えになっている文章を1つ選んで」と頼む

紛らわしい文章入り(100問)結果
正しい答えを選んだ94問
候補に正解が入っていた96問
1問あたりの時間約0.46秒

・リランカーで10件を並べ直すのは、約0.11秒

2つ目は、ベクトル検索の上位5件を、LLMにそのまま見せて、答えになっている文章を1つ選んでもらう方法です。

リランカーが点数を付けるだけなのに対して、LLMは、文章の中身を読んで、答えになっているかを判断できます。

結果は、100問中94問で、正しい答えを選べました。

候補の5件に正解が入っていたのは96問なので、ほとんど取りこぼしていません。

紛らわしい文章を選んでしまったのは、たった1問でした。

(質問)じゃあ、最初からLLMでいいのでは?

ただ、時間は、1問あたり約0.46秒で、リランカーで10件を並べ直す時間の、4倍くらいかかっています。

大きいデータで試す

架空の家電メーカーのサポート情報(自作): 10種類×各10機種、文書2910件、質問310問(答えがあるのは280問) ・文書の例: [RC-320 ロボット掃除機]保証期間 RC-320の保証期間は、お買い上げ日から3年間です。…

答えがある280問1位上位5件LLMの答え
ベクトル検索だけ276280277
上位20件をリランカーで並べ直す276280277

ここからは、架空の家電メーカーのサポート情報を約3000件自作して、試します。10種類の家電に10機種ずつあって、型番は「RC-310」「RC-320」のように、数字が1つ違うだけです。

今度は、実際の使い方に近い流れで測ります。ベクトル検索で上位20件を集めて、リランカーで並べ直し、上位5件をLLMに渡して、答えてもらいます。

結果は、ベクトル検索だけでも、280問中276問で正しい文書が1位、全問で上位5件に入りました。

LLMが最後に正しく答えられたのは277問で、リランカーで並べ直しても、数は変わりませんでした。

(質問)3000件あっても簡単なの?

はい。どの文書にも、先頭に型番と項目名が書いてあるので、型番と項目さえ合えば、1つに決まってしまうんです。

このように整った文書なら、ベクトル検索だけで十分、ということですね。

説明書のような文書では

・同じ事実を、機種ごとの説明書に書き直す(101冊) ・本文では型番を書かず「本機」 ・300字ずつに分ける+先頭に文書名(例: RC-310 ロボット掃除機 取扱説明書)

答えがある280問1位上位5件LLMの答え
ベクトル検索だけ192256250
上位20件をリランカーで並べ直す266276273

・1位が別の機種の説明書: 46問 → 10問

では、実際の説明書のような文書ではどうでしょうか。

同じ内容を、機種ごとの説明書に書き直しました。本文では型番を書かずに「本機」と書いて、言い回しも、機種ごとに少しずつ変えています。

それを300字ずつに分けて、先頭に「RC-310 ロボット掃除機 取扱説明書」のような文書名を付けました。

すると、ベクトル検索だけでは、正しい文書が1位に来たのが192問に下がりました。

間違えた問題のうち46問は、同じシリーズの、別の機種の説明書が1位になっていました。文面がほとんど同じだからです。

ここでリランカーで並べ直すと、1位の正解は266問に増えて、別の機種が1位になったのは10問に減りました。

LLMが最後に正しく答えられた数も、250問から273問に増えました。今度は、はっきり効いています!

ちなみに、ベクトル検索だけでも、1位の正解は192問なのに、LLMは250問に答えられています。上位5件をまとめて渡しておいたおかげですね。

なお、リランカーの時間は、文書が長くなった分増えて、20件で約0.7秒でした。

まとめて比べる

リランカーの効き方比べた数ベクトル検索だけ並べ直し
型番が一文字違う文書(30問)1位2830
紛らわしい文章入りのFAQ(100問)1位4235
上位5件9698
整った文書 約3000件(280問)LLMの答え277277
説明書を分けたもの(280問)LLMの答え250273

・紛らわしい文章には、LLMに上位5件から選ばせる方法が 94/100

ここまでの結果を、まとめて比べてみます。

リランカーは、型番や、ほとんど同じ文面の説明書のような、よく似た文書を見分けるのが得意でした。

そして、質問の言葉を繰り返しているだけの文章には、高い点数を付けてしまうことがありました。そこは、LLMに選ばせる方法の方が、見分けられました。

どれか1つが正解というより、文書の性質と、速さと見分ける力のどちらを重視するかで、組み合わせを選ぶことになりそうです。

公開されている別の実験では、ベクトル検索にキーワード検索とリランカーを組み合わせることで、検索の失敗が大きく減ったという報告もあります。

リランカーが効くかどうかは、データしだいなので、自分のデータで、実際にLLMに渡す件数に合わせて測ってみてください。

おわりに

まとめ ・リランカーは、よく似た文書を見分けるのが得意(説明書のデータで LLMの正解 250 → 273) ・整った文書なら、ベクトル検索だけで十分なことも ・質問の言葉を繰り返すだけの文章に、だまされることも ・上位5件ほどをまとめてLLMに渡し、その件数で測る(何件渡すのがよいかは、使うLLMとデータしだい)

では、まとめです。

リランカーは、型番や、ほとんど同じ文面の説明書のように、よく似た文書を見分けるのが得意でした。

ただ、文書が整っていれば、ベクトル検索だけで足りることもあります。

一方で、質問の言葉を繰り返しているだけの文章には、だまされることもありました。

検索は、いつも1位を当てられるわけではないので、上位5件ほどをまとめてLLMに渡し、効果もその件数で確かめましょう。

また、型番の取り違えは、キーワード検索と組み合わせる方法でも直せるかもしれません。それは、また別の動画で試す予定です。

ところで、今回は約3000件の文書を、全部と1つずつ比べて探しました。文書がもっと増えたら、ベクトルをどこに保存して、どう速く探せばいいのか。次の動画では、それを取り上げる予定です。

今回は「リランカーで検索は良くなる?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」