ベクトル検索 #5 2026-11-04 ・ ▶ 動画でも見られます
キーワード検索と混ぜれば強くなる?
キーワード検索とベクトル検索を組み合わせる「ハイブリッド検索」は、検索を強くしてくれるのでしょうか。
キーワード検索の仕組みと、日本語ならではの区切り方の工夫、2つの結果の混ぜ方を説明し、これまでと同じデータで、効く場面と効かない場面を実験で確かめます。
解説
RAGのどこの話?
RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近い文章を探す → LLMが答える 今回: キーワード検索でも探して、2つの結果を混ぜる
本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。
RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。
準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。
質問されたら、質問もベクトルにして、近い文章を探し、見つかった文章をLLMに渡して、答えを書かせます。
今回取り上げるのは、この、近い文章を探す部分です。
ここで、ベクトル検索と一緒に、キーワード検索でも探して、2つの結果を混ぜるのが、ハイブリッド検索です。
今回の内容
1. これまでのおさらい 2. キーワード検索の仕組み 3. 日本語のキーワード検索 4. ハイブリッド検索の混ぜ方 5. 実験: 型番と普通の質問 6. 実験: 説明書のようなデータ 7. なぜ普通の質問で下がった? 8. まとめ
今回の内容です。
以前の実験をおさらいしてから、キーワード検索の仕組みと、日本語ならではの難しさを見ていきます。
そのあと、2つの検索の混ぜ方を説明して、同じデータで試します。最後に、普通の質問で成績が下がった理由も調べます。
これまでのおさらい
| 検索の方法 | 正しい文書が1位(30問中) |
|---|---|
| ベクトル検索 | 28 |
| キーワード検索 | 30 |
・例: 「TV-43X2を初期化するには?」→ ベクトル検索の1位は、TV-43X3の文書
以前の動画で、架空の家電の説明書を使って、一文字だけ違う型番を、見分けられるかを試しました。
たとえば、「TV-43X2」と「TV-43X3」のような組です。
ベクトル検索は30問中28問、キーワード検索は30問すべてで、正しい文書を1位にできました。
(質問)じゃあ、全部キーワード検索でいいのでは?
ところが、キーワード検索にも、苦手なことがあるんです。今回は、そこから見ていきます。
キーワード検索の仕組み
キーワード検索(データベースの機能としては「全文検索」とも呼ばれる) ・文書を言葉に区切って、言葉ごとに「どの文書に出てくるか」の一覧を作る(転置インデックス) ・質問と同じ言葉が多い文書ほど上に ・どの文書にも出てくる言葉は軽く、珍しい言葉は重く数える(BM25など)
キーワード検索は、文書を言葉に区切って、言葉ごとに「どの文書に出てくるか」の一覧を作っておきます。
本の後ろにある、索引のようなものですね。
検索するときは、質問と同じ言葉が多く出てくる文書ほど、上に並べます。
よく使われるBM25という計算では、どの文書にも出てくる言葉は軽く、珍しい言葉は重く数えます。
型番のような珍しい言葉は、とても重く数えられるので、一文字違いでも見分けられるわけです。
(質問)苦手なことって?
同じ意味でも、違う言葉で書かれていると、見つけられないことです。たとえば、質問が「消しちゃった」で、答えの文書が「削除した」だと、言葉が一致しません。
日本語のキーワード検索
・英語: 空白で区切れる ・日本語: 単語の区切りがない ・PostgreSQLに元からある全文検索は、日本語の単語に区切れない(実測) ・方法1: 2文字ずつ区切る(pg_bigmなど) ・方法2: 辞書で単語に区切る(PGroongaなど)
前回の動画でも少し触れましたが、ここで、日本語ならではの問題があります。
英語は、単語の間に空白があるので、区切るのは簡単です。でも日本語には、区切りがありません。
実際に、PostgreSQLというデータベースに元からある全文検索で試すと、日本語の文章は句読点でしか区切られず、「パスワード」で検索しても見つかりませんでした。
そこで、日本語では、文章を2文字ずつに区切る方法や、辞書を使って単語に区切る方法が使われます。
PostgreSQLなら、pg_bigmやPGroongaといった、追加の機能を入れて対応します。
今回の実験のキーワード検索は、日本語を2文字ずつに区切る、単純なBM25で作りました。
実験 キーワード検索だけで普通の質問を探すと?
自作のFAQ 100問
| 探す相手 | 検索の方法 | 1位が正解 | 上位5件に正解 |
|---|---|---|---|
| 答えだけ100件 | ベクトル検索 | 84 | 99 |
| キーワード検索 | 52 | 77 | |
| 紛らわしい文章も混ぜた200件 | ベクトル検索 | 42 | 96 |
| キーワード検索 | 10 | 63 |
・紛らわしい文章が1位: キーワード検索で85問
では、キーワード検索が、普通の質問でどれくらい探せるのかを試します。
以前の動画で使った、架空のアプリやお店の、よくある質問と答え100組です。
答えだけの中から探すと、正しい答えが1位に来たのは、ベクトル検索の84問に対して、キーワード検索は52問でした。
質問と同じ言葉を使った、紛らわしい文章も混ぜると、キーワード検索はわずか10問で、85問では紛らわしい文章が1位でした。
言葉がそろっている文章を探すのが仕事なので、質問の言葉を繰り返す文章には、特に弱いんですね。
ハイブリッド検索の混ぜ方
ベクトル検索の順位 + キーワード検索の順位 → RRF: それぞれの順位から点数を出して足す(1位 → 1/61、2位 → 1/62 …) ・点数の目盛りが違っても、順位なら混ぜられる
ハイブリッド検索では、2つの検索の結果を、1つの順位にまとめます。
ただ、ベクトル検索の類似度と、キーワード検索の点数は、目盛りがまったく違うので、そのまま足すことはできません。
そこでよく使われるのが、点数ではなく順位を使う、RRFという方法です。
それぞれの検索での順位に60を足して、その逆数を点数にし、2つの点数を足し合わせます。
(質問)60って何の数字?
上位の数件だけが極端に強くならないように、ならすための数で、60がよく使われています。
pgvectorの説明でも、ハイブリッド検索の結果の混ぜ方として、このRRFが紹介されています。
実験 型番は直る?
| 検索の方法 | 1位が正解(型番・エラーコード・機能の名前 30問) |
|---|---|
| ベクトル検索 | 28 |
| キーワード検索 | 30 |
| ハイブリッド(RRF) | 30 |
では、ハイブリッド検索を試します。まずは、型番のデータです。
ベクトル検索では28問でしたが、キーワード検索と混ぜると、30問すべてで正しい文書が1位になりました。
一文字違いの型番を、キーワード検索がしっかり助けてくれました!
実験 普通の質問では?
自作のFAQ、答えだけ100件
| 検索の方法 | 1位が正解 | 上位5件に正解 |
|---|---|---|
| ベクトル検索 | 84 | 99 |
| キーワード検索 | 52 | 77 |
| ハイブリッド(RRF) | 69 | 88 |
・紛らわしい文章も混ぜた200件: ベクトル検索 42/96 → ハイブリッド 28/81
次は、普通の質問のデータです。
ベクトル検索だけなら84問が1位でしたが、ハイブリッド検索にすると、69問に下がってしまいました。
(質問)混ぜたのに、下がるの?
はい。上位5件に正解が入った数も、99問から88問に減っています。
同じ重みで混ぜたので、このデータでは成績の悪いキーワード検索に、引っ張られてしまったわけです。
紛らわしい文章を混ぜたデータでも、42問から28問に下がりました。
ハイブリッド検索は、片方が苦手な質問では、その苦手さまで混ざってしまうことがあるんですね。
リランカーも足すと?
1位が正解/上位5件に正解
| データ | ベクトル検索だけ | ハイブリッド | ハイブリッド+リランカー |
|---|---|---|---|
| 答えだけ100件 | 84/99 | 69/88 | 85/94 |
| 型番30問(1位) | 28 | 30 | 30 |
以前の動画で試した、候補を並べ直すリランカーも、足してみました。
ハイブリッド検索の上位10件を、リランカーで並べ直すと、普通の質問では、1位が85問まで戻りました。
ただ、上位5件で見ると94問で、ベクトル検索だけの99問には届いていません。
型番は、30問すべて正解のままでした。
組み合わせを増やせば、そのぶん必ず良くなる、というわけではなさそうです。
実験 説明書のようなデータでは?
架空の家電メーカーのサポート情報(自作)
| 整った文書2910件(言い換えの質問150問) | 1位 | 上位5件 | LLMの答え |
|---|---|---|---|
| ベクトル検索 | 146 | 150 | 147 |
| ハイブリッド | 122 | 144 | 142 |
| 説明書を300字ずつ・文書名付き(280問) | 1位 | 上位5件 | LLMの答え |
| --- | --- | --- | --- |
| ベクトル検索 | 192 | 256 | 250 |
| ハイブリッド | 220 | 272 | 269 |
| ハイブリッド+リランカー | 270 | 278 | 277 |
・1位が別の機種の説明書: ベクトル検索 46問 → ハイブリッド 9問
最後に、リランカーの回で使った、架空の家電メーカーのデータでも試しました。
1つ目は、どの文書にも型番と項目名が書いてある、整った文書です。質問を、「いつまで無料で修理してもらえるんですか?」のように言い換えると、ハイブリッド検索では、ここでも成績が下がりました。
2つ目は、同じ内容を説明書の形に書き直して、300字ずつに分け、先頭に「RC-310 ロボット掃除機 取扱説明書」のような文書名を付けたものです。
こちらでは、ベクトル検索だけだと、ほとんど同じ文面の、別の機種の説明書が1位になった問題が46問ありました。
ハイブリッド検索にすると、それが9問に減って、LLMが最後に正しく答えられた数も、250問から269問に増えました。
リランカーも足すと、277問まで増えています!
(質問)型番の実験と同じことが起きたの?
はい。文書名の型番という、一文字違いの言葉が決め手になるデータだったので、キーワード検索の力が効いたわけです。
使い分けの考え方
・型番・コード・固有名詞が決め手(よく似た文書が多い)→ キーワード検索の力が効く ・言い換えの多い、ふつうの言葉の質問 → ベクトル検索が強い ・混ぜるなら: 重み、キーワード検索の区切り方、並べ直しを、自分のデータで確かめる
| 重み(ベクトル:キーワード)ごとの1位の正解 | ベクトルだけ | 1:1 | 3:1 |
|---|---|---|---|
| FAQ 答えだけ100問 | 84 | 69 | 79 |
| 整った文書・言い換え150問 | 146 | 122 | 137 |
| 説明書+文書名280問 | 192 | 220 | 222 |
| 型番30問 | 28 | 30 | 30 |
では、どう使い分ければいいのでしょうか。
型番やエラーコードのように、一文字の違いが決め手になる文書が多いなら、キーワード検索の力が効きます。
言い方がばらばらな、ふつうの言葉の質問なら、ベクトル検索の方が強い場面が多そうです。
混ぜるときは、どちらをどれくらい重く見るかで、結果が変わります。
試しに、ベクトル検索を3倍重く見て混ぜると、普通の質問での下がり方は小さくなって、説明書や型番での効果は、ほぼそのまま残りました。
ただ、普通の質問では、ベクトル検索だけの方が、まだ少しだけ上回っていました。
自分のデータに、両方の種類の質問を用意して、実際に測ってから決めるのが確実です。
実験 キーワード検索の区切り方を変えると?
キーワード検索の区切り方: 2文字ずつ → 形態素解析(単語で区切る)
| 1位の正解(混ぜ方 1:1) | ベクトルだけ | 2文字ずつ | 形態素解析 |
|---|---|---|---|
| FAQ 答えだけ100問 | 84 | 69 | 73 |
| 整った文書・言い換え150問 | 146 | 122 | 131 |
| 説明書+文書名280問 | 192 | 220 | 228 |
| 型番30問 | 28 | 30 | 28 |
・キーワード検索だけでも強くなった(言い換え150問: 58 → 95) ・型番の2問は、そっくりな文書と同点になって取り違えた
ここで、1つ気になることがあります。今回のキーワード検索は、日本語を2文字ずつ区切るだけの、簡単な作りでした。
(質問)作りが簡単だったから、下がったんじゃないの?
そこで、文章を単語に分ける、形態素解析という方法に変えて、同じ実験をやり直しました。
まず、キーワード検索だけの成績が上がりました。言い換えの150問では、1位の正解が、58問から95問に増えています。
混ぜた結果も良くなって、言い換えの150問では122問から131問に、説明書のデータでは220問から228問になりました。
ただ、普通の質問では、ベクトル検索だけの146問には、まだ届きません。
それから、型番の30問では、逆に2問を取り違えるようになりました。
(質問)良くしたのに、なんで?
単語で区切ると、型番だけが違うそっくりな文書も、キーワード検索で2位に上がってきます。混ぜたときに、正しい文書と点数が同じになって、そっくりな方が先に来てしまったんです。
作り方を良くすると差は縮まりますが、それだけで、全部が逆転するわけではないんですね。
普通の質問で下がった理由
| 理由 | 今回は? |
|---|---|
| 組み方: キーワード検索の区切り方 | 形態素解析で差は縮んだが、残った |
| データ: 言い換えの質問が多い | キーワードが一致しにくい |
| モデル: 日本語の検索向けに学習済み | ベクトル検索がもともと強い |
・一般論: 弱い方の検索が、混ぜた結果を下げることがある(研究でも報告) ・モデルが学習していない分野では、キーワード検索を混ぜる効果が大きい
では、普通の質問で成績が下がったのは、実験のやり方が悪かったのでしょうか。調べてみると、理由は1つではありませんでした。
1つ目は、組み方です。今見たとおり、キーワード検索の区切り方を良くすると、差は縮まりました。ただ、なくなりはしませんでした。
2つ目は、データです。今回の質問の多くは、わざと文書とは違う言葉に言い換えてあるので、キーワード検索には不利です。
3つ目は、モデルです。今回使ったRuriは、日本語の検索向けに学習したモデルなので、ベクトル検索が、もともと強いんです。
(質問)じゃあ、今回だけの特別な話?
いいえ、一般にも知られている話です。混ぜる片方の検索が弱いと、その弱い方に引っ張られて、全体が下がることがあると、ハイブリッド検索を調べた研究でも報告されています。
逆に、モデルが学習していない分野の文書では、ベクトル検索がキーワード検索に負けることも多く、そういうときは、混ぜる効果が大きくなります。
ハイブリッド検索は、いつでも強くなる方法ではなく、2つの検索の力の差しだい、ということですね。
おわりに
まとめ ・キーワード検索: 一文字違いに強く、言い換えに弱い ・日本語は区切り方に工夫が必要 ・ハイブリッド検索: 型番や説明書の取り違えは直ったが、普通の質問では下がった(弱い方に引っ張られる) ・混ぜ方は、自分のデータで測って決める
では、まとめです。
キーワード検索は、一文字違いの型番には強い一方で、言い換えや、質問の言葉を繰り返す文章には弱いことが分かりました。
ハイブリッド検索は、型番の取り違えや、ほとんど同じ文面の説明書の取り違えを直せましたが、普通の質問では、逆に成績が下がりました。
ところで、今回の説明書のデータは、300字ずつに分けて、先頭に文書名を付けたものでした。
実は、この分け方しだいで、検索の結果は大きく変わります。次の動画では、長い文書の分け方を取り上げる予定です。
今回は「キーワード検索と混ぜれば強くなる?」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。
シリーズ「ベクトル検索」
- #1 ベクトル化のしくみ
- #2 ベクトル検索の注意点
- #3 リランカーで検索は良くなる?
- #4 ベクトルはどこに保存する?
- #5 キーワード検索と混ぜれば強くなる?(この記事)
- #6 長い文書はどう分ける?
- #7 AIに何度も検索させると?