あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #5 2026-11-04 ・ ▶ 動画でも見られます

キーワード検索と混ぜれば強くなる?

キーワード検索とベクトル検索を組み合わせる「ハイブリッド検索」は、検索を強くしてくれるのでしょうか。

キーワード検索の仕組みと、日本語ならではの区切り方の工夫、2つの結果の混ぜ方を説明し、これまでと同じデータで、効く場面と効かない場面を実験で確かめます。

解説

RAGのどこの話?

RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近い文章を探す → LLMが答える 今回: キーワード検索でも探して、2つの結果を混ぜる

本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。

RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。

準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。

質問されたら、質問もベクトルにして、近い文章を探し、見つかった文章をLLMに渡して、答えを書かせます。

今回取り上げるのは、この、近い文章を探す部分です。

ここで、ベクトル検索と一緒に、キーワード検索でも探して、2つの結果を混ぜるのが、ハイブリッド検索です。

今回の内容

1. これまでのおさらい 2. キーワード検索の仕組み 3. 日本語のキーワード検索 4. ハイブリッド検索の混ぜ方 5. 実験: 型番と普通の質問 6. 実験: 説明書のようなデータ 7. なぜ普通の質問で下がった? 8. まとめ

今回の内容です。

以前の実験をおさらいしてから、キーワード検索の仕組みと、日本語ならではの難しさを見ていきます。

そのあと、2つの検索の混ぜ方を説明して、同じデータで試します。最後に、普通の質問で成績が下がった理由も調べます。

これまでのおさらい

検索の方法正しい文書が1位(30問中)
ベクトル検索28
キーワード検索30

・例: 「TV-43X2を初期化するには?」→ ベクトル検索の1位は、TV-43X3の文書

以前の動画で、架空の家電の説明書を使って、一文字だけ違う型番を、見分けられるかを試しました。

たとえば、「TV-43X2」と「TV-43X3」のような組です。

ベクトル検索は30問中28問、キーワード検索は30問すべてで、正しい文書を1位にできました。

(質問)じゃあ、全部キーワード検索でいいのでは?

ところが、キーワード検索にも、苦手なことがあるんです。今回は、そこから見ていきます。

キーワード検索の仕組み

キーワード検索(データベースの機能としては「全文検索」とも呼ばれる) ・文書を言葉に区切って、言葉ごとに「どの文書に出てくるか」の一覧を作る(転置インデックス) ・質問と同じ言葉が多い文書ほど上に ・どの文書にも出てくる言葉は軽く、珍しい言葉は重く数える(BM25など)

キーワード検索は、文書を言葉に区切って、言葉ごとに「どの文書に出てくるか」の一覧を作っておきます。

本の後ろにある、索引のようなものですね。

検索するときは、質問と同じ言葉が多く出てくる文書ほど、上に並べます。

よく使われるBM25という計算では、どの文書にも出てくる言葉は軽く、珍しい言葉は重く数えます。

型番のような珍しい言葉は、とても重く数えられるので、一文字違いでも見分けられるわけです。

(質問)苦手なことって?

同じ意味でも、違う言葉で書かれていると、見つけられないことです。たとえば、質問が「消しちゃった」で、答えの文書が「削除した」だと、言葉が一致しません。

日本語のキーワード検索

・英語: 空白で区切れる ・日本語: 単語の区切りがない ・PostgreSQLに元からある全文検索は、日本語の単語に区切れない(実測) ・方法1: 2文字ずつ区切る(pg_bigmなど) ・方法2: 辞書で単語に区切る(PGroongaなど)

前回の動画でも少し触れましたが、ここで、日本語ならではの問題があります。

英語は、単語の間に空白があるので、区切るのは簡単です。でも日本語には、区切りがありません。

実際に、PostgreSQLというデータベースに元からある全文検索で試すと、日本語の文章は句読点でしか区切られず、「パスワード」で検索しても見つかりませんでした。

そこで、日本語では、文章を2文字ずつに区切る方法や、辞書を使って単語に区切る方法が使われます。

PostgreSQLなら、pg_bigmやPGroongaといった、追加の機能を入れて対応します。

今回の実験のキーワード検索は、日本語を2文字ずつに区切る、単純なBM25で作りました。

実験 キーワード検索だけで普通の質問を探すと?

自作のFAQ 100問

探す相手検索の方法1位が正解上位5件に正解
答えだけ100件ベクトル検索8499
キーワード検索5277
紛らわしい文章も混ぜた200件ベクトル検索4296
キーワード検索1063

・紛らわしい文章が1位: キーワード検索で85問

では、キーワード検索が、普通の質問でどれくらい探せるのかを試します。

以前の動画で使った、架空のアプリやお店の、よくある質問と答え100組です。

答えだけの中から探すと、正しい答えが1位に来たのは、ベクトル検索の84問に対して、キーワード検索は52問でした。

質問と同じ言葉を使った、紛らわしい文章も混ぜると、キーワード検索はわずか10問で、85問では紛らわしい文章が1位でした。

言葉がそろっている文章を探すのが仕事なので、質問の言葉を繰り返す文章には、特に弱いんですね。

ハイブリッド検索の混ぜ方

ベクトル検索の順位 + キーワード検索の順位 → RRF: それぞれの順位から点数を出して足す(1位 → 1/61、2位 → 1/62 …) ・点数の目盛りが違っても、順位なら混ぜられる

ハイブリッド検索では、2つの検索の結果を、1つの順位にまとめます。

ただ、ベクトル検索の類似度と、キーワード検索の点数は、目盛りがまったく違うので、そのまま足すことはできません。

そこでよく使われるのが、点数ではなく順位を使う、RRFという方法です。

それぞれの検索での順位に60を足して、その逆数を点数にし、2つの点数を足し合わせます。

(質問)60って何の数字?

上位の数件だけが極端に強くならないように、ならすための数で、60がよく使われています。

pgvectorの説明でも、ハイブリッド検索の結果の混ぜ方として、このRRFが紹介されています。

実験 型番は直る?

検索の方法1位が正解(型番・エラーコード・機能の名前 30問)
ベクトル検索28
キーワード検索30
ハイブリッド(RRF)30

では、ハイブリッド検索を試します。まずは、型番のデータです。

ベクトル検索では28問でしたが、キーワード検索と混ぜると、30問すべてで正しい文書が1位になりました。

一文字違いの型番を、キーワード検索がしっかり助けてくれました!

実験 普通の質問では?

自作のFAQ、答えだけ100件

検索の方法1位が正解上位5件に正解
ベクトル検索8499
キーワード検索5277
ハイブリッド(RRF)6988

・紛らわしい文章も混ぜた200件: ベクトル検索 42/96 → ハイブリッド 28/81

次は、普通の質問のデータです。

ベクトル検索だけなら84問が1位でしたが、ハイブリッド検索にすると、69問に下がってしまいました。

(質問)混ぜたのに、下がるの?

はい。上位5件に正解が入った数も、99問から88問に減っています。

同じ重みで混ぜたので、このデータでは成績の悪いキーワード検索に、引っ張られてしまったわけです。

紛らわしい文章を混ぜたデータでも、42問から28問に下がりました。

ハイブリッド検索は、片方が苦手な質問では、その苦手さまで混ざってしまうことがあるんですね。

リランカーも足すと?

1位が正解/上位5件に正解

データベクトル検索だけハイブリッドハイブリッド+リランカー
答えだけ100件84/9969/8885/94
型番30問(1位)283030

以前の動画で試した、候補を並べ直すリランカーも、足してみました。

ハイブリッド検索の上位10件を、リランカーで並べ直すと、普通の質問では、1位が85問まで戻りました。

ただ、上位5件で見ると94問で、ベクトル検索だけの99問には届いていません。

型番は、30問すべて正解のままでした。

組み合わせを増やせば、そのぶん必ず良くなる、というわけではなさそうです。

実験 説明書のようなデータでは?

架空の家電メーカーのサポート情報(自作)

整った文書2910件(言い換えの質問150問)1位上位5件LLMの答え
ベクトル検索146150147
ハイブリッド122144142
説明書を300字ずつ・文書名付き(280問)1位上位5件LLMの答え
------------
ベクトル検索192256250
ハイブリッド220272269
ハイブリッド+リランカー270278277

・1位が別の機種の説明書: ベクトル検索 46問 → ハイブリッド 9問

最後に、リランカーの回で使った、架空の家電メーカーのデータでも試しました。

1つ目は、どの文書にも型番と項目名が書いてある、整った文書です。質問を、「いつまで無料で修理してもらえるんですか?」のように言い換えると、ハイブリッド検索では、ここでも成績が下がりました。

2つ目は、同じ内容を説明書の形に書き直して、300字ずつに分け、先頭に「RC-310 ロボット掃除機 取扱説明書」のような文書名を付けたものです。

こちらでは、ベクトル検索だけだと、ほとんど同じ文面の、別の機種の説明書が1位になった問題が46問ありました。

ハイブリッド検索にすると、それが9問に減って、LLMが最後に正しく答えられた数も、250問から269問に増えました。

リランカーも足すと、277問まで増えています!

(質問)型番の実験と同じことが起きたの?

はい。文書名の型番という、一文字違いの言葉が決め手になるデータだったので、キーワード検索の力が効いたわけです。

使い分けの考え方

・型番・コード・固有名詞が決め手(よく似た文書が多い)→ キーワード検索の力が効く ・言い換えの多い、ふつうの言葉の質問 → ベクトル検索が強い ・混ぜるなら: 重み、キーワード検索の区切り方、並べ直しを、自分のデータで確かめる

重み(ベクトル:キーワード)ごとの1位の正解ベクトルだけ1:13:1
FAQ 答えだけ100問846979
整った文書・言い換え150問146122137
説明書+文書名280問192220222
型番30問283030

では、どう使い分ければいいのでしょうか。

型番やエラーコードのように、一文字の違いが決め手になる文書が多いなら、キーワード検索の力が効きます。

言い方がばらばらな、ふつうの言葉の質問なら、ベクトル検索の方が強い場面が多そうです。

混ぜるときは、どちらをどれくらい重く見るかで、結果が変わります。

試しに、ベクトル検索を3倍重く見て混ぜると、普通の質問での下がり方は小さくなって、説明書や型番での効果は、ほぼそのまま残りました。

ただ、普通の質問では、ベクトル検索だけの方が、まだ少しだけ上回っていました。

自分のデータに、両方の種類の質問を用意して、実際に測ってから決めるのが確実です。

実験 キーワード検索の区切り方を変えると?

キーワード検索の区切り方: 2文字ずつ → 形態素解析(単語で区切る)

1位の正解(混ぜ方 1:1)ベクトルだけ2文字ずつ形態素解析
FAQ 答えだけ100問846973
整った文書・言い換え150問146122131
説明書+文書名280問192220228
型番30問283028

・キーワード検索だけでも強くなった(言い換え150問: 58 → 95) ・型番の2問は、そっくりな文書と同点になって取り違えた

ここで、1つ気になることがあります。今回のキーワード検索は、日本語を2文字ずつ区切るだけの、簡単な作りでした。

(質問)作りが簡単だったから、下がったんじゃないの?

そこで、文章を単語に分ける、形態素解析という方法に変えて、同じ実験をやり直しました。

まず、キーワード検索だけの成績が上がりました。言い換えの150問では、1位の正解が、58問から95問に増えています。

混ぜた結果も良くなって、言い換えの150問では122問から131問に、説明書のデータでは220問から228問になりました。

ただ、普通の質問では、ベクトル検索だけの146問には、まだ届きません。

それから、型番の30問では、逆に2問を取り違えるようになりました。

(質問)良くしたのに、なんで?

単語で区切ると、型番だけが違うそっくりな文書も、キーワード検索で2位に上がってきます。混ぜたときに、正しい文書と点数が同じになって、そっくりな方が先に来てしまったんです。

作り方を良くすると差は縮まりますが、それだけで、全部が逆転するわけではないんですね。

普通の質問で下がった理由

理由今回は?
組み方: キーワード検索の区切り方形態素解析で差は縮んだが、残った
データ: 言い換えの質問が多いキーワードが一致しにくい
モデル: 日本語の検索向けに学習済みベクトル検索がもともと強い

・一般論: 弱い方の検索が、混ぜた結果を下げることがある(研究でも報告) ・モデルが学習していない分野では、キーワード検索を混ぜる効果が大きい

では、普通の質問で成績が下がったのは、実験のやり方が悪かったのでしょうか。調べてみると、理由は1つではありませんでした。

1つ目は、組み方です。今見たとおり、キーワード検索の区切り方を良くすると、差は縮まりました。ただ、なくなりはしませんでした。

2つ目は、データです。今回の質問の多くは、わざと文書とは違う言葉に言い換えてあるので、キーワード検索には不利です。

3つ目は、モデルです。今回使ったRuriは、日本語の検索向けに学習したモデルなので、ベクトル検索が、もともと強いんです。

(質問)じゃあ、今回だけの特別な話?

いいえ、一般にも知られている話です。混ぜる片方の検索が弱いと、その弱い方に引っ張られて、全体が下がることがあると、ハイブリッド検索を調べた研究でも報告されています。

逆に、モデルが学習していない分野の文書では、ベクトル検索がキーワード検索に負けることも多く、そういうときは、混ぜる効果が大きくなります。

ハイブリッド検索は、いつでも強くなる方法ではなく、2つの検索の力の差しだい、ということですね。

おわりに

まとめ ・キーワード検索: 一文字違いに強く、言い換えに弱い ・日本語は区切り方に工夫が必要 ・ハイブリッド検索: 型番や説明書の取り違えは直ったが、普通の質問では下がった(弱い方に引っ張られる) ・混ぜ方は、自分のデータで測って決める

では、まとめです。

キーワード検索は、一文字違いの型番には強い一方で、言い換えや、質問の言葉を繰り返す文章には弱いことが分かりました。

ハイブリッド検索は、型番の取り違えや、ほとんど同じ文面の説明書の取り違えを直せましたが、普通の質問では、逆に成績が下がりました。

ところで、今回の説明書のデータは、300字ずつに分けて、先頭に文書名を付けたものでした。

実は、この分け方しだいで、検索の結果は大きく変わります。次の動画では、長い文書の分け方を取り上げる予定です。

今回は「キーワード検索と混ぜれば強くなる?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」