ベクトル検索 #1 2026-11-01 ・ ▶ 動画でも見られます
ベクトル化のしくみ
RAGなどで使われる「ベクトル化(埋め込み)」は、文章を数字の並びにして、意味の近い文章を探せるようにする仕組みです。
言葉の関係を数字で表す考え方から、意味の近さをどうやって学ぶのか、質問と答えを近づける工夫、近さの測り方(コサイン類似度)までを、雨衣が解説します。
プログラミングの経験がなくても分かるように話しています。
解説
今回の内容
1. ベクトル化ってなに? 2. 言葉の関係を数字で表す 3. 意味の近さの学び方 4. 単語から文章へ 5. 質問と答えをつなぐ工夫 6. 近さの測り方
今回の内容です。
まず、ベクトル化とは何かと、意味の近さをどうやって学ぶのかを確認します。
そのあと、単語から文章へ話を広げて、質問と答えをつなぐ工夫を見ていきます。最後に、近さの計算のしかたも紹介します。
ベクトル化ってなに?
文章 → 数字の並び(ベクトル) 例: 猫がかわいい → [0.12, -0.53, 0.88, …] ・意味が近い文章ほど、ベクトルも近い ・数字の個数=次元数(数百〜数千)
ベクトル化とは、言葉や文章を、数百から数千個の数字の並びに変換することです。
この数字の並びをベクトルと呼び、変換することを、埋め込みとも言います。
数字の個数は次元数と呼ばれ、モデルを作る人が、設計の段階で決めます。
一般に、次元数が大きいほど細かい意味まで表せますが、そのぶん計算の手間も増えます。
ポイントは、意味が近い文章ほど、ベクトルも近くなるように作られていることです。
(質問)キーワードが違っても、見つけられるの?
たとえば「パソコンが重い」と「PCの動作が遅い」は、使っている言葉は違っても、意味はほぼ同じですよね。
ベクトル化すれば、こうした言い換えがあっても、意味の近さで文章を探せるようになります。
言葉の関係を数字で表す
王様 − 男性 + 女性 ≒ 女王 ・「男性 → 女性」と「王様 → 女王」は、同じ向きの矢印になる
ベクトル化の説明でよく出てくるのが、「王様から男性を引いて女性を足すと、女王に近くなる」という例です。
これは、2013年ごろに発表された、単語をベクトル化する研究で示された性質です。
(質問)じゃあ、ベクトルの中に「王様」って書いてあるの?
いいえ、ベクトルの中に「王様」という意味そのものが書き込まれているわけではありません。
性別や地位のような、もっと抽象的な関係が、たくさんの数字の組み合わせとして表れている、というイメージです。
しかも、どの数字が性別を表すのか、人が決めたわけではないんです。
学習した結果として、こうした関係が、自然に浮かび上がってきます。
なお、よく使われる計算のしかたでは、元の言葉を答えから外していて、外さないと、多くの場合「王様」のような元の言葉が、そのまま一番近くなる、という指摘もあります。
意味の近さは誰が決める?
似た文脈で使われる言葉は、意味が近い 例: 今朝、__を飲んだ → コーヒー/紅茶 ・材料: 大量の文章(コーパス) ・ラベル付けは不要(自己教師あり学習) ・反対の言葉も、似た文脈で使われるので近くなる
(質問)どの言葉とどの言葉が近いか、誰が決めているの?
答えは、人ではなく、大量の文章そのものです。
もとになっているのは、「似た文脈で使われる言葉は、意味も近い」という考え方です。
たとえば「今朝、何々を飲んだ」の何々には、コーヒーも紅茶も入りますよね。
モデルは、文章の一部を隠して、周りの言葉から当てる練習を、何度も繰り返します。
その精度を上げていく途中で、同じ場所に入りやすい言葉どうしのベクトルが、近づいていきます。
学習に使うのは、ウェブの記事や書籍などを集めた、コーパスと呼ばれる大量の文章です。
人が正解のラベルを付けなくても、文章そのものから学べるので、自己教師あり学習と呼ばれます。
一つ一つ教えられなくても、読んでいるうちに意味の近さが分かってくるなんて、ちょっと不思議ですよね。
(質問)男性と女性みたいな反対の言葉は、プラスとマイナスになるの?
いいえ、「男性」と「女性」は、それぞれ別のベクトルで、片方にマイナスを付けたものではありません。
むしろ、2つはかなり近い位置にあります。どちらも人を表す言葉で、似た文脈で使われるからです。
違いが出るのは、性別に関わる一部の向きだけで、その向きで見ると、2つは反対側にある、というイメージです。
単語から文章へ
単語のベクトル → 文章のベクトル ・電話を“かける” ・眼鏡を“かける” → 文脈で意味を区別する
ここまでは単語の話でしたが、検索で使うのは、文章まるごとのベクトルです。
今の検索用のモデルは、文章全体を読んで、1つのベクトルにまとめます。
「電話をかける」と「眼鏡をかける」のように、同じ「かける」でも、文脈によって違う意味として扱えるのが強みです。
ただ、文章を探す用途では、穴埋めの練習だけでは足りません。
そこで、検索用のモデルは、この後で紹介する、検索のための学習を重ねて作られています。
質問と答えは、書き方が違う
・質問: 「パスワードを忘れたら、どうすればいい?」 ・答え: 「ログイン画面の『再設定』から手続きしてください」 ・探したいのは、答えになっている文章
ベクトル検索は、Q&Aによく使われます。
質問が来たら、登録しておいた答えの文章の中から、一番近いものを探す、という使い方ですね。
(質問)質問と答えって、そもそも似た文章なの?
でも、よく考えると、質問と答えは、書き方がかなり違います。
「パスワードを忘れたらどうすればいい?」という質問に対して、答えは「ログイン画面の再設定から手続きしてください」のような文章です。
探したいのは、質問に似ている文章ではなく、質問の答えになっている文章です。
そこで、検索用のモデルでは、2つの工夫がされています。
工夫1 質問と答えを近づける学習
・「質問」と「正しい答え」→ 近づける ・「質問」と「関係ない文章」→ 遠ざける → 対照学習
1つ目の工夫は、学習のしかたです。
質問と、それに合った答えの組をたくさん用意して、組になった2つのベクトルが近づくように学習させます。
同時に、関係のない文章とは、遠ざかるように学習させます。
これを、対照学習と呼びます。
こうして、質問のベクトルが、答えのベクトルのすぐ近くに来るように、調整されていくわけです。
工夫2 目印を付ける
Ruri v3の例 ・質問: 「検索クエリ: パスワードを忘れた…」 ・文書: 「検索文書: ログイン画面の…」 ・目印=プレフィックス
2つ目の工夫は、文章の頭に、目印を付けることです。
この目印を、プレフィックスと呼びます。
たとえば、日本語向けのRuri v3というモデルでは、質問には「検索クエリ」、登録する文書には「検索文書」という目印を付けます。
(質問)目印って、ただの文字でしょ?
はい、ただの文字です。でも、目印があることで、モデルは、今読んでいるのが質問なのか、答えの候補なのかを区別して、それぞれに合ったベクトルを作れます。
同じ文章でも、質問として読むか、答えとして読むかで、ベクトルが変わるんです。面白いですよね。
この目印を付け忘れるとどうなるかは、次の動画で取り上げます。
近さの測り方(コサイン類似度)
コサイン類似度 = 内積 ÷(Aの長さ × Bの長さ) ・内積: 同じ位置の数字どうしを掛けて、全部足す ・長さ: 数字をそれぞれ2乗して足し、平方根をとる 例: A=[1, 2]、B=[2, 4] → 内積 1×2+2×4=10、長さ √5 × √20 = 10 → 10 ÷ 10 = 1
| 値 | 2本の矢印(ベクトル)の向き |
|---|---|
| 1 | 同じ向き |
| 0 | 直角(関係なし) |
| −1 | 真反対 |
最後に、少し難しくなりますが、ベクトルの「近さ」を実際にどうやって計算するのかを見ておきます。
ベクトルは、矢印のように、向きを持っています。数字の1つ1つが、その矢印がどちらを向いているかを決めています。
(質問)ベクトルの向きって、プラスしかないの?
いいえ、数字にはマイナスもあるので、矢印は、どの方向でも向くことができます。
近さを比べる方法としてよく使われるのが、2つの矢印の向きがどれだけそろっているかを測る、コサイン類似度です。
計算は、3つの手順です。まず、2つのベクトルの、同じ位置にある数字どうしを掛けて、全部足します。これを内積と呼びます。
次に、それぞれのベクトルの長さを求めます。数字をそれぞれ2乗して足し、その平方根をとります。
最後に、内積を、2つの長さを掛けたもので割ります。
たとえば、1と2が並んだベクトルと、2と4が並んだベクトルでは、内積が10、長さを掛けたものも10なので、コサイン類似度はちょうど1になります。
2つ目のベクトルは、1つ目を2倍に伸ばしただけで、向きは同じだからです。
このように、長さで割ることで、矢印の長さに関係なく、向きだけを比べられます。
結果は、マイナス1から1までの数になります。1なら同じ向き、0なら直角で関係がない、マイナス1なら真反対の向きです。
ただ、実際の検索用のモデルで測ってみると、関係のない文章どうしでも、類似度はマイナスにならず、0.7前後になりました。
検索では、質問のベクトルと、登録しておいた文章のベクトルで、このコサイン類似度を計算して、大きい順に並べます。
おわりに
まとめ ・ベクトル化 = 意味の近さを、数字の近さに ・意味の近さは、大量の文章から学ぶ ・質問と答えは、対照学習と目印で近づける
では、まとめです。
ベクトル化は、文章の意味の近さを、数字の並びの近さに置き換える技術でした。
意味の近さは、人が教えるのではなく、大量の文章から学んでいます。
そして、質問と答えをうまく結びつけるために、対照学習と目印という工夫がされています。
今回は「ベクトル化のしくみ」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。