あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #1 2026-11-01 ・ ▶ 動画でも見られます

ベクトル化のしくみ

RAGなどで使われる「ベクトル化(埋め込み)」は、文章を数字の並びにして、意味の近い文章を探せるようにする仕組みです。

言葉の関係を数字で表す考え方から、意味の近さをどうやって学ぶのか、質問と答えを近づける工夫、近さの測り方(コサイン類似度)までを、雨衣が解説します。

プログラミングの経験がなくても分かるように話しています。

解説

今回の内容

1. ベクトル化ってなに? 2. 言葉の関係を数字で表す 3. 意味の近さの学び方 4. 単語から文章へ 5. 質問と答えをつなぐ工夫 6. 近さの測り方

今回の内容です。

まず、ベクトル化とは何かと、意味の近さをどうやって学ぶのかを確認します。

そのあと、単語から文章へ話を広げて、質問と答えをつなぐ工夫を見ていきます。最後に、近さの計算のしかたも紹介します。

ベクトル化ってなに?

文章 → 数字の並び(ベクトル) 例: 猫がかわいい → [0.12, -0.53, 0.88, …] ・意味が近い文章ほど、ベクトルも近い ・数字の個数=次元数(数百〜数千)

ベクトル化とは、言葉や文章を、数百から数千個の数字の並びに変換することです。

この数字の並びをベクトルと呼び、変換することを、埋め込みとも言います。

数字の個数は次元数と呼ばれ、モデルを作る人が、設計の段階で決めます。

一般に、次元数が大きいほど細かい意味まで表せますが、そのぶん計算の手間も増えます。

ポイントは、意味が近い文章ほど、ベクトルも近くなるように作られていることです。

(質問)キーワードが違っても、見つけられるの?

たとえば「パソコンが重い」と「PCの動作が遅い」は、使っている言葉は違っても、意味はほぼ同じですよね。

ベクトル化すれば、こうした言い換えがあっても、意味の近さで文章を探せるようになります。

言葉の関係を数字で表す

王様 − 男性 + 女性 ≒ 女王 ・「男性 → 女性」と「王様 → 女王」は、同じ向きの矢印になる

ベクトル化の説明でよく出てくるのが、「王様から男性を引いて女性を足すと、女王に近くなる」という例です。

これは、2013年ごろに発表された、単語をベクトル化する研究で示された性質です。

(質問)じゃあ、ベクトルの中に「王様」って書いてあるの?

いいえ、ベクトルの中に「王様」という意味そのものが書き込まれているわけではありません。

性別や地位のような、もっと抽象的な関係が、たくさんの数字の組み合わせとして表れている、というイメージです。

しかも、どの数字が性別を表すのか、人が決めたわけではないんです。

学習した結果として、こうした関係が、自然に浮かび上がってきます。

なお、よく使われる計算のしかたでは、元の言葉を答えから外していて、外さないと、多くの場合「王様」のような元の言葉が、そのまま一番近くなる、という指摘もあります。

意味の近さは誰が決める?

似た文脈で使われる言葉は、意味が近い 例: 今朝、__を飲んだ → コーヒー/紅茶 ・材料: 大量の文章(コーパス) ・ラベル付けは不要(自己教師あり学習) ・反対の言葉も、似た文脈で使われるので近くなる

(質問)どの言葉とどの言葉が近いか、誰が決めているの?

答えは、人ではなく、大量の文章そのものです。

もとになっているのは、「似た文脈で使われる言葉は、意味も近い」という考え方です。

たとえば「今朝、何々を飲んだ」の何々には、コーヒーも紅茶も入りますよね。

モデルは、文章の一部を隠して、周りの言葉から当てる練習を、何度も繰り返します。

その精度を上げていく途中で、同じ場所に入りやすい言葉どうしのベクトルが、近づいていきます。

学習に使うのは、ウェブの記事や書籍などを集めた、コーパスと呼ばれる大量の文章です。

人が正解のラベルを付けなくても、文章そのものから学べるので、自己教師あり学習と呼ばれます。

一つ一つ教えられなくても、読んでいるうちに意味の近さが分かってくるなんて、ちょっと不思議ですよね。

(質問)男性と女性みたいな反対の言葉は、プラスとマイナスになるの?

いいえ、「男性」と「女性」は、それぞれ別のベクトルで、片方にマイナスを付けたものではありません。

むしろ、2つはかなり近い位置にあります。どちらも人を表す言葉で、似た文脈で使われるからです。

違いが出るのは、性別に関わる一部の向きだけで、その向きで見ると、2つは反対側にある、というイメージです。

単語から文章へ

単語のベクトル → 文章のベクトル ・電話を“かける” ・眼鏡を“かける” → 文脈で意味を区別する

ここまでは単語の話でしたが、検索で使うのは、文章まるごとのベクトルです。

今の検索用のモデルは、文章全体を読んで、1つのベクトルにまとめます。

「電話をかける」と「眼鏡をかける」のように、同じ「かける」でも、文脈によって違う意味として扱えるのが強みです。

ただ、文章を探す用途では、穴埋めの練習だけでは足りません。

そこで、検索用のモデルは、この後で紹介する、検索のための学習を重ねて作られています。

質問と答えは、書き方が違う

・質問: 「パスワードを忘れたら、どうすればいい?」 ・答え: 「ログイン画面の『再設定』から手続きしてください」 ・探したいのは、答えになっている文章

ベクトル検索は、Q&Aによく使われます。

質問が来たら、登録しておいた答えの文章の中から、一番近いものを探す、という使い方ですね。

(質問)質問と答えって、そもそも似た文章なの?

でも、よく考えると、質問と答えは、書き方がかなり違います。

「パスワードを忘れたらどうすればいい?」という質問に対して、答えは「ログイン画面の再設定から手続きしてください」のような文章です。

探したいのは、質問に似ている文章ではなく、質問の答えになっている文章です。

そこで、検索用のモデルでは、2つの工夫がされています。

工夫1 質問と答えを近づける学習

・「質問」と「正しい答え」→ 近づける ・「質問」と「関係ない文章」→ 遠ざける → 対照学習

1つ目の工夫は、学習のしかたです。

質問と、それに合った答えの組をたくさん用意して、組になった2つのベクトルが近づくように学習させます。

同時に、関係のない文章とは、遠ざかるように学習させます。

これを、対照学習と呼びます。

こうして、質問のベクトルが、答えのベクトルのすぐ近くに来るように、調整されていくわけです。

工夫2 目印を付ける

Ruri v3の例 ・質問: 「検索クエリ: パスワードを忘れた…」 ・文書: 「検索文書: ログイン画面の…」 ・目印=プレフィックス

2つ目の工夫は、文章の頭に、目印を付けることです。

この目印を、プレフィックスと呼びます。

たとえば、日本語向けのRuri v3というモデルでは、質問には「検索クエリ」、登録する文書には「検索文書」という目印を付けます。

(質問)目印って、ただの文字でしょ?

はい、ただの文字です。でも、目印があることで、モデルは、今読んでいるのが質問なのか、答えの候補なのかを区別して、それぞれに合ったベクトルを作れます。

同じ文章でも、質問として読むか、答えとして読むかで、ベクトルが変わるんです。面白いですよね。

この目印を付け忘れるとどうなるかは、次の動画で取り上げます。

近さの測り方(コサイン類似度)

コサイン類似度 = 内積 ÷(Aの長さ × Bの長さ) ・内積: 同じ位置の数字どうしを掛けて、全部足す ・長さ: 数字をそれぞれ2乗して足し、平方根をとる 例: A=[1, 2]、B=[2, 4] → 内積 1×2+2×4=10、長さ √5 × √20 = 10 → 10 ÷ 10 = 1

値2本の矢印(ベクトル)の向き
1同じ向き
0直角(関係なし)
−1真反対

最後に、少し難しくなりますが、ベクトルの「近さ」を実際にどうやって計算するのかを見ておきます。

ベクトルは、矢印のように、向きを持っています。数字の1つ1つが、その矢印がどちらを向いているかを決めています。

(質問)ベクトルの向きって、プラスしかないの?

いいえ、数字にはマイナスもあるので、矢印は、どの方向でも向くことができます。

近さを比べる方法としてよく使われるのが、2つの矢印の向きがどれだけそろっているかを測る、コサイン類似度です。

計算は、3つの手順です。まず、2つのベクトルの、同じ位置にある数字どうしを掛けて、全部足します。これを内積と呼びます。

次に、それぞれのベクトルの長さを求めます。数字をそれぞれ2乗して足し、その平方根をとります。

最後に、内積を、2つの長さを掛けたもので割ります。

たとえば、1と2が並んだベクトルと、2と4が並んだベクトルでは、内積が10、長さを掛けたものも10なので、コサイン類似度はちょうど1になります。

2つ目のベクトルは、1つ目を2倍に伸ばしただけで、向きは同じだからです。

このように、長さで割ることで、矢印の長さに関係なく、向きだけを比べられます。

結果は、マイナス1から1までの数になります。1なら同じ向き、0なら直角で関係がない、マイナス1なら真反対の向きです。

ただ、実際の検索用のモデルで測ってみると、関係のない文章どうしでも、類似度はマイナスにならず、0.7前後になりました。

検索では、質問のベクトルと、登録しておいた文章のベクトルで、このコサイン類似度を計算して、大きい順に並べます。

おわりに

まとめ ・ベクトル化 = 意味の近さを、数字の近さに ・意味の近さは、大量の文章から学ぶ ・質問と答えは、対照学習と目印で近づける

では、まとめです。

ベクトル化は、文章の意味の近さを、数字の並びの近さに置き換える技術でした。

意味の近さは、人が教えるのではなく、大量の文章から学んでいます。

そして、質問と答えをうまく結びつけるために、対照学習と目印という工夫がされています。

今回は「ベクトル化のしくみ」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」