ベクトル検索 #6 2026-11-06 ・ ▶ 動画でも見られます
長い文書はどう分ける?
長い文書を検索に入れるときは、いくつかに分けてから入れます。これを「チャンク分割」と言います。
決まった長さで分ける方法と、見出しで分ける方法を実験で比べ、分けたときに「何の話か」が消えてしまう問題と、その対策(重ねる、見出しを付ける、文脈を付ける)を紹介します。
解説
RAGのどこの話?
RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近いチャンクを探す → LLMが答える
本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。
RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。
準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。
質問されたら、質問もベクトルにして、近いチャンクを探し、見つかったチャンクをLLMに渡して、答えを書かせます。
今回取り上げるのは、この一番最初の、資料を分ける部分です。
ここでの分け方が悪いと、あとでどんなに上手に探しても、正しい部分が見つからず、LLMも答えられなくなります。
今回の内容
1. なぜ分けるの? 2. 分け方の種類 3. 実験: 決まった長さで分ける 4. 実験: 見出しで分ける 5. 文脈を付ける方法 6. 大きいデータで確かめる 7. まとめ
今回の内容です。
なぜ分けるのかをおさらいしてから、分け方の種類を見て、同じ説明書で分け方を変えて試します。
分けたチャンクに文脈を付け足す方法も紹介して、最後に、もっと大きいデータで、LLMの答えまで確かめます。
なぜ分けるの?
・モデルの入力には上限がある(Ruri v3: 8192トークン) ・以前の実験: 約5万字の文章の最後の一文が、検索にまったく反映されなかった ・長い文章をベクトルにするのは時間もかかる(約1万5千字で約2.5秒)
まず、なぜ分けるのかを、おさらいします。
ベクトルにするモデルには、一度に読める長さの上限があります。
以前の動画の実験では、約5万字の文章の最後に書いた結論が、検索にまったく反映されていませんでした。上限を超えた後ろが、黙って読まれていなかったんです。
長い文章は、ベクトルにするのにも時間がかかります。約1万5千字の文章で、約2.5秒でした。
それに、1つのベクトルにいろいろな話題が混ざると、どの話題で探されても、中途半端な近さになりがちです。
分け方の種類
・決まった長さで分ける(文字数・トークン数) ・文章の区切りで分ける(段落 → 文の順に、なるべく大きく保つ) ・文書の構造で分ける(見出し、HTMLのタグなど) ・前のチャンクと少し重ねる
分け方には、いくつかの種類があります。
一番簡単なのは、200字ごと、のように、決まった長さで分ける方法です。
段落や文の区切りを守りながら、なるべく大きなまとまりのまま分ける方法もあって、よく使われるツールの説明では、最初に試す方法として勧められています。
見出しのような、文書の構造に沿って分ける方法もあります。
また、文の途中で切れても困らないように、前のチャンクと少し重ねて分けることもあります。
実験の準備
・架空の家電20機種の取扱説明書(約6300字) ・機種ごとに、仕様・お手入れ・保証の3つの節 ・型番は、機種の見出しにだけ書く 例: 「## CB-1209(ロボット掃除機)」の中の「### 保証」の節 → 「保証期間は、購入日から2年間です。」 ・質問の例: CB-1209の保証期間は何年ですか?(全80問)
実験には、架空の家電20機種の取扱説明書を作りました。
機種ごとに、仕様、お手入れ、保証の3つの節があります。
型番は、機種の見出しにだけ書いて、節の本文には書いていません。
質問は、「CB-1209の保証期間は何年ですか?」のようなものを、80問用意しました。
答えの文を含むチャンクが、検索の1位に来るかを数えます。
実験 決まった長さで分けると
| 分け方 | 答えを含むチャンクが1位(80問中) |
|---|---|
| 200字ごと | 35 |
・例: 「CB-1209の保証期間は?」→ 1位は、別の機種の「保証」の節(保証期間は5年間…) ・答えの文が2つのチャンクに割れた問題: 5問
まずは、200字ごとに分けてみます。
結果は、80問中35問でした。
(質問)半分も当たってない…
間違えた問題を見ると、「CB-1209の保証期間は?」に対して、別の機種の保証の節が1位に来ていました。
200字で切ると、保証の節のチャンクには、型番が入っていないことが多いんです。どの機種の話なのかが、チャンクだけでは分からなくなっていました。
また、5問では、答えの文そのものが、2つのチャンクに割れてしまっていました。
実験 重ねる、大きくする
| 分け方 | 答えを含むチャンクが1位(80問中) |
|---|---|
| 200字ごと | 35 |
| 200字ごと・50字重ねる | 40 |
| 800字ごと | 54 |
・重ねる → 文が割れなくなる ・大きくする → 型番が入りやすいが、1つのチャンクに話題が混ざる
次に、前のチャンクと50字ずつ重ねて分けてみます。
答えの文が割れる問題はなくなり、35問から40問に増えました。
800字ごとに大きく分けると、54問まで増えました。チャンクが大きい分、型番の見出しが入りやすくなったわけです。
ただ、大きいチャンクには、仕様もお手入れも保証も、いろいろな話題が混ざります。
小さいと文脈が切れやすく、大きいと話題が混ざりやすい。ちょうどいい大きさは、文書しだいです。
実験 見出しで分ける
| 分け方 | 答えを含むチャンクが1位(80問中) |
|---|---|
| 200字ごと | 35 |
| 見出しで分ける(機種の見出しを付ける) | 80 |
・チャンクの例: 「CB-1209(ロボット掃除機) ### 保証 保証期間は、購入日から2年間です。…」
では、説明書の見出しに沿って、節ごとに分けてみます。
このとき、それぞれの節のチャンクの先頭に、機種の見出しを付けておきます。
結果は、80問すべてで、答えを含むチャンクが1位になりました!
どのチャンクにも、型番と節の名前が入っているので、どの機種の、どの話なのかが、はっきりしたわけですね。
ただ、今回の説明書は、見出しがきれいにそろった、自作のものです。見出しが崩れた文書では、こううまくはいかないと思います。
文脈を付ける方法
文書全体とチャンクをLLMに渡す → 「このチャンクは、〇〇の保証に関する部分です」のような説明を書かせる → 説明をチャンクの前に付けてからベクトルにする
| 分け方 | 答えを含むチャンクが1位(80問中) |
|---|---|
| 200字ごと | 35 |
| 200字ごと+文脈を付ける | 53 |
・Anthropicの報告(上位20件に正解が入らなかった割合): 文脈付きのベクトルで35%減、キーワード検索も合わせて49%減、リランカーも足して67%減
見出しが使えない文書のための方法もあります。
分けた後のチャンクごとに、文書全体の中でどんな位置の部分なのかを、LLMに説明させて、チャンクの前に付けておく方法です。
Anthropicが紹介している方法で、報告では、正しいチャンクを見つけられなかった割合が、大きく減ったとされています。
今回の説明書でも、200字ごとのチャンクに、gemma4というLLMで説明を付けてみました。
35問から53問に増えました。「このチャンクは、ドライヤーのAV-2307の、お手入れと保証の記述です」のような説明が付いていました。
(質問)見出しで分ける方がよくない?
この説明書では、そうですね。ただ、見出しがない文書でも使えるのが、この方法の良いところです。その代わり、チャンクの数だけLLMを呼ぶ手間がかかります。
大きいデータで確かめる
・架空の家電メーカーの説明書101冊(自作)→ 300字ずつのチャンク641個 ・質問 310問(答えがあるのは280問)
| 答えがある280問 | 上位5件に正解 | LLMが正しく答えた |
|---|---|---|
| 文書名を付けない | 80 | 56 |
| 先頭に文書名を付ける | 256 | 250 |
・文書名の例: RC-310 ロボット掃除機 取扱説明書 ・文書名なし: LLMの答えが「分かりません」だったのは177問
ここまでの説明書は20機種と小さかったので、もっと大きいデータでも確かめます。
リランカーの回で使った、架空の家電メーカーの説明書101冊を、300字ずつに分けました。本文では型番を書かずに、「本機」と書いてあります。
今度は、検索の上位5件をLLMに渡して、最後に正しく答えられたかまで数えます。
チャンクに何も付けないと、上位5件に答えが入ったのは280問中80問、LLMが正しく答えられたのは、わずか56問でした。
(質問)残りはどうなったの?
177問で、LLMは「分かりません」と答えていました。答えのチャンクを渡しても、どの機種の説明書なのかが書いていないので、答えられなかったんです。
先頭に「RC-310 ロボット掃除機 取扱説明書」のような文書名を付けるだけで、上位5件は256問、LLMの正解は250問まで増えました。
分けたチャンクには、それが何の文書の一部なのかを、必ず付けておきたいですね。
まとめて比べる
| 20機種の説明書(80問) | 1位 | 上位5件 |
|---|---|---|
| 200字ごと | 35 | 46 |
| 200字ごと・50字重ねる | 40 | 46 |
| 800字ごと | 54 | — |
| 200字ごと+文脈を付ける | 53 | 68 |
| 見出しで分ける | 80 | 80 |
101冊の説明書(280問)、LLMが正しく答えた: 文書名なし 56 → 文書名を付ける 250 ・見出しが整った文書 → 見出しで分ける ・見出しがない文書 → 重ねる、文脈を付ける ・どの方法でも、チャンクが何の一部かを付ける
ここまでの結果を、まとめて比べてみます。
今回の説明書では、見出しで分ける方法が、一番うまくいきました。
見出しが整った文書なら、まず見出しで分けて、チャンクに見出しを付けておくのがよさそうです。
見出しがない文書なら、重ねて分けたり、文脈を付けたりする方法があります。
そして、どの方法でも、チャンクが何の文書の一部なのかは、付けておきましょう。
どの方法も、自分の文書と、実際の質問で、試して確かめるのが確実です。
そもそも分けなくていい場合も
・文書が少ないなら、全部をLLMに渡す手も(Anthropicの目安: 20万トークン、約500ページまで) ・ただし、APIの料金に注意: 質問のたびに全部を読ませる(プロンプトキャッシュで抑えられる) ・検索の仕組みを作る前に、文書の量を確かめる
最後に、少し違う見方も紹介します。
同じAnthropicの記事では、文書全体が20万トークン、約500ページより少ないなら、検索を作らずに、全部をLLMに渡してしまえばよい、とされています。
ただ、APIで使う場合は、質問のたびに、全部の文書をLLMに読ませることになるので、その分の料金と、答えが返るまでの時間がかかります。
同じ文書を何度も渡すなら、プロンプトキャッシュという仕組みを使うと、費用や待ち時間を抑えられます。
分け方を工夫する前に、そもそも検索が必要な量なのかを、確かめてみるのもいいかもしれませんね。
おわりに
まとめ ・長い文書は、分けてから検索に入れる ・決まった長さで切ると、どの話かが分からなくなることがある ・見出しで分けて、見出しを付けると、今回は80問すべて正解 ・見出しがなければ、重ねる・文脈を付ける ・チャンクには、何の文書の一部かを付ける(LLMの正解 56 → 250)
では、まとめです。
長い文書は、分けてから検索に入れます。
決まった長さで切ると、チャンクだけでは、どの話なのかが分からなくなることがありました。
見出しで分けて、チャンクに見出しを付けておくと、今回の説明書では、80問すべてで正解できました。
見出しがない文書では、重ねて分けたり、LLMで文脈を付けたりする方法があります。
そして、チャンクに文書名を付けるだけで、LLMが答えられる数が、大きく変わりました。
ところで、検索をどれだけ良くしても、1回探すだけでは答えられない質問もあります。
たとえば、「この製品の後継機の保証期間は?」のように、まず後継機を調べて、次にその保証期間を調べる、という質問です。
こうした質問に、AIが何度も検索しながら答える方法を、次の動画で取り上げる予定です。
今回は「長い文書はどう分ける?」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。