あまやどり研究所

トップ / ベクトル検索

ベクトル検索 #6 2026-11-06 ・ ▶ 動画でも見られます

長い文書はどう分ける?

長い文書を検索に入れるときは、いくつかに分けてから入れます。これを「チャンク分割」と言います。

決まった長さで分ける方法と、見出しで分ける方法を実験で比べ、分けたときに「何の話か」が消えてしまう問題と、その対策(重ねる、見出しを付ける、文脈を付ける)を紹介します。

解説

RAGのどこの話?

RAGの流れ(黄色が今回の話) 準備: 文書を分ける → ベクトルにする → 保存する 質問: 質問をベクトルに → 近いチャンクを探す → LLMが答える

本題に入る前に、今回の話が、RAGのどの部分なのかを確認しておきます。

RAGは、AIに手元の資料を読ませて、質問に答えさせる仕組みです。

準備として、資料を小さく分けて、それぞれをベクトルにして、データベースに保存しておきます。

質問されたら、質問もベクトルにして、近いチャンクを探し、見つかったチャンクをLLMに渡して、答えを書かせます。

今回取り上げるのは、この一番最初の、資料を分ける部分です。

ここでの分け方が悪いと、あとでどんなに上手に探しても、正しい部分が見つからず、LLMも答えられなくなります。

今回の内容

1. なぜ分けるの? 2. 分け方の種類 3. 実験: 決まった長さで分ける 4. 実験: 見出しで分ける 5. 文脈を付ける方法 6. 大きいデータで確かめる 7. まとめ

今回の内容です。

なぜ分けるのかをおさらいしてから、分け方の種類を見て、同じ説明書で分け方を変えて試します。

分けたチャンクに文脈を付け足す方法も紹介して、最後に、もっと大きいデータで、LLMの答えまで確かめます。

なぜ分けるの?

・モデルの入力には上限がある(Ruri v3: 8192トークン) ・以前の実験: 約5万字の文章の最後の一文が、検索にまったく反映されなかった ・長い文章をベクトルにするのは時間もかかる(約1万5千字で約2.5秒)

まず、なぜ分けるのかを、おさらいします。

ベクトルにするモデルには、一度に読める長さの上限があります。

以前の動画の実験では、約5万字の文章の最後に書いた結論が、検索にまったく反映されていませんでした。上限を超えた後ろが、黙って読まれていなかったんです。

長い文章は、ベクトルにするのにも時間がかかります。約1万5千字の文章で、約2.5秒でした。

それに、1つのベクトルにいろいろな話題が混ざると、どの話題で探されても、中途半端な近さになりがちです。

分け方の種類

・決まった長さで分ける(文字数・トークン数) ・文章の区切りで分ける(段落 → 文の順に、なるべく大きく保つ) ・文書の構造で分ける(見出し、HTMLのタグなど) ・前のチャンクと少し重ねる

分け方には、いくつかの種類があります。

一番簡単なのは、200字ごと、のように、決まった長さで分ける方法です。

段落や文の区切りを守りながら、なるべく大きなまとまりのまま分ける方法もあって、よく使われるツールの説明では、最初に試す方法として勧められています。

見出しのような、文書の構造に沿って分ける方法もあります。

また、文の途中で切れても困らないように、前のチャンクと少し重ねて分けることもあります。

実験の準備

・架空の家電20機種の取扱説明書(約6300字) ・機種ごとに、仕様・お手入れ・保証の3つの節 ・型番は、機種の見出しにだけ書く 例: 「## CB-1209(ロボット掃除機)」の中の「### 保証」の節 → 「保証期間は、購入日から2年間です。」 ・質問の例: CB-1209の保証期間は何年ですか?(全80問)

実験には、架空の家電20機種の取扱説明書を作りました。

機種ごとに、仕様、お手入れ、保証の3つの節があります。

型番は、機種の見出しにだけ書いて、節の本文には書いていません。

質問は、「CB-1209の保証期間は何年ですか?」のようなものを、80問用意しました。

答えの文を含むチャンクが、検索の1位に来るかを数えます。

実験 決まった長さで分けると

分け方答えを含むチャンクが1位(80問中)
200字ごと35

・例: 「CB-1209の保証期間は?」→ 1位は、別の機種の「保証」の節(保証期間は5年間…) ・答えの文が2つのチャンクに割れた問題: 5問

まずは、200字ごとに分けてみます。

結果は、80問中35問でした。

(質問)半分も当たってない…

間違えた問題を見ると、「CB-1209の保証期間は?」に対して、別の機種の保証の節が1位に来ていました。

200字で切ると、保証の節のチャンクには、型番が入っていないことが多いんです。どの機種の話なのかが、チャンクだけでは分からなくなっていました。

また、5問では、答えの文そのものが、2つのチャンクに割れてしまっていました。

実験 重ねる、大きくする

分け方答えを含むチャンクが1位(80問中)
200字ごと35
200字ごと・50字重ねる40
800字ごと54

・重ねる → 文が割れなくなる ・大きくする → 型番が入りやすいが、1つのチャンクに話題が混ざる

次に、前のチャンクと50字ずつ重ねて分けてみます。

答えの文が割れる問題はなくなり、35問から40問に増えました。

800字ごとに大きく分けると、54問まで増えました。チャンクが大きい分、型番の見出しが入りやすくなったわけです。

ただ、大きいチャンクには、仕様もお手入れも保証も、いろいろな話題が混ざります。

小さいと文脈が切れやすく、大きいと話題が混ざりやすい。ちょうどいい大きさは、文書しだいです。

実験 見出しで分ける

分け方答えを含むチャンクが1位(80問中)
200字ごと35
見出しで分ける(機種の見出しを付ける)80

・チャンクの例: 「CB-1209(ロボット掃除機) ### 保証 保証期間は、購入日から2年間です。…」

では、説明書の見出しに沿って、節ごとに分けてみます。

このとき、それぞれの節のチャンクの先頭に、機種の見出しを付けておきます。

結果は、80問すべてで、答えを含むチャンクが1位になりました!

どのチャンクにも、型番と節の名前が入っているので、どの機種の、どの話なのかが、はっきりしたわけですね。

ただ、今回の説明書は、見出しがきれいにそろった、自作のものです。見出しが崩れた文書では、こううまくはいかないと思います。

文脈を付ける方法

文書全体とチャンクをLLMに渡す → 「このチャンクは、〇〇の保証に関する部分です」のような説明を書かせる → 説明をチャンクの前に付けてからベクトルにする

分け方答えを含むチャンクが1位(80問中)
200字ごと35
200字ごと+文脈を付ける53

・Anthropicの報告(上位20件に正解が入らなかった割合): 文脈付きのベクトルで35%減、キーワード検索も合わせて49%減、リランカーも足して67%減

見出しが使えない文書のための方法もあります。

分けた後のチャンクごとに、文書全体の中でどんな位置の部分なのかを、LLMに説明させて、チャンクの前に付けておく方法です。

Anthropicが紹介している方法で、報告では、正しいチャンクを見つけられなかった割合が、大きく減ったとされています。

今回の説明書でも、200字ごとのチャンクに、gemma4というLLMで説明を付けてみました。

35問から53問に増えました。「このチャンクは、ドライヤーのAV-2307の、お手入れと保証の記述です」のような説明が付いていました。

(質問)見出しで分ける方がよくない?

この説明書では、そうですね。ただ、見出しがない文書でも使えるのが、この方法の良いところです。その代わり、チャンクの数だけLLMを呼ぶ手間がかかります。

大きいデータで確かめる

・架空の家電メーカーの説明書101冊(自作)→ 300字ずつのチャンク641個 ・質問 310問(答えがあるのは280問)

答えがある280問上位5件に正解LLMが正しく答えた
文書名を付けない8056
先頭に文書名を付ける256250

・文書名の例: RC-310 ロボット掃除機 取扱説明書 ・文書名なし: LLMの答えが「分かりません」だったのは177問

ここまでの説明書は20機種と小さかったので、もっと大きいデータでも確かめます。

リランカーの回で使った、架空の家電メーカーの説明書101冊を、300字ずつに分けました。本文では型番を書かずに、「本機」と書いてあります。

今度は、検索の上位5件をLLMに渡して、最後に正しく答えられたかまで数えます。

チャンクに何も付けないと、上位5件に答えが入ったのは280問中80問、LLMが正しく答えられたのは、わずか56問でした。

(質問)残りはどうなったの?

177問で、LLMは「分かりません」と答えていました。答えのチャンクを渡しても、どの機種の説明書なのかが書いていないので、答えられなかったんです。

先頭に「RC-310 ロボット掃除機 取扱説明書」のような文書名を付けるだけで、上位5件は256問、LLMの正解は250問まで増えました。

分けたチャンクには、それが何の文書の一部なのかを、必ず付けておきたいですね。

まとめて比べる

20機種の説明書(80問)1位上位5件
200字ごと3546
200字ごと・50字重ねる4046
800字ごと54—
200字ごと+文脈を付ける5368
見出しで分ける8080

101冊の説明書(280問)、LLMが正しく答えた: 文書名なし 56 → 文書名を付ける 250 ・見出しが整った文書 → 見出しで分ける ・見出しがない文書 → 重ねる、文脈を付ける ・どの方法でも、チャンクが何の一部かを付ける

ここまでの結果を、まとめて比べてみます。

今回の説明書では、見出しで分ける方法が、一番うまくいきました。

見出しが整った文書なら、まず見出しで分けて、チャンクに見出しを付けておくのがよさそうです。

見出しがない文書なら、重ねて分けたり、文脈を付けたりする方法があります。

そして、どの方法でも、チャンクが何の文書の一部なのかは、付けておきましょう。

どの方法も、自分の文書と、実際の質問で、試して確かめるのが確実です。

そもそも分けなくていい場合も

・文書が少ないなら、全部をLLMに渡す手も(Anthropicの目安: 20万トークン、約500ページまで) ・ただし、APIの料金に注意: 質問のたびに全部を読ませる(プロンプトキャッシュで抑えられる) ・検索の仕組みを作る前に、文書の量を確かめる

最後に、少し違う見方も紹介します。

同じAnthropicの記事では、文書全体が20万トークン、約500ページより少ないなら、検索を作らずに、全部をLLMに渡してしまえばよい、とされています。

ただ、APIで使う場合は、質問のたびに、全部の文書をLLMに読ませることになるので、その分の料金と、答えが返るまでの時間がかかります。

同じ文書を何度も渡すなら、プロンプトキャッシュという仕組みを使うと、費用や待ち時間を抑えられます。

分け方を工夫する前に、そもそも検索が必要な量なのかを、確かめてみるのもいいかもしれませんね。

おわりに

まとめ ・長い文書は、分けてから検索に入れる ・決まった長さで切ると、どの話かが分からなくなることがある ・見出しで分けて、見出しを付けると、今回は80問すべて正解 ・見出しがなければ、重ねる・文脈を付ける ・チャンクには、何の文書の一部かを付ける(LLMの正解 56 → 250)

では、まとめです。

長い文書は、分けてから検索に入れます。

決まった長さで切ると、チャンクだけでは、どの話なのかが分からなくなることがありました。

見出しで分けて、チャンクに見出しを付けておくと、今回の説明書では、80問すべてで正解できました。

見出しがない文書では、重ねて分けたり、LLMで文脈を付けたりする方法があります。

そして、チャンクに文書名を付けるだけで、LLMが答えられる数が、大きく変わりました。

ところで、検索をどれだけ良くしても、1回探すだけでは答えられない質問もあります。

たとえば、「この製品の後継機の保証期間は?」のように、まず後継機を調べて、次にその保証期間を調べる、という質問です。

こうした質問に、AIが何度も検索しながら答える方法を、次の動画で取り上げる予定です。

今回は「長い文書はどう分ける?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「ベクトル検索」