2026-11-09 ・ ▶ 動画でも見られます
トークナイザーのしくみ
ChatGPTのようなAIは、文章を「トークン」という断片に分けてから読んでいます。この分け方を決める部品が、トークナイザーです。
文字でも単語でもない分け方になった理由、BPEという分け方のアルゴリズム、日本語や数字で起きるクセ、そしてトークナイザーを使わない最近の研究までを、雨衣が解説します。
プログラミングの経験がなくても分かるように話しています。
解説
今回の内容
1. トークナイザーってなに? 2. 文字でも単語でもない分け方 3. BPEのしくみ 4. 実際の分かれ方 5. 日本語や数字のクセ 6. トークナイザーを使わない研究
今回の内容です。
まず、トークナイザーの役割と、文字でも単語でもない分け方になった理由を確認します。
そのあと、代表的な作り方のBPEを実際に動かして、日本語や数字で起きるクセを見ます。最後に、トークナイザーをなくそうという研究も紹介します。
トークナイザーってなに?
文章 → トークン(断片) → 番号(ID) → モデル 例: The cat sat. → The␣cat␣sat. → 4 つの番号 ・モデルが読むのは、文字ではなく番号の並び ・分け方は、モデルとは別に、文章から先に作っておく
AIのモデルが直接扱えるのは、数字だけです。
そこでまず、文章を断片に分けて、断片ごとに番号を振ります。この断片をトークン、番号をIDと呼びます。
分け方と番号の表を決めるのが、トークナイザーです。モデルが読むのは、この番号の並びだけです。
大事なのは、トークナイザーが、モデルの学習より前に、文章だけから作られることです。
一度決めたら、学習でも使うときでも、同じものを使い続けます。
(質問)単語ごとに分ければいいのでは?
実は、それにも問題があります。次のスライドで見てみましょう。
文字でも単語でもない分け方
| 分け方 | 長所 | 短所 |
|---|---|---|
| 文字ごと | 語彙が小さい。知らない語もOK | 列が長くなる |
| 単語ごと | 列が短い | 語彙が巨大。知らない語は「不明」 |
| サブワード | 中間 | 分け方を、モデルの学習より前に文章から作る |
・サブワード=単語より小さく、文字より大きい断片
単語ごとに分けると、列は短く済みます。
ところが、love、loved、lovingのように、変化した形ごとに別の項目が要るので、語彙の表が巨大になります。
表にない語は、不明という印で置き換えるしかなく、新しい語を読めません。
逆に、文字ごとに分けると、語彙は小さくなり、知らない語でも表せます。ただし、列がとても長くなって、一つ一つの意味も薄くなります。
そこで主流になったのが、サブワードです。よく出る語は一つの断片に、まれな語は小さな断片に分けます。
Hugging Faceの公式ドキュメントも、サブワードは、語彙を小さく保ちながら、知らない語を既知の断片で表せる、と説明しています。
BPEのしくみ
練習用の4語(出てくる回数): low(5)・lowest(3)・newest(6)・widest(2)
| 回 | くっつける2つ | 回数 | 結果の例 |
|---|---|---|---|
| 1 | s + t | 11 | newest → n-e-w-e-st |
| 2 | e + st | 11 | newest → n-e-w-est |
| 3 | w + est | 9 | newest → n-e-west |
| 4 | l + o | 8 | low → lo-w |
・これを、決めた語彙の大きさまで繰り返す
代表的な作り方が、BPE、バイト・ペア・エンコーディングです。
最初は、全部を文字に分けた状態から始めます。
そして、文章の中で、いちばん多く隣り合っている2つの断片を探して、一つにくっつけます。
画面は、4つの単語だけの小さな練習です。一回目は、sとtが11回隣り合っているので、stになります。eとsも同じ11回で並びますが、同点のときは、先にsとtを選ぶことにしています。
次は、eとstが11回で、estです。三回目は、wとestが9回で、westになります。
newestのnewとestの境目をまたいで、westがくっつきますよね。BPEは意味を見ていなくて、回数だけで決めているんです。
これを、決めておいた語彙の大きさになるまで繰り返します。くっつけた順番が、そのまま分け方のルールになります。
BPEは2015年に、機械翻訳で、まれな語を小さな断片で表すために使われました。
実際の分かれ方
自作のトークナイザー(英語の約1,000万語で学習、語彙16,384)での実測
| 文字列 | トークン数 | 分かれ方 |
|---|---|---|
| The cat sat on the mat. | 7 | The ␣cat ␣sat ␣on ␣the ␣mat . |
| unbelievably | 3 | un / believ / ably |
| tokenization | 3 | to / ken / ization |
・よく出る語は1つ、まれな語は複数に分かれる
では、実際に分けてみましょう。画面は、英語の文章約1000万語で作った、語彙16384個のトークナイザーでの結果です。
短くてよく出る文では、よく出る単語は、一つのトークンになります。空白は、次の語の頭にくっついています。
unbelievablyは、un、believ、ablyの3つに分かれました。
tokenizationが、to、ken、izationなのも、おもしろいですよね。人が分ける形と、少し違います。
ただ、よく出る語ほど一つにまとまって、まれな語ほど細かくなる、という傾向は見えます。
バイト単位のBPEと、日本語
GPT-2の語彙=50,257 ・256(バイト)+50,000(くっつけた回数)+1(文章の区切り) 自作トークナイザーで「猫がかわいい」(6文字)→18トークン ・英語の文章で作ったので、日本語は1文字が3バイトに分かれた
今のAIでよく使われるのは、バイト単位のBPEです。
文字ではなく、コンピューターの中の1バイトから始めます。バイトは256種類しかなく、世の中のどんな文字も、必ず表せます。
不明という印が、要らなくなるわけです。GPT-2は、256個のバイトに、50000回くっつけてできた断片と、区切りの記号を足した、50257個の語彙です。
(質問)日本語はどうなるの?
英語の文章だけで作った自作のトークナイザーで、猫がかわいい、という6文字を分けてみました。
結果は18トークン。日本語の1文字が、3つのバイトに分かれたためです。
実際のAIは、日本語も含めて作っているので、ここまでは悪くなりません。ただ、言語ごとに長さが違うのは、実際に問題になっています。
ほかの方式
| 方式・道具 | 考え方 | 例 |
|---|---|---|
| BPE | 多い組を順にくっつける | GPT系・Llama系 |
| WordPiece | くっつけたら「らしさ」が上がる組を選ぶ | BERT系 |
| Unigram | 多めの候補から、要らないものを削る | T5系 |
| SentencePiece | 空白で区切らず、生の文章から作る道具 | 日本語にも使える |
BPEのほかにも、いくつか方式があります。
WordPieceは、BERTという系統のモデルで使われています。BPEと似ていますが、単純な回数ではなく、くっつけることでどれだけ自然な分かれ方になるか、で選びます。
Unigramは、逆向きです。たくさんの候補から始めて、なくても困らないものを削っていきます。
同じ語でも、いくつかの分け方が考えられるので、学習のときに分け方を変えて、モデルを頑丈にする使い方もあります。
SentencePieceは、方式ではなく道具です。空白で単語を区切る前提を置かず、生の文章から直接作れるので、日本語や中国語にも使えます。
日本語や数字のクセ
・空白の有無でトークンが変わる: 「the」と「␣the」は別のトークン(実測) ・数字は途中で切れる: 「2026」→2026(実測) ・同じ内容でも、言語によって長さが最大15倍違う(論文)
トークナイザーには、いくつか、気をつけたいクセがあります。
一つ目は、空白です。自作のトークナイザーでは、theと、空白つきのtheは、別のトークンでした。
見た目は同じ語でも、モデルから見ると別物なので、評価のプログラムが、空白を付けるかどうかを間違えると、結果が変わってしまいます。
二つ目は、数字です。2026という年が、20と26に切れました。数字の計算が苦手になる一因、と言われることがあります。
三つ目は、言語による長さの差です。2023年の論文では、同じ内容を翻訳した文章でも、トークンの長さが最大で15倍違う場合があると報告されています。
(質問)長いと何が困るの?
論文は、利用料金、処理時間、そして一度に読ませられる量が、言語によって不公平になると指摘しています。
トークナイザーを使わない研究
・BLT(Meta、2024年12月): バイトを、次の予測しにくさで区切って「パッチ」にまとめる ・H-Net(2025年7月): 区切り方も、モデルと一緒に学習する ・論文では、BLTは匹敵、H-Netは上回ると報告
ここまでの話を踏まえて、トークナイザー自体をなくそう、という研究も出ています。
2024年12月に発表されたBLTは、バイトのまま読みます。次のバイトが予測しにくい場所で区切って、まとまりにします。
予測しやすい場所は長いまとまりにして、難しい場所には計算を多く使う、という考え方です。
2025年7月のH-Netは、区切り方まで、モデルと一緒に学習します。手作りのルールを使わない点が特徴です。
論文の中では、BLTはトークンを使う方式に匹敵する性能、H-Netは上回る性能になる、と報告されています。
ただし、これは論文の主張で、広く検証されて定着したわけではありません。
トークナイザーは、当たり前の前処理に見えて、実はまだ動いている研究分野なんです。
おわりに
・トークナイザー=文章を断片と番号に変える部品 ・BPE=多く隣り合う組を、順にくっつける ・クセ: 空白・数字・言語による長さの差 ・トークナイザーを使わない研究も進んでいる
まとめです。トークナイザーは、文章を、断片と番号に変える部品です。
BPEは、よく隣り合う組を順にくっつけて、分け方を作ります。意味は見ず、回数だけで決めています。
空白、数字、言語による長さの差といったクセがあり、それがAIの得意不得意に影響することがあります。
そして、トークナイザーを使わない研究も進んでいます。
語彙の大きさを変えると、小さなモデルの性能がどう変わるのかは、別の回で、実際に学習して比べる予定です。
今回は「トークナイザーのしくみ」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。