あまやどり研究所

トップ

2026-11-09 ・ ▶ 動画でも見られます

トークナイザーのしくみ

ChatGPTのようなAIは、文章を「トークン」という断片に分けてから読んでいます。この分け方を決める部品が、トークナイザーです。

文字でも単語でもない分け方になった理由、BPEという分け方のアルゴリズム、日本語や数字で起きるクセ、そしてトークナイザーを使わない最近の研究までを、雨衣が解説します。

プログラミングの経験がなくても分かるように話しています。

解説

今回の内容

1. トークナイザーってなに? 2. 文字でも単語でもない分け方 3. BPEのしくみ 4. 実際の分かれ方 5. 日本語や数字のクセ 6. トークナイザーを使わない研究

今回の内容です。

まず、トークナイザーの役割と、文字でも単語でもない分け方になった理由を確認します。

そのあと、代表的な作り方のBPEを実際に動かして、日本語や数字で起きるクセを見ます。最後に、トークナイザーをなくそうという研究も紹介します。

トークナイザーってなに?

文章 → トークン(断片) → 番号(ID) → モデル 例: The cat sat. → The␣cat␣sat. → 4 つの番号 ・モデルが読むのは、文字ではなく番号の並び ・分け方は、モデルとは別に、文章から先に作っておく

AIのモデルが直接扱えるのは、数字だけです。

そこでまず、文章を断片に分けて、断片ごとに番号を振ります。この断片をトークン、番号をIDと呼びます。

分け方と番号の表を決めるのが、トークナイザーです。モデルが読むのは、この番号の並びだけです。

大事なのは、トークナイザーが、モデルの学習より前に、文章だけから作られることです。

一度決めたら、学習でも使うときでも、同じものを使い続けます。

(質問)単語ごとに分ければいいのでは?

実は、それにも問題があります。次のスライドで見てみましょう。

文字でも単語でもない分け方

分け方長所短所
文字ごと語彙が小さい。知らない語もOK列が長くなる
単語ごと列が短い語彙が巨大。知らない語は「不明」
サブワード中間分け方を、モデルの学習より前に文章から作る

・サブワード=単語より小さく、文字より大きい断片

単語ごとに分けると、列は短く済みます。

ところが、love、loved、lovingのように、変化した形ごとに別の項目が要るので、語彙の表が巨大になります。

表にない語は、不明という印で置き換えるしかなく、新しい語を読めません。

逆に、文字ごとに分けると、語彙は小さくなり、知らない語でも表せます。ただし、列がとても長くなって、一つ一つの意味も薄くなります。

そこで主流になったのが、サブワードです。よく出る語は一つの断片に、まれな語は小さな断片に分けます。

Hugging Faceの公式ドキュメントも、サブワードは、語彙を小さく保ちながら、知らない語を既知の断片で表せる、と説明しています。

BPEのしくみ

練習用の4語(出てくる回数): low(5)・lowest(3)・newest(6)・widest(2)

回くっつける2つ回数結果の例
1s + t11newest → n-e-w-e-st
2e + st11newest → n-e-w-est
3w + est9newest → n-e-west
4l + o8low → lo-w

・これを、決めた語彙の大きさまで繰り返す

代表的な作り方が、BPE、バイト・ペア・エンコーディングです。

最初は、全部を文字に分けた状態から始めます。

そして、文章の中で、いちばん多く隣り合っている2つの断片を探して、一つにくっつけます。

画面は、4つの単語だけの小さな練習です。一回目は、sとtが11回隣り合っているので、stになります。eとsも同じ11回で並びますが、同点のときは、先にsとtを選ぶことにしています。

次は、eとstが11回で、estです。三回目は、wとestが9回で、westになります。

newestのnewとestの境目をまたいで、westがくっつきますよね。BPEは意味を見ていなくて、回数だけで決めているんです。

これを、決めておいた語彙の大きさになるまで繰り返します。くっつけた順番が、そのまま分け方のルールになります。

BPEは2015年に、機械翻訳で、まれな語を小さな断片で表すために使われました。

実際の分かれ方

自作のトークナイザー(英語の約1,000万語で学習、語彙16,384)での実測

文字列トークン数分かれ方
The cat sat on the mat.7The ␣cat ␣sat ␣on ␣the ␣mat .
unbelievably3un / believ / ably
tokenization3to / ken / ization

・よく出る語は1つ、まれな語は複数に分かれる

では、実際に分けてみましょう。画面は、英語の文章約1000万語で作った、語彙16384個のトークナイザーでの結果です。

短くてよく出る文では、よく出る単語は、一つのトークンになります。空白は、次の語の頭にくっついています。

unbelievablyは、un、believ、ablyの3つに分かれました。

tokenizationが、to、ken、izationなのも、おもしろいですよね。人が分ける形と、少し違います。

ただ、よく出る語ほど一つにまとまって、まれな語ほど細かくなる、という傾向は見えます。

バイト単位のBPEと、日本語

GPT-2の語彙=50,257 ・256(バイト)+50,000(くっつけた回数)+1(文章の区切り) 自作トークナイザーで「猫がかわいい」(6文字)→18トークン ・英語の文章で作ったので、日本語は1文字が3バイトに分かれた

今のAIでよく使われるのは、バイト単位のBPEです。

文字ではなく、コンピューターの中の1バイトから始めます。バイトは256種類しかなく、世の中のどんな文字も、必ず表せます。

不明という印が、要らなくなるわけです。GPT-2は、256個のバイトに、50000回くっつけてできた断片と、区切りの記号を足した、50257個の語彙です。

(質問)日本語はどうなるの?

英語の文章だけで作った自作のトークナイザーで、猫がかわいい、という6文字を分けてみました。

結果は18トークン。日本語の1文字が、3つのバイトに分かれたためです。

実際のAIは、日本語も含めて作っているので、ここまでは悪くなりません。ただ、言語ごとに長さが違うのは、実際に問題になっています。

ほかの方式

方式・道具考え方例
BPE多い組を順にくっつけるGPT系・Llama系
WordPieceくっつけたら「らしさ」が上がる組を選ぶBERT系
Unigram多めの候補から、要らないものを削るT5系
SentencePiece空白で区切らず、生の文章から作る道具日本語にも使える

BPEのほかにも、いくつか方式があります。

WordPieceは、BERTという系統のモデルで使われています。BPEと似ていますが、単純な回数ではなく、くっつけることでどれだけ自然な分かれ方になるか、で選びます。

Unigramは、逆向きです。たくさんの候補から始めて、なくても困らないものを削っていきます。

同じ語でも、いくつかの分け方が考えられるので、学習のときに分け方を変えて、モデルを頑丈にする使い方もあります。

SentencePieceは、方式ではなく道具です。空白で単語を区切る前提を置かず、生の文章から直接作れるので、日本語や中国語にも使えます。

日本語や数字のクセ

・空白の有無でトークンが変わる: 「the」と「␣the」は別のトークン(実測) ・数字は途中で切れる: 「2026」→2026(実測) ・同じ内容でも、言語によって長さが最大15倍違う(論文)

トークナイザーには、いくつか、気をつけたいクセがあります。

一つ目は、空白です。自作のトークナイザーでは、theと、空白つきのtheは、別のトークンでした。

見た目は同じ語でも、モデルから見ると別物なので、評価のプログラムが、空白を付けるかどうかを間違えると、結果が変わってしまいます。

二つ目は、数字です。2026という年が、20と26に切れました。数字の計算が苦手になる一因、と言われることがあります。

三つ目は、言語による長さの差です。2023年の論文では、同じ内容を翻訳した文章でも、トークンの長さが最大で15倍違う場合があると報告されています。

(質問)長いと何が困るの?

論文は、利用料金、処理時間、そして一度に読ませられる量が、言語によって不公平になると指摘しています。

トークナイザーを使わない研究

・BLT(Meta、2024年12月): バイトを、次の予測しにくさで区切って「パッチ」にまとめる ・H-Net(2025年7月): 区切り方も、モデルと一緒に学習する ・論文では、BLTは匹敵、H-Netは上回ると報告

ここまでの話を踏まえて、トークナイザー自体をなくそう、という研究も出ています。

2024年12月に発表されたBLTは、バイトのまま読みます。次のバイトが予測しにくい場所で区切って、まとまりにします。

予測しやすい場所は長いまとまりにして、難しい場所には計算を多く使う、という考え方です。

2025年7月のH-Netは、区切り方まで、モデルと一緒に学習します。手作りのルールを使わない点が特徴です。

論文の中では、BLTはトークンを使う方式に匹敵する性能、H-Netは上回る性能になる、と報告されています。

ただし、これは論文の主張で、広く検証されて定着したわけではありません。

トークナイザーは、当たり前の前処理に見えて、実はまだ動いている研究分野なんです。

おわりに

・トークナイザー=文章を断片と番号に変える部品 ・BPE=多く隣り合う組を、順にくっつける ・クセ: 空白・数字・言語による長さの差 ・トークナイザーを使わない研究も進んでいる

まとめです。トークナイザーは、文章を、断片と番号に変える部品です。

BPEは、よく隣り合う組を順にくっつけて、分け方を作ります。意味は見ず、回数だけで決めています。

空白、数字、言語による長さの差といったクセがあり、それがAIの得意不得意に影響することがあります。

そして、トークナイザーを使わない研究も進んでいます。

語彙の大きさを変えると、小さなモデルの性能がどう変わるのかは、別の回で、実際に学習して比べる予定です。

今回は「トークナイザーのしくみ」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗