LLMの自作に挑戦 #3 2026-11-10 ・ ▶ 動画でも見られます
自作モデルでBabyLMに挑戦した
前回紹介した「BabyLM」の、1000万語だけで言語モデルを学ぶ部門(Strict-small)に、GPT-2と同じ作りの自作モデルで挑戦しました。公式の基準モデルを手元で測り直して土台をそろえたうえで、同じ条件でシードだけ変えて3本学習し、文法・世界の常識・読み時間など、8つほどの課題で比べた結果をお見せします。文法の課題では基準を安定して上回り、ものの状態を追う課題では下回りました。途中で「読み時間の課題がほぼ0点」になったのは、モデルではなく書き出しの設定が原因だった、という失敗の話もします。
解説
今回の内容
1. 今日の問いと、比べる基準 2. 基準を手元で測り直す 3. 自作モデルの条件 4. 結果 5. 読み時間の課題で起きた失敗 6. 気をつけること
今回の内容です。
まず、今日の問いと、比べる相手の基準を確認します。
次に、その基準を手元で測り直して、土台をそろえます。そのあと、自作モデルの条件と、結果を見ていきます。
後半では、途中で起きた測定の失敗の話と、この結果を読むときの注意点をお話しします。
今日の問いと、比べる基準
今日の問い: 一から作ったモデルで、公式の基準を超えられる? ・学習データ: 1000万語だけ(Strict-small 部門) ・基準: 公式が公開している GPT-2 型のモデル(約9840万パラメータ) ・自作: 前回の GPT-2 と同じ作り(約9800万パラメータ) ・同じ評価プログラムで、同じ課題を測って比べる
今日の問いは、とてもシンプルです。一から作ったモデルで、公式の基準を超えられるのか、です。
学習に使う文章は、前回見たとおり、1000万語だけです。
比べる相手は、BabyLMのコミュニティが公開している、GPT-2型の基準モデルです。パラメータの数は、約9840万。
こちらの自作モデルは、前回のGPT-2の回で作ったものと同じ作りで、約9800万。大きさはほぼ同じです。
評価は、公式と同じ評価プログラムを使って、同じ課題を測ります。
まず、基準を手元で測り直す
基準モデルを、手元の環境で測り直した
| 課題 | 手元の値 | 公開されている集計表(非公式) |
|---|---|---|
| 文法(BLiMP) | 65.23 | 65.08 |
| 文法の補足(supplement) | 57.25 | 57.25 |
| ものの状態の追跡 | 21.07 | 21.07 |
| 文の理解(COMPS) | 51.81 | 51.81 |
→ 4つのうち3つが小数第2位まで一致。評価環境は、ほぼ再現できた
比べる前に、まず基準のモデルを、自分のパソコンで測り直しました。
理由は、評価のプログラムを手元で正しく動かせているかを、確かめるためです。違う環境で測った値と比べても、意味がありません。
(質問)それって、必要なの?
はい。これをやっておくと、あとで差が出たときに、モデルの差なのか、測り方の差なのかを、切り分けられます。
結果は、公開されている非公式の集計表と、4つの課題のうち3つが小数第2位まで一致しました。文法の課題だけが、0.15ずれましたが、これは、評価プログラムの版の違いなどが考えられます。
手元の環境は、基準を再現できている、と判断して、次に進みます。
自作モデルの条件
自作モデル: 前回の GPT-2 と同じ作り ・12層・768次元・約9800万パラメータ。文脈は 512 トークン ・語彙は、この 1000万語だけから作った(16384種類) ・10周読ませる(約1億語ぶん)。学習は1本約1時間(RTX 5060 Ti 1枚) ・学習率などの調整はしていない(前回の値のまま) ・乱数の種(シード)だけ変えて3本学習
自作モデルの条件です。作りは、前回のGPT-2の回と同じです。12層、768次元で、パラメータはおよそ9800万です。
言葉の区切り方、つまりトークナイザーは、この1000万語だけから作り直しました。外の大量の文章で作った既製のものを使うと、「少ないデータ」の条件を破ってしまうからです。
同じ文章を10周読ませて、延べで約1億語。1本の学習は、RTX 5060 Ti 1枚で、およそ1時間でした。
大事なのは、学習率などの調整を、していないことです。前回の値を、そのまま使いました。
(質問)なんで3本も学習するの?
学習には乱数が関わるので、1回だけだと、たまたま良かった、という可能性が残ります。乱数の種、つまりシードを変えて3本学習すれば、点数のばらつきがわかります。
結果
3シードの平均(基準は公式モデル1本)
| 課題 | 基準 | 自作 | 差 |
|---|---|---|---|
| 文法(BLiMP) | 65.2 | 68.0 | +2.7 |
| 文法の補足 | 57.3 | 58.9 | +1.6 |
| ものの状態の追跡 | 21.1 | 15.8 | −5.3 |
| 世界の常識(EWoK) | 50.3 | 50.5 | +0.3(当てずっぽう並み) |
| 文の理解(COMPS) | 51.8 | 52.5 | +0.7 |
・シードのばらつき(最大−最小): 0.5〜1.6 ほど
では、結果です。3本の平均を、基準と並べます。
まず文法の課題、BLiMPは、基準の65.2に対して、自作は68.0。約3点、上回りました。
3本のばらつきは0.5点ほどなので、この差は、たまたまではなさそうです。文法の補足の課題も、58.9対57.3で、3本とも基準を上回りました。ただ、こちらは差が1.6点で、3本のばらつきと同じくらいなので、はっきりとは言えません。
一方で、ものの状態を追う課題は、基準の21.1に対して、自作は15.8。5点以上、下回りました。3本とも、基準には届いていません。
世界の常識の課題は、どちらも50点前後です。2択なので、当てずっぽうでも50点になる課題で、このスケールでは、どちらもほぼ当てずっぽうでした。
文の理解の課題は、わずかに上でしたが、差は小さく、互角と見ておきます。
勝ったところ、負けたところ
読み取り(このスケールでの結果) ・文法(BLiMP)は、安定して基準を上回った ・ものの状態の追跡は、安定して下回った ・世界の常識・文の理解・文法の補足は、互角(差がばらつきと同じくらい) ・語形の変化は、信号が弱く判断できない。読み時間は、直したあとも基準を下回った ・なぜ差が出たのかは、基準の学習条件が非公開なので分からない
まとめると、こうなります。文法の課題、BLiMPは、安定して基準を上回りました。ものの状態の追跡は、安定して下回りました。
世界の常識、文の理解、文法の補足は、差がばらつきと同じくらいで、互角、という見方です。語形の変化は、値が小さく、ぶれも大きいので、判断できません。読み時間は、あとで話す測定の不具合を直したあとも、基準を下回りました。
(質問)どうして文法だけ勝てたの?
正直に言うと、分かりません。基準のモデルは、学習率や、何周読ませたか、といった条件が公開されていないので、どの違いが効いたのかを、特定できないんです。
分かっているのは、同じ大きさ、同じ1000万語でも、トークナイザーや学習のやり方しだいで、得意不得意が変わるかもしれない、ということです。
そして、この結果は、あくまで今回のスケールでの話です。大きなモデルや、多いデータで同じことが言えるかは、別の話になります。
読み時間の課題で起きた失敗
最初に測ったら: 読み時間の課題(視線計測・自己ペース読み)がほぼ0点だった 原因を調べると: ・モデルではなく、書き出したトークナイザーの設定 ・「次の単語」を、単語の頭ではなく単語の途中のトークンとして測っていた 設定を直して、同じ重みで測り直すと: 視線計測 約1 → 約8、自己ペース読み 約0.5 → 約2.7
ここで、途中の失敗の話をします。
最初に自作モデルを測ったとき、人間の読み時間を予測する課題が、ほぼ0点でした。基準の約11に対して、大きく下回っていたんです。
当初は、モデルの能力が足りないのだと思っていました。でも、原因を調べてみると、モデルではなく、書き出したトークナイザーの設定でした。
この課題は、文脈の次に来る単語の確率を見ます。ところが自作の書き出しでは、その次の単語の最初に、空白の印が付かず、単語の頭ではなく、単語の途中の欠片として、確率を測っていました。そんな欠片は、文の続きとしては、ほとんど出てきません。
先頭に空白を足す設定に直して、学習し直さず、同じ重みで測り直すと、視線計測は約1から約8に、自己ペース読みは約0.5から約2.7になりました。それでも、基準の約11には、届いていません。
(質問)失敗したのに、結果を出し直していいの?
はい。原因を特定して、どう直したかを書いたうえで、旧い値と新しい値を両方残しています。それが、このシリーズの方針です。
気をつけること
この結果を読むときの注意 ・3シード・1つの条件・チューニングなし。このスケールでの結果 ・基準の学習条件は非公開。違いの原因は特定できていない ・学習の途中で、検証用の損失が最小になったのは約6周目。最後の10周目では少し上がった → 次回の問い: 何語読んだら、文法が身につくのか?
この結果を読むときの注意を、まとめておきます。
3本、1つの条件、調整なし。あくまで、このスケールでの結果です。調整を入れれば、点数は動くかもしれません。
そして、もうひとつ気になることがありました。学習の途中で、検証用の損失が最小になったのは、約6周目で、最後の10周目には、少し上がっていたんです。
同じ文章を読み返しすぎて、覚え込み始めている兆しかもしれません。ということは、何周、何語ぶん読めば、文法が身につくのか。
次回は、学習の途中の重みを取り出して、点数がどう立ち上がるのかを、1000万語ごとに追ってみます。
おわりに
・自作の GPT-2 型で、BabyLM Strict-small に挑戦(3シード) ・文法は基準を安定して上回り、ものの状態の追跡は下回った ・読み時間の課題がほぼ0点だったのは、書き出し設定の失敗。直して測り直した ・結果は「このスケールでの結果」。調整はしていない ・次回: 何語読んだら、文法が身につく?
今回のまとめです。
自作のGPT-2型のモデルで、BabyLMの1000万語の部門に挑戦しました。文法の課題は、基準を安定して上回り、ものの状態を追う課題は、下回りました。
読み時間の課題がほぼ0点だったのは、モデルではなく、書き出しの設定のせいでした。直して、測り直しています。
次回は、何語読んだら文法が身につくのか、学習の途中の重みで追ってみます。
今回は「自作モデルでBabyLMに挑戦した」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。
シリーズ「LLMの自作に挑戦」
- #1 LLM(の小さいやつ)を作ってみた
- #2 少ないデータで言語を学ぶ挑戦「BabyLM」
- #3 自作モデルでBabyLMに挑戦した(この記事)
- #4 何語読んだら文法が身につく?
- #5 GPT-2の改良はBabyLMでも効く?