あまやどり研究所

トップ / LLMの自作に挑戦

LLMの自作に挑戦 #3 2026-11-10 ・ ▶ 動画でも見られます

自作モデルでBabyLMに挑戦した

前回紹介した「BabyLM」の、1000万語だけで言語モデルを学ぶ部門(Strict-small)に、GPT-2と同じ作りの自作モデルで挑戦しました。公式の基準モデルを手元で測り直して土台をそろえたうえで、同じ条件でシードだけ変えて3本学習し、文法・世界の常識・読み時間など、8つほどの課題で比べた結果をお見せします。文法の課題では基準を安定して上回り、ものの状態を追う課題では下回りました。途中で「読み時間の課題がほぼ0点」になったのは、モデルではなく書き出しの設定が原因だった、という失敗の話もします。

解説

今回の内容

1. 今日の問いと、比べる基準 2. 基準を手元で測り直す 3. 自作モデルの条件 4. 結果 5. 読み時間の課題で起きた失敗 6. 気をつけること

今回の内容です。

まず、今日の問いと、比べる相手の基準を確認します。

次に、その基準を手元で測り直して、土台をそろえます。そのあと、自作モデルの条件と、結果を見ていきます。

後半では、途中で起きた測定の失敗の話と、この結果を読むときの注意点をお話しします。

今日の問いと、比べる基準

今日の問い: 一から作ったモデルで、公式の基準を超えられる? ・学習データ: 1000万語だけ(Strict-small 部門) ・基準: 公式が公開している GPT-2 型のモデル(約9840万パラメータ) ・自作: 前回の GPT-2 と同じ作り(約9800万パラメータ) ・同じ評価プログラムで、同じ課題を測って比べる

今日の問いは、とてもシンプルです。一から作ったモデルで、公式の基準を超えられるのか、です。

学習に使う文章は、前回見たとおり、1000万語だけです。

比べる相手は、BabyLMのコミュニティが公開している、GPT-2型の基準モデルです。パラメータの数は、約9840万。

こちらの自作モデルは、前回のGPT-2の回で作ったものと同じ作りで、約9800万。大きさはほぼ同じです。

評価は、公式と同じ評価プログラムを使って、同じ課題を測ります。

まず、基準を手元で測り直す

基準モデルを、手元の環境で測り直した

課題手元の値公開されている集計表(非公式)
文法(BLiMP)65.2365.08
文法の補足(supplement)57.2557.25
ものの状態の追跡21.0721.07
文の理解(COMPS)51.8151.81

→ 4つのうち3つが小数第2位まで一致。評価環境は、ほぼ再現できた

比べる前に、まず基準のモデルを、自分のパソコンで測り直しました。

理由は、評価のプログラムを手元で正しく動かせているかを、確かめるためです。違う環境で測った値と比べても、意味がありません。

(質問)それって、必要なの?

はい。これをやっておくと、あとで差が出たときに、モデルの差なのか、測り方の差なのかを、切り分けられます。

結果は、公開されている非公式の集計表と、4つの課題のうち3つが小数第2位まで一致しました。文法の課題だけが、0.15ずれましたが、これは、評価プログラムの版の違いなどが考えられます。

手元の環境は、基準を再現できている、と判断して、次に進みます。

自作モデルの条件

自作モデル: 前回の GPT-2 と同じ作り ・12層・768次元・約9800万パラメータ。文脈は 512 トークン ・語彙は、この 1000万語だけから作った(16384種類) ・10周読ませる(約1億語ぶん)。学習は1本約1時間(RTX 5060 Ti 1枚) ・学習率などの調整はしていない(前回の値のまま) ・乱数の種(シード)だけ変えて3本学習

自作モデルの条件です。作りは、前回のGPT-2の回と同じです。12層、768次元で、パラメータはおよそ9800万です。

言葉の区切り方、つまりトークナイザーは、この1000万語だけから作り直しました。外の大量の文章で作った既製のものを使うと、「少ないデータ」の条件を破ってしまうからです。

同じ文章を10周読ませて、延べで約1億語。1本の学習は、RTX 5060 Ti 1枚で、およそ1時間でした。

大事なのは、学習率などの調整を、していないことです。前回の値を、そのまま使いました。

(質問)なんで3本も学習するの?

学習には乱数が関わるので、1回だけだと、たまたま良かった、という可能性が残ります。乱数の種、つまりシードを変えて3本学習すれば、点数のばらつきがわかります。

結果

3シードの平均(基準は公式モデル1本)

課題基準自作差
文法(BLiMP)65.268.0+2.7
文法の補足57.358.9+1.6
ものの状態の追跡21.115.8−5.3
世界の常識(EWoK)50.350.5+0.3(当てずっぽう並み)
文の理解(COMPS)51.852.5+0.7

・シードのばらつき(最大−最小): 0.5〜1.6 ほど

では、結果です。3本の平均を、基準と並べます。

まず文法の課題、BLiMPは、基準の65.2に対して、自作は68.0。約3点、上回りました。

3本のばらつきは0.5点ほどなので、この差は、たまたまではなさそうです。文法の補足の課題も、58.9対57.3で、3本とも基準を上回りました。ただ、こちらは差が1.6点で、3本のばらつきと同じくらいなので、はっきりとは言えません。

一方で、ものの状態を追う課題は、基準の21.1に対して、自作は15.8。5点以上、下回りました。3本とも、基準には届いていません。

世界の常識の課題は、どちらも50点前後です。2択なので、当てずっぽうでも50点になる課題で、このスケールでは、どちらもほぼ当てずっぽうでした。

文の理解の課題は、わずかに上でしたが、差は小さく、互角と見ておきます。

勝ったところ、負けたところ

読み取り(このスケールでの結果) ・文法(BLiMP)は、安定して基準を上回った ・ものの状態の追跡は、安定して下回った ・世界の常識・文の理解・文法の補足は、互角(差がばらつきと同じくらい) ・語形の変化は、信号が弱く判断できない。読み時間は、直したあとも基準を下回った ・なぜ差が出たのかは、基準の学習条件が非公開なので分からない

まとめると、こうなります。文法の課題、BLiMPは、安定して基準を上回りました。ものの状態の追跡は、安定して下回りました。

世界の常識、文の理解、文法の補足は、差がばらつきと同じくらいで、互角、という見方です。語形の変化は、値が小さく、ぶれも大きいので、判断できません。読み時間は、あとで話す測定の不具合を直したあとも、基準を下回りました。

(質問)どうして文法だけ勝てたの?

正直に言うと、分かりません。基準のモデルは、学習率や、何周読ませたか、といった条件が公開されていないので、どの違いが効いたのかを、特定できないんです。

分かっているのは、同じ大きさ、同じ1000万語でも、トークナイザーや学習のやり方しだいで、得意不得意が変わるかもしれない、ということです。

そして、この結果は、あくまで今回のスケールでの話です。大きなモデルや、多いデータで同じことが言えるかは、別の話になります。

読み時間の課題で起きた失敗

最初に測ったら: 読み時間の課題(視線計測・自己ペース読み)がほぼ0点だった 原因を調べると: ・モデルではなく、書き出したトークナイザーの設定 ・「次の単語」を、単語の頭ではなく単語の途中のトークンとして測っていた 設定を直して、同じ重みで測り直すと: 視線計測 約1 → 約8、自己ペース読み 約0.5 → 約2.7

ここで、途中の失敗の話をします。

最初に自作モデルを測ったとき、人間の読み時間を予測する課題が、ほぼ0点でした。基準の約11に対して、大きく下回っていたんです。

当初は、モデルの能力が足りないのだと思っていました。でも、原因を調べてみると、モデルではなく、書き出したトークナイザーの設定でした。

この課題は、文脈の次に来る単語の確率を見ます。ところが自作の書き出しでは、その次の単語の最初に、空白の印が付かず、単語の頭ではなく、単語の途中の欠片として、確率を測っていました。そんな欠片は、文の続きとしては、ほとんど出てきません。

先頭に空白を足す設定に直して、学習し直さず、同じ重みで測り直すと、視線計測は約1から約8に、自己ペース読みは約0.5から約2.7になりました。それでも、基準の約11には、届いていません。

(質問)失敗したのに、結果を出し直していいの?

はい。原因を特定して、どう直したかを書いたうえで、旧い値と新しい値を両方残しています。それが、このシリーズの方針です。

気をつけること

この結果を読むときの注意 ・3シード・1つの条件・チューニングなし。このスケールでの結果 ・基準の学習条件は非公開。違いの原因は特定できていない ・学習の途中で、検証用の損失が最小になったのは約6周目。最後の10周目では少し上がった → 次回の問い: 何語読んだら、文法が身につくのか?

この結果を読むときの注意を、まとめておきます。

3本、1つの条件、調整なし。あくまで、このスケールでの結果です。調整を入れれば、点数は動くかもしれません。

そして、もうひとつ気になることがありました。学習の途中で、検証用の損失が最小になったのは、約6周目で、最後の10周目には、少し上がっていたんです。

同じ文章を読み返しすぎて、覚え込み始めている兆しかもしれません。ということは、何周、何語ぶん読めば、文法が身につくのか。

次回は、学習の途中の重みを取り出して、点数がどう立ち上がるのかを、1000万語ごとに追ってみます。

おわりに

・自作の GPT-2 型で、BabyLM Strict-small に挑戦(3シード) ・文法は基準を安定して上回り、ものの状態の追跡は下回った ・読み時間の課題がほぼ0点だったのは、書き出し設定の失敗。直して測り直した ・結果は「このスケールでの結果」。調整はしていない ・次回: 何語読んだら、文法が身につく?

今回のまとめです。

自作のGPT-2型のモデルで、BabyLMの1000万語の部門に挑戦しました。文法の課題は、基準を安定して上回り、ものの状態を追う課題は、下回りました。

読み時間の課題がほぼ0点だったのは、モデルではなく、書き出しの設定のせいでした。直して、測り直しています。

次回は、何語読んだら文法が身につくのか、学習の途中の重みで追ってみます。

今回は「自作モデルでBabyLMに挑戦した」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「LLMの自作に挑戦」