LLMの自作に挑戦 #5 2026-11-14 ・ ▶ 動画でも見られます
GPT-2の改良はBabyLMでも効く?
前回の「何語読んだら文法が身につく?」の続きです。GPT-2を自分で作った回で試した4つの改良(RoPE・RMSNorm・SwiGLU・バイアス除去)を、BabyLMの自作モデルにまとめて持ち込み、同じ条件、3本のシードで比べました。「ものの状態を追う課題」は大きく上がり、公式の基準の水準まで届きました。ただ、この課題は点のばらつきが大きいので、断定はしません。一方で、文法の本体や世界の常識の課題は、ほとんど動きませんでした。改良の効果は、課題ごとに割れる、という結果です。
解説
今回の内容
1. GPT-2の回の改良と、今日の問い 2. 試した条件 3. 結果 4. 大きく効いた課題 5. 効かなかった課題 6. 気をつけること
今回の内容です。
まず、GPT-2の回で試した改良のおさらいと、今日の問いです。次に、試した条件と、結果を見ます。
そのあと、大きく効いた課題と、効かなかった課題を分けて見て、最後に、この結果を読むときの注意点をお話しします。
GPT-2の回の改良と、今日の問い
GPT-2の回で試した、4つの改良 ・位置の表し方を替えるRoPE ・正規化を軽くするRMSNorm ・活性化関数を替えるSwiGLU ・計算の中のバイアスを除く → 最近の大きなモデル(LLaMA系)で、よく使われる組み合わせ 今日の問い: BabyLMの自作モデルでも、効く?
GPT-2を自分で作った回では、定番の改良を、1つずつ足して比べました。位置の表し方を替えるRoPE、正規化を軽くするRMSNorm、活性化関数を替えるSwiGLU、それから、バイアスを除くことです。
この4つを合わせると、最近の大きなモデルでよく見る、LLaMA系という作りになります。
ただ、あの回の実験は、とても小さい文章で、一部の改良で、学習の序盤に損失が速く下がる、という効果が見えただけでした。データが少ないと、そこで壁に当たってしまって、最終的な差は、はっきりとは見えなかったんです。
では、BabyLMという別の場面で、課題の点数に出るのか。それが、今日の問いです。
試した条件
条件 ・基準: 前回までの自作モデル(12層・768次元・約9800万) ・改良版: 4つをまとめて入れた(約9750万) ・それ以外は完全に同じ(学習データ・周回数・学習率) ・乱数シードを変えて3本ずつ学習、同じ課題で測る
条件です。基準は、これまでの自作モデルで、パラメータは約9800万。改良版は、4つの改良をまとめて入れたもので、部品を入れ替えたぶん少し減って、約9750万になります。
それ以外は、完全に同じです。学習データも、周回数も、学習率も、変えていません。
そして、基準も改良版も、乱数シードを変えて、3本ずつ学習しました。比べるのは、同じシードの組み合わせではなく、3本ずつの平均と、ばらつきです。
結果
3シードの平均
| 課題 | 基準 | 改良版 | 差 |
|---|---|---|---|
| ものの状態の追跡 | 15.76 | 25.40 | +9.64 |
| 文法の補足 | 58.87 | 60.01 | +1.14 |
| 文法(BLiMP) | 67.97 | 68.54 | +0.57 |
| 世界の常識(EWoK) | 50.53 | 50.55 | +0.02 |
| 文の理解(COMPS) | 52.49 | 52.77 | +0.28 |
| 読み時間(視線) | 7.95 | 7.89 | -0.06 |
結果です。3本の平均を、並べます。
目立つのは、ものの状態を追う課題です。基準の15.8に対して、改良版は25.4。9.6点、上がりました。
文法の補足の課題は、1.1点の上昇。文法の本体は0.6点で、どちらも、3本の乱数のばらつきと同じくらいの、小さな差です。
世界の常識、文の理解、読み時間の課題は、ほとんど動きませんでした。
つまり、4つの改良は、効く課題と、効かない課題に、割れました。
大きく効いた課題
ものの状態の追跡(3本それぞれ)
| 1本目 | 2本目 | 3本目 | |
|---|---|---|---|
| 基準 | 15.0 | 16.1 | 16.1 |
| 改良版 | 23.8 | 31.2 | 21.2 |
公式の基準: 21.1 → 改良版の最低が、基準の最高を上回った
大きく上がった、ものの状態を追う課題を、3本ずつ見てみます。
基準の3本は、15.0から16.1。改良版の3本は、21.2から31.2です。改良版の最低の点が、基準の最高の点を、上回っています。
公式の基準は21.1なので、改良版は、その水準まで届きました。前回までは、下回っていた課題です。
ただ、改良版は、3本の間の幅が広いです。21から31と、ばらつきます。平均の25.4は、目安として見てください。
効かなかった課題
ほとんど動かなかった課題 ・世界の常識(EWoK): どちらも50前後(当てずっぽう並み) ・読み時間: 基準も改良版も約8 ・文法の本体: +0.6(ばらつき並み) 追加で測った、総合の指標(GLUE) ・基準 50.5、改良版 50.2 → 差なし
逆に、動かなかった課題です。
世界の常識の課題は、改良しても50点前後で、当てずっぽう並みのままでした。このスケールでは、改良で解決する課題ではないようです。
読み時間の課題も、点数は、基準と改良版の両方で、約8でした。文法の本体も、差は小さいです。
念のため、別の総合的な指標、GLUEも測りました。基準が50.5、改良版が50.2で、どちらも1本ずつ、設定を直す前の測定ですが、差は見えませんでした。ただ、この規模では、多くのタスクで、どちらのモデルも、多い方の答えに寄ってしまいます。この指標は、あまり当てになりません。
気をつけること
この結果を読むときの注意 ・3シード・1つの条件。このスケールでの結果 ・改良版は、ものの状態の追跡でばらつきが大きい ・この課題は、同じ設定で学習し直すだけでも大きく動くことが、後で分かった → 「4つの改良の効果」と言い切らない。どれが効いたかは、次回
この結果を読むときの注意です。
3本、1つの条件です。あくまで、このスケールでの結果です。
そして、ものの状態を追う課題には、もうひとつ注意があります。あとで、同じ設定、同じ乱数シードで学習し直したところ、点数が大きく動くことが分かったんです。この課題の差は、慎重に読む必要があります。
ですから、「4つの改良の効果」と、まとめて言い切るのは、避けておきます。次回は、4つのうち、どれが効いたのかを、1つずつ切り分けて見ていきます。
おわりに
・GPT-2の4つの改良を、BabyLMの自作モデルに入れた(3シード) ・ものの状態の追跡は+9.6。公式の基準の水準に届いた ・文法・世界の常識・読み時間はほぼ動かず。課題ごとに割れた ・ばらつきが大きいので、断定はしない ・次回: 4つのうち、どれが効いた?
今回のまとめです。
GPT-2の回で試した4つの改良を、BabyLMの自作モデルに持ち込みました。ものの状態を追う課題が、約10点上がって、公式の基準の水準に届きました。ただ、この課題は同じ設定でも点が大きく動くので、断定はできません。
一方で、文法の本体や、世界の常識、読み時間の課題は、ほとんど動きませんでした。改良は、効く課題と、効かない課題に、割れました。
次回は、4つのうち、どれが効いたのかを、1つずつ足して、切り分けます。
今回は「GPT-2の改良はBabyLMでも効く?」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。
シリーズ「LLMの自作に挑戦」
- #1 LLM(の小さいやつ)を作ってみた
- #2 少ないデータで言語を学ぶ挑戦「BabyLM」
- #3 自作モデルでBabyLMに挑戦した
- #4 何語読んだら文法が身につく?
- #5 GPT-2の改良はBabyLMでも効く?(この記事)