あまやどり研究所

トップ / LLMの自作に挑戦

LLMの自作に挑戦 #5 2026-11-14 ・ ▶ 動画でも見られます

GPT-2の改良はBabyLMでも効く?

前回の「何語読んだら文法が身につく?」の続きです。GPT-2を自分で作った回で試した4つの改良(RoPE・RMSNorm・SwiGLU・バイアス除去)を、BabyLMの自作モデルにまとめて持ち込み、同じ条件、3本のシードで比べました。「ものの状態を追う課題」は大きく上がり、公式の基準の水準まで届きました。ただ、この課題は点のばらつきが大きいので、断定はしません。一方で、文法の本体や世界の常識の課題は、ほとんど動きませんでした。改良の効果は、課題ごとに割れる、という結果です。

解説

今回の内容

1. GPT-2の回の改良と、今日の問い 2. 試した条件 3. 結果 4. 大きく効いた課題 5. 効かなかった課題 6. 気をつけること

今回の内容です。

まず、GPT-2の回で試した改良のおさらいと、今日の問いです。次に、試した条件と、結果を見ます。

そのあと、大きく効いた課題と、効かなかった課題を分けて見て、最後に、この結果を読むときの注意点をお話しします。

GPT-2の回の改良と、今日の問い

GPT-2の回で試した、4つの改良 ・位置の表し方を替えるRoPE ・正規化を軽くするRMSNorm ・活性化関数を替えるSwiGLU ・計算の中のバイアスを除く → 最近の大きなモデル(LLaMA系)で、よく使われる組み合わせ 今日の問い: BabyLMの自作モデルでも、効く?

GPT-2を自分で作った回では、定番の改良を、1つずつ足して比べました。位置の表し方を替えるRoPE、正規化を軽くするRMSNorm、活性化関数を替えるSwiGLU、それから、バイアスを除くことです。

この4つを合わせると、最近の大きなモデルでよく見る、LLaMA系という作りになります。

ただ、あの回の実験は、とても小さい文章で、一部の改良で、学習の序盤に損失が速く下がる、という効果が見えただけでした。データが少ないと、そこで壁に当たってしまって、最終的な差は、はっきりとは見えなかったんです。

では、BabyLMという別の場面で、課題の点数に出るのか。それが、今日の問いです。

試した条件

条件 ・基準: 前回までの自作モデル(12層・768次元・約9800万) ・改良版: 4つをまとめて入れた(約9750万) ・それ以外は完全に同じ(学習データ・周回数・学習率) ・乱数シードを変えて3本ずつ学習、同じ課題で測る

条件です。基準は、これまでの自作モデルで、パラメータは約9800万。改良版は、4つの改良をまとめて入れたもので、部品を入れ替えたぶん少し減って、約9750万になります。

それ以外は、完全に同じです。学習データも、周回数も、学習率も、変えていません。

そして、基準も改良版も、乱数シードを変えて、3本ずつ学習しました。比べるのは、同じシードの組み合わせではなく、3本ずつの平均と、ばらつきです。

結果

3シードの平均

課題基準改良版差
ものの状態の追跡15.7625.40+9.64
文法の補足58.8760.01+1.14
文法(BLiMP)67.9768.54+0.57
世界の常識(EWoK)50.5350.55+0.02
文の理解(COMPS)52.4952.77+0.28
読み時間(視線)7.957.89-0.06

結果です。3本の平均を、並べます。

目立つのは、ものの状態を追う課題です。基準の15.8に対して、改良版は25.4。9.6点、上がりました。

文法の補足の課題は、1.1点の上昇。文法の本体は0.6点で、どちらも、3本の乱数のばらつきと同じくらいの、小さな差です。

世界の常識、文の理解、読み時間の課題は、ほとんど動きませんでした。

つまり、4つの改良は、効く課題と、効かない課題に、割れました。

大きく効いた課題

ものの状態の追跡(3本それぞれ)

1本目2本目3本目
基準15.016.116.1
改良版23.831.221.2

公式の基準: 21.1 → 改良版の最低が、基準の最高を上回った

大きく上がった、ものの状態を追う課題を、3本ずつ見てみます。

基準の3本は、15.0から16.1。改良版の3本は、21.2から31.2です。改良版の最低の点が、基準の最高の点を、上回っています。

公式の基準は21.1なので、改良版は、その水準まで届きました。前回までは、下回っていた課題です。

ただ、改良版は、3本の間の幅が広いです。21から31と、ばらつきます。平均の25.4は、目安として見てください。

効かなかった課題

ほとんど動かなかった課題 ・世界の常識(EWoK): どちらも50前後(当てずっぽう並み) ・読み時間: 基準も改良版も約8 ・文法の本体: +0.6(ばらつき並み) 追加で測った、総合の指標(GLUE) ・基準 50.5、改良版 50.2 → 差なし

逆に、動かなかった課題です。

世界の常識の課題は、改良しても50点前後で、当てずっぽう並みのままでした。このスケールでは、改良で解決する課題ではないようです。

読み時間の課題も、点数は、基準と改良版の両方で、約8でした。文法の本体も、差は小さいです。

念のため、別の総合的な指標、GLUEも測りました。基準が50.5、改良版が50.2で、どちらも1本ずつ、設定を直す前の測定ですが、差は見えませんでした。ただ、この規模では、多くのタスクで、どちらのモデルも、多い方の答えに寄ってしまいます。この指標は、あまり当てになりません。

気をつけること

この結果を読むときの注意 ・3シード・1つの条件。このスケールでの結果 ・改良版は、ものの状態の追跡でばらつきが大きい ・この課題は、同じ設定で学習し直すだけでも大きく動くことが、後で分かった → 「4つの改良の効果」と言い切らない。どれが効いたかは、次回

この結果を読むときの注意です。

3本、1つの条件です。あくまで、このスケールでの結果です。

そして、ものの状態を追う課題には、もうひとつ注意があります。あとで、同じ設定、同じ乱数シードで学習し直したところ、点数が大きく動くことが分かったんです。この課題の差は、慎重に読む必要があります。

ですから、「4つの改良の効果」と、まとめて言い切るのは、避けておきます。次回は、4つのうち、どれが効いたのかを、1つずつ切り分けて見ていきます。

おわりに

・GPT-2の4つの改良を、BabyLMの自作モデルに入れた(3シード) ・ものの状態の追跡は+9.6。公式の基準の水準に届いた ・文法・世界の常識・読み時間はほぼ動かず。課題ごとに割れた ・ばらつきが大きいので、断定はしない ・次回: 4つのうち、どれが効いた?

今回のまとめです。

GPT-2の回で試した4つの改良を、BabyLMの自作モデルに持ち込みました。ものの状態を追う課題が、約10点上がって、公式の基準の水準に届きました。ただ、この課題は同じ設定でも点が大きく動くので、断定はできません。

一方で、文法の本体や、世界の常識、読み時間の課題は、ほとんど動きませんでした。改良は、効く課題と、効かない課題に、割れました。

次回は、4つのうち、どれが効いたのかを、1つずつ足して、切り分けます。

今回は「GPT-2の改良はBabyLMでも効く?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「LLMの自作に挑戦」