あまやどり研究所

トップ / LLMの自作に挑戦

LLMの自作に挑戦 #4 2026-11-12 ・ ▶ 動画でも見られます

何語読んだら文法が身につく?

前回の「自作モデルでBabyLMに挑戦した」の続きです。自作モデルの学習の途中の重みを、1000万語ぶん読むごとに取り出して、同じ課題で測り直しました。文法の課題は、読み始めて数周で一気に立ち上がり、5000万語あたりで頭打ちになります。一方で、世界の常識や、ものの状態を追う課題は、読む量を増やしても、ほとんど動きませんでした。「どこまで読ませれば十分か」を、実測の曲線で見ていきます。

解説

今回の内容

1. 前回の宿題と、今日の問い 2. 途中の重みを取り出して測る 3. 文法の立ち上がり 4. ほかの課題は? 5. 早く止めたらどうなる? 6. 気をつけること

今回の内容です。

まず、前回の宿題と、今日の問いを確認します。次に、学習の途中の重みを取り出して、測る方法を説明します。

そのあと、文法の課題がどう立ち上がるか、ほかの課題はどうか、早く学習を止めたらどうなるか、を見ていきます。最後に、この結果を読むときの注意点です。

前回の宿題と、今日の問い

前回の気づき ・検証用の損失が最小になったのは約6周目。10周目では少し上がった ・同じ文章を読み返しすぎて、覚え込み始めた兆し? 今日の問い ・何語読んだら、文法が身につくのか ・読む量を増やすと、ほかの課題も伸びるのか

前回の最後に、気になることがありました。学習の途中で、検証用の損失が最小になったのは、約6周目で、10周目には少し上がっていたんです。

同じ文章を読み返しすぎて、覚え込み始めている兆しかもしれません。ということは、10周も読ませなくても、よかったのでしょうか。

そこで、今日の問いは、2つです。何語読んだら、文法が身につくのか。そして、読む量を増やせば、ほかの課題も伸びるのか、です。

途中の重みを取り出して測る

やったこと ・学習の途中で、1000万語ぶん(約1周)読むごとに、重みを保存しておいた ・保存した10点を、最後の重みと同じ課題で測り直した ・乱数の種(シード)は2本 ・1周=約1000万語。10周で延べ約1億語

方法は、単純です。学習している間に、1000万語ぶん読むごとに、重みを保存しておきました。

1周が約1000万語なので、10周で約1億語です。つまり、保存した重みは、1000万語、2000万語、と、10点になります。

これらを、最後の重みと同じ課題で、測り直します。乱数シードは、2本ぶんです。

(質問)3本じゃなくて、2本なの?

はい。1本目は、途中の重みを保存する仕組みを入れる前に学習してしまったので、途中の点がありません。2本だけなので、細かい差は断定せず、傾向を見ていきます。

文法の立ち上がり

文法(BLiMP)の点数(2本の平均)

読んだ量点数
1000万語(1周)58.4
2000万語62.9
3000万語65.2
4000万語67.5
5000万語68.9
1億語(10周)68.8

公式の基準: 65.23

まず、文法の課題、BLiMPです。2本の平均を、並べました。

1000万語、つまり1周読んだ時点で、約58。ここから、2000万語で約63、3000万語で約65と、一気に上がります。

公式の基準の65.2に並ぶのは、だいたい3000万語のあたりです。4000万語では、上回りました。ただ、この点数は、あとで話す、書き出し設定のミスを直す前の値で、少し高めに出ています。基準に並ぶ位置は、もう少し後ろにずれるかもしれません。

ところが、5000万語で約69に着いたあとは、ほとんど動きません。残りの5000万語を読んでも、点数は、ほぼ平らです。

2本とも、同じ形でした。文法は、読み始めの数周で、ほぼ身につくようです。

ほかの課題は?

1周目 → 10周目(2本の平均)

課題1周10周動き
文法の補足54.959.4少し遅れて上がり、5〜6周で横ばい
世界の常識(EWoK)49.750.5ずっと50前後
文の理解(COMPS)50.952.4ほぼ横ばい
ものの状態の追跡17.515.3上がらない(13〜25でばらつく)

ほかの課題も、見てみます。

文法の補足の課題は、少し遅れて上がり、5周か6周で、約59に着いて横ばいになります。文法の仲間は、前半で立ち上がる、という形です。

一方、世界の常識の課題は、最初から最後まで、50前後でした。2択の課題なので、当てずっぽうの水準のまま、動きません。

文の理解は、1周目の50.9から、10周目でも52.4と、2択の課題なので、当てずっぽうに近い値のまま、ほぼ横ばいです。ものの状態の追跡も、13から25の間でばらつくだけで、読む量との関係は、判断できません。

文法は、前半の量で伸びて、頭打ちになる。意味や知識は、この量では、動かない。そういう違いが見えます。

早く止めたらどうなる?

6周目で止めた重み vs 最後(10周)の重み ・検証用の損失は、6周目が最小 ・でも、課題の点数はほぼ同じ 文法 68.7 / 68.8、補足 59.5 / 59.4 → 点数に出るほどの覚え込みは見えない

では、損失が最小の6周目で、学習を止めていたら、どうなったでしょうか。

6周目の重みと、最後の10周目の重みで、課題の点数を比べると、文法は68.7対68.8、文法の補足は59.5対59.4で、ほぼ同じでした。

損失は上がっていたのに、点数は、変わっていません。覚え込みが起きていたとしても、損失には出て、文法の課題の点数には、出ていないようです。

(質問)じゃあ、10周読ませた意味はなかったの?

点数だけ見れば、6周で足りました。ただ、これは2本の結果で、この課題と、このモデルでの話です。止める時期を決めるときは、損失だけでなく、課題の点数も、見ておくのがよさそうです。

気をつけること

この結果を読むときの注意 ・2シード。このスケールでの結果 ・点数は、書き出し設定を直す前の値(直した後は0.4〜1.6 低め)。順位や形は変わらない ・読み時間の課題は、この回では使っていない ・ものの状態の追跡は、同じ設定で学習し直しても大きく動く

この結果を読むときの注意を、まとめます。

まず、シードは2本です。3本の平均ではないので、小さな差は、読み取らないでください。

次に、この回の点数は、前回の最後に話した、書き出し設定のミスを直す前の値です。直したあとの値は、文法で0.4から1.6ほど低くなりますが、立ち上がりの形は変わりません。読み時間の課題は、直す前の値が使えないので、この回では扱いません。

それから、ものの状態の追跡は、同じ設定、同じ乱数シードで学習し直しても、点数が大きく動くことが、あとで分かりました。この課題の点は、傾向の根拠にしないほうが、安全です。

おわりに

・文法は、前半の5000万語までで立ち上がり、以降は頭打ち ・世界の常識は、読む量を増やしても動かない。状態の追跡は判断できない ・6周で止めても、点数は10周とほぼ同じ ・2シード。このスケールでの結果 ・次回: GPT-2の改良は、BabyLMでも効く?

今回のまとめです。

文法の課題は、前半の5000万語までで立ち上がって、そのあとは頭打ちでした。世界の常識は、読む量を増やしても、動きませんでした。ものの状態の追跡は、ばらつきが大きく、判断できません。

ということは、世界の常識の課題は、同じ文章を読み返す量だけでは、変わりにくそうです。モデルの作りや、データ、学習のやり方を変える手が、残っています。

次回は、GPT-2の回で試した改良を、このモデルに持ち込んで、BabyLMでも効くのかを確かめます。

今回は「何語読んだら文法が身につく?」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「LLMの自作に挑戦」