LLMの自作に挑戦 #1 2026-11-05 ・ ▶ 動画でも見られます
LLM(の小さいやつ)を作ってみた
GPT-2と同じ型の小さな言語モデルを、ゼロから学習して、定番の改良(RoPE・RMSNorm・SwiGLU・バイアス除去)が本当に効くのかを比べてみました。
同じ量の文章で比べると、どの規模でも改良した方が良くなりました。ところが、同じ計算時間で比べると、結論が変わる場面もありました。
結果は、TinyStoriesという物語データで、約430万〜1億2400万パラメータの範囲を試した、このスケールでの話です。プログラミングの経験がなくても分かるように話しています。
解説
今回の内容
1. 何を比べたのか 2. 比べ方 3. 同じ量で比べると 4. 同じ時間で比べると 5. 長く学習すると・大きくすると
今回の内容です。
まず、何を比べたのかと、その比べ方を確認します。
そのあと、同じ量の文章で比べた結果と、同じ計算時間で比べた結果を見ていきます。
最後に、学習を長くしたり、モデルを大きくしたりしたときの様子と、この結果から言えることを整理します。
何を比べたのか
基準: GPT-2型 改良の4つ ・RoPE: 位置を「回転」で表す ・RMSNorm: 数字をそろえる処理を簡単にする ・SwiGLU: 「どれだけ通すか」の門をつける ・バイアス除去: 足し算の定数項を外す
GPT-2は、文章の続きを予想する言語モデルです。一番小さいもので、パラメータは約1億2400万個あります。
たとえばLLaMAというモデルは、標準的なトランスフォーマーに、これから紹介する3つの改良を入れて作られています。
今回比べたのは、その3つに、バイアスを外すことを加えた、4つです。
1つ目のRoPEは、単語の位置を、数字を足すのではなく、ベクトルを回転させて表す方法です。
2つ目のRMSNormは、数字の大きさをそろえる処理から、平均を引く手順を省いて、簡単にしたものです。
3つ目のSwiGLUは、計算の層に、どれだけ通すかを決める門をつけたものです。
4つ目は、足し算の定数項、バイアスを外すことです。
(質問)部品を替えるだけで変わるの?
変わるのか、変わるならどのくらいなのかを、同じ条件で確かめたのが、今回の実験です。
比べ方
・データ: TinyStories(短い物語) ・規模: 約430万〜1億2400万パラメータの5段階 ・同じ順番のデータ、同じ評価用データ ・シードを変えて、2〜3回ずつ学習 ・ゼロから学習(RTX 5060 Ti) 生成例: The bee thanked his friends for the cheese and went back to the forest to show his friends his discovery.
使ったのは、TinyStoriesという、短い物語を集めたデータです。
最初は、シェイクスピアの作品を集めた、1メガバイトほどの小さなデータで試しました。
ところが、データがすぐに足りなくなって、改良の効果が見えませんでした。そこで、データが十分にある条件に切り替えています。
事前に学習された重みは使わず、すべてゼロから学習しました。規模は、約430万個から、1億2400万個までの5段階です。
比べるのは、検証損失という数値です。文章の続きを外した度合いで、低いほど良い、と考えてください。
公平にするため、同じシードなら、構造が違っても同じ順番でデータを見せて、評価用のデータも固定しました。シードは、乱数の初期値のことです。
学習したモデルは、こんな英語の物語を書きます。文としては読めますが、話の筋が通っているかまでは、ここでは見ていません。
同じ量で比べると
同じ量の文章(約4900万トークン)を学習したあとの検証損失
| 規模 | GPT-2型 | 4つ併用 | 差 |
|---|---|---|---|
| 430万 | 1.7829 | 1.7083 | -0.075 |
| 1230万 | 1.6126 | 1.5513 | -0.061 |
| 2740万 | 1.5290 | 1.4793 | -0.050 |
| 8800万 | 1.4664 | 1.4181 | -0.048 |
| 1億2400万 | 1.4740 | 1.4321 | -0.042 |
・1億2400万だけ、語彙が違う(絶対値は比べられない)
まず、同じ量の文章を読ませて比べます。約4900万トークンで、これは訓練データの、およそ3割です。
GPT-2型を基準にして、4つの改良を全部入れたものを、併用と呼びます。
結果は、5つの規模のすべてで、併用の方が、検証損失が低くなりました。
差は、小さいモデルで0.075、1億2400万個のモデルで0.042です。規模が大きいほど、差は縮む傾向にあります。
(質問)その差って、大きいの?
学習をやり直したときのばらつきは、大きくても0.013でした。それより、差の方がずっと大きいです。
ただ、損失の差が、実際の文章のうまさにどう見えるかは、この動画では見ていません。
1億2400万個のモデルだけは、語彙のサイズが違うので、損失の数値そのものは、ほかの行と比べられません。
効いているのはどこ?
1230万パラメータ、同じ量の文章。GPT-2型との差
| 入れ替えたもの | 検証損失の差 |
|---|---|
| RMSNorm | +0.001 |
| バイアス除去 | ±0.000 |
| RoPE | -0.038 |
| SwiGLU | -0.046 |
| 4つ併用 | -0.061 |
・4つに分けて調べたのは、この規模だけ
では、4つのうち、どれが効いているのでしょうか。1230万個のモデルで、1つずつ入れ替えて調べました。
RoPEは0.038、SwiGLUは0.046、損失が下がりました。
一方で、RMSNormとバイアス除去は、差がほとんど見えませんでした。
効くと思われていた部品のうち、半分は、損失の上では効いていなかったんです。
RMSNormの論文は、性能は同程度のまま、実行時間を短くすることを狙っています。損失が変わらなかったのは、その狙いと合っています。
バイアス除去は、PaLMという大きなモデルの論文で、大きなモデルの学習を安定させるために入れられています。損失を下げるための工夫ではないので、差が出なかったのは、おかしなことではありません。
併用の0.061は、RoPEとSwiGLUを足した数値より、少し小さくなっています。効果は、少し重なっているようです。
ただし、この切り分けができたのは、この規模だけです。ほかの規模では、確かめていません。
同じ時間で比べると
同じ計算時間にそろえたときの差(4つ併用 − GPT-2型)
| 規模 | そのまま実装 | 高速化あり |
|---|---|---|
| 430万 | -0.014 | – |
| 1230万 | +0.004 | -0.046 |
| 2740万 | +0.025 | -0.042 |
・プラスなら、GPT-2型の方が良い
ここまでは、同じ量の文章で比べてきました。でも、併用は部品が増えるので、計算に時間がかかります。
素直に書いた実装では、併用の速さは、GPT-2型の7割から8割でした。
そこで、かかる時間を同じにして、GPT-2型には、速いぶんだけ多く学習させてみました。
すると、2740万個のモデルでは、GPT-2型の方が、0.025も低くなったんです。逆転しています!
コホン。
(質問)実装が遅いだけでは?
その通りです。そこで、コンパイルで計算をまとめて、速くしました。
すると、併用の速さは、GPT-2型の94%から96%まで戻りました。
そのうえで、同じ時間にそろえると、1230万個と2740万個のどちらでも、併用が0.04以上低くなりました。
つまり、改良が得かどうかは、同じ量で比べるか、同じ時間で比べるか、そして実装がどれだけ速いかで、変わります。
長く学習すると、大きくすると
差(4つ併用 − GPT-2型)の変わり方 ・学習を長くする(1230万): 3000回 -0.061 → 10000回 -0.031 ・規模を大きくする: 430万 -0.075 → 1億2400万 -0.042 ・どちらも差は縮むが、消えてはいない
次に、学習を長くしたときを見ます。1230万個のモデルで、学習を3000回から1万回に増やしました。
差は、0.061から0.031に縮みましたが、併用の方が低いままでした。
規模を大きくしたときも、同じです。差は縮む傾向ですが、1億2400万個でも、消えてはいませんでした。
ここで気になるのは、小さい規模の結果を、どこまで信じてよいのか、ということです。
10種類のモデルを比べた論文では、最も良い構造が、規模によって入れ替わることがあると報告されています。
なので、今回の結果を、もっと大きいモデルに当てはめることは、しません。
本当に合っているの?
自作モデルと、標準実装(transformers)の出力を比較
| 比較 | ロジットの最大差 |
|---|---|
| GPT-2型 ↔ GPT2LMHeadModel | 0.000002 |
| 4つ併用 ↔ LlamaForCausalLM | 0(完全一致) |
・わざとずらすと、差は4.4になり検出された
ここまでの差が、実装の書き間違いによる見かけだったら、意味がありません。
そこで、自作のモデルの重みを、広く使われている標準の実装にコピーして、同じ入力で出力を比べました。
結果は、GPT-2型でも併用でも、ほぼ、または完全に一致しました。
また、標準の実装側の設定を、わざとずらしてみると、差が4.4まで大きくなりました。この確認は、ずれがあれば見つけられます。
ただし、確かめたのは、学習前の計算だけです。学習の途中の計算までは、確かめていません。
言えること・言えないこと
言えること(このスケールでの結果) ・430万〜1億2400万で、同じ量なら、4つ併用の方が損失が低い ・効いたのは、RoPEとSwiGLU ・同じ時間で比べると、実装の速さで結論が変わる 言えないこと ・1億2400万より大きいモデル ・TinyStories以外のデータ、もっと長い学習 ・学習率などを調整した場合
整理します。言えるのは、TinyStoriesで、430万から1億2400万個の範囲では、同じ量の文章なら、併用の方が損失が低かった、ということです。
効いていたのは、RoPEとSwiGLUでした。
そして、同じ時間で比べるときは、実装の速さで、結論が変わりました。
逆に、言えないこともあります。
1億2400万個より大きいモデル、TinyStories以外のデータ、もっと長い学習、学習率などを調整した場合は、確かめていません。
良いとされる改良でも、揃え方を変えると、見え方が変わる。比べる側の条件を、ちゃんと書くことが大切だと感じました。
おわりに
・同じ量で比べると、5つの規模のすべてで、改良した方が良かった ・同じ時間で比べると、実装の速さで結論が変わる ・結果は、このスケールでの話
小さなモデルを作って比べると、定番の改良の効き方が、条件によって変わる様子が見えました。
大きなモデルでどうなるかは、また別の話です。
今回は「LLMの小さいやつを作ってみた」について解説しました。最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。
シリーズ「LLMの自作に挑戦」
- #1 LLM(の小さいやつ)を作ってみた(この記事)
- #2 少ないデータで言語を学ぶ挑戦「BabyLM」
- #3 自作モデルでBabyLMに挑戦した
- #4 何語読んだら文法が身につく?
- #5 GPT-2の改良はBabyLMでも効く?