あまやどり研究所

トップ / LLMの自作に挑戦

LLMの自作に挑戦 #1 2026-11-05 ・ ▶ 動画でも見られます

LLM(の小さいやつ)を作ってみた

GPT-2と同じ型の小さな言語モデルを、ゼロから学習して、定番の改良(RoPE・RMSNorm・SwiGLU・バイアス除去)が本当に効くのかを比べてみました。

同じ量の文章で比べると、どの規模でも改良した方が良くなりました。ところが、同じ計算時間で比べると、結論が変わる場面もありました。

結果は、TinyStoriesという物語データで、約430万〜1億2400万パラメータの範囲を試した、このスケールでの話です。プログラミングの経験がなくても分かるように話しています。

解説

今回の内容

1. 何を比べたのか 2. 比べ方 3. 同じ量で比べると 4. 同じ時間で比べると 5. 長く学習すると・大きくすると

今回の内容です。

まず、何を比べたのかと、その比べ方を確認します。

そのあと、同じ量の文章で比べた結果と、同じ計算時間で比べた結果を見ていきます。

最後に、学習を長くしたり、モデルを大きくしたりしたときの様子と、この結果から言えることを整理します。

何を比べたのか

基準: GPT-2型 改良の4つ ・RoPE: 位置を「回転」で表す ・RMSNorm: 数字をそろえる処理を簡単にする ・SwiGLU: 「どれだけ通すか」の門をつける ・バイアス除去: 足し算の定数項を外す

GPT-2は、文章の続きを予想する言語モデルです。一番小さいもので、パラメータは約1億2400万個あります。

たとえばLLaMAというモデルは、標準的なトランスフォーマーに、これから紹介する3つの改良を入れて作られています。

今回比べたのは、その3つに、バイアスを外すことを加えた、4つです。

1つ目のRoPEは、単語の位置を、数字を足すのではなく、ベクトルを回転させて表す方法です。

2つ目のRMSNormは、数字の大きさをそろえる処理から、平均を引く手順を省いて、簡単にしたものです。

3つ目のSwiGLUは、計算の層に、どれだけ通すかを決める門をつけたものです。

4つ目は、足し算の定数項、バイアスを外すことです。

(質問)部品を替えるだけで変わるの?

変わるのか、変わるならどのくらいなのかを、同じ条件で確かめたのが、今回の実験です。

比べ方

・データ: TinyStories(短い物語) ・規模: 約430万〜1億2400万パラメータの5段階 ・同じ順番のデータ、同じ評価用データ ・シードを変えて、2〜3回ずつ学習 ・ゼロから学習(RTX 5060 Ti) 生成例: The bee thanked his friends for the cheese and went back to the forest to show his friends his discovery.

使ったのは、TinyStoriesという、短い物語を集めたデータです。

最初は、シェイクスピアの作品を集めた、1メガバイトほどの小さなデータで試しました。

ところが、データがすぐに足りなくなって、改良の効果が見えませんでした。そこで、データが十分にある条件に切り替えています。

事前に学習された重みは使わず、すべてゼロから学習しました。規模は、約430万個から、1億2400万個までの5段階です。

比べるのは、検証損失という数値です。文章の続きを外した度合いで、低いほど良い、と考えてください。

公平にするため、同じシードなら、構造が違っても同じ順番でデータを見せて、評価用のデータも固定しました。シードは、乱数の初期値のことです。

学習したモデルは、こんな英語の物語を書きます。文としては読めますが、話の筋が通っているかまでは、ここでは見ていません。

同じ量で比べると

同じ量の文章(約4900万トークン)を学習したあとの検証損失

規模GPT-2型4つ併用差
430万1.78291.7083-0.075
1230万1.61261.5513-0.061
2740万1.52901.4793-0.050
8800万1.46641.4181-0.048
1億2400万1.47401.4321-0.042

・1億2400万だけ、語彙が違う(絶対値は比べられない)

まず、同じ量の文章を読ませて比べます。約4900万トークンで、これは訓練データの、およそ3割です。

GPT-2型を基準にして、4つの改良を全部入れたものを、併用と呼びます。

結果は、5つの規模のすべてで、併用の方が、検証損失が低くなりました。

差は、小さいモデルで0.075、1億2400万個のモデルで0.042です。規模が大きいほど、差は縮む傾向にあります。

(質問)その差って、大きいの?

学習をやり直したときのばらつきは、大きくても0.013でした。それより、差の方がずっと大きいです。

ただ、損失の差が、実際の文章のうまさにどう見えるかは、この動画では見ていません。

1億2400万個のモデルだけは、語彙のサイズが違うので、損失の数値そのものは、ほかの行と比べられません。

効いているのはどこ?

1230万パラメータ、同じ量の文章。GPT-2型との差

入れ替えたもの検証損失の差
RMSNorm+0.001
バイアス除去±0.000
RoPE-0.038
SwiGLU-0.046
4つ併用-0.061

・4つに分けて調べたのは、この規模だけ

では、4つのうち、どれが効いているのでしょうか。1230万個のモデルで、1つずつ入れ替えて調べました。

RoPEは0.038、SwiGLUは0.046、損失が下がりました。

一方で、RMSNormとバイアス除去は、差がほとんど見えませんでした。

効くと思われていた部品のうち、半分は、損失の上では効いていなかったんです。

RMSNormの論文は、性能は同程度のまま、実行時間を短くすることを狙っています。損失が変わらなかったのは、その狙いと合っています。

バイアス除去は、PaLMという大きなモデルの論文で、大きなモデルの学習を安定させるために入れられています。損失を下げるための工夫ではないので、差が出なかったのは、おかしなことではありません。

併用の0.061は、RoPEとSwiGLUを足した数値より、少し小さくなっています。効果は、少し重なっているようです。

ただし、この切り分けができたのは、この規模だけです。ほかの規模では、確かめていません。

同じ時間で比べると

同じ計算時間にそろえたときの差(4つ併用 − GPT-2型)

規模そのまま実装高速化あり
430万-0.014–
1230万+0.004-0.046
2740万+0.025-0.042

・プラスなら、GPT-2型の方が良い

ここまでは、同じ量の文章で比べてきました。でも、併用は部品が増えるので、計算に時間がかかります。

素直に書いた実装では、併用の速さは、GPT-2型の7割から8割でした。

そこで、かかる時間を同じにして、GPT-2型には、速いぶんだけ多く学習させてみました。

すると、2740万個のモデルでは、GPT-2型の方が、0.025も低くなったんです。逆転しています!

コホン。

(質問)実装が遅いだけでは?

その通りです。そこで、コンパイルで計算をまとめて、速くしました。

すると、併用の速さは、GPT-2型の94%から96%まで戻りました。

そのうえで、同じ時間にそろえると、1230万個と2740万個のどちらでも、併用が0.04以上低くなりました。

つまり、改良が得かどうかは、同じ量で比べるか、同じ時間で比べるか、そして実装がどれだけ速いかで、変わります。

長く学習すると、大きくすると

差(4つ併用 − GPT-2型)の変わり方 ・学習を長くする(1230万): 3000回 -0.061 → 10000回 -0.031 ・規模を大きくする: 430万 -0.075 → 1億2400万 -0.042 ・どちらも差は縮むが、消えてはいない

次に、学習を長くしたときを見ます。1230万個のモデルで、学習を3000回から1万回に増やしました。

差は、0.061から0.031に縮みましたが、併用の方が低いままでした。

規模を大きくしたときも、同じです。差は縮む傾向ですが、1億2400万個でも、消えてはいませんでした。

ここで気になるのは、小さい規模の結果を、どこまで信じてよいのか、ということです。

10種類のモデルを比べた論文では、最も良い構造が、規模によって入れ替わることがあると報告されています。

なので、今回の結果を、もっと大きいモデルに当てはめることは、しません。

本当に合っているの?

自作モデルと、標準実装(transformers)の出力を比較

比較ロジットの最大差
GPT-2型 ↔ GPT2LMHeadModel0.000002
4つ併用 ↔ LlamaForCausalLM0(完全一致)

・わざとずらすと、差は4.4になり検出された

ここまでの差が、実装の書き間違いによる見かけだったら、意味がありません。

そこで、自作のモデルの重みを、広く使われている標準の実装にコピーして、同じ入力で出力を比べました。

結果は、GPT-2型でも併用でも、ほぼ、または完全に一致しました。

また、標準の実装側の設定を、わざとずらしてみると、差が4.4まで大きくなりました。この確認は、ずれがあれば見つけられます。

ただし、確かめたのは、学習前の計算だけです。学習の途中の計算までは、確かめていません。

言えること・言えないこと

言えること(このスケールでの結果) ・430万〜1億2400万で、同じ量なら、4つ併用の方が損失が低い ・効いたのは、RoPEとSwiGLU ・同じ時間で比べると、実装の速さで結論が変わる 言えないこと ・1億2400万より大きいモデル ・TinyStories以外のデータ、もっと長い学習 ・学習率などを調整した場合

整理します。言えるのは、TinyStoriesで、430万から1億2400万個の範囲では、同じ量の文章なら、併用の方が損失が低かった、ということです。

効いていたのは、RoPEとSwiGLUでした。

そして、同じ時間で比べるときは、実装の速さで、結論が変わりました。

逆に、言えないこともあります。

1億2400万個より大きいモデル、TinyStories以外のデータ、もっと長い学習、学習率などを調整した場合は、確かめていません。

良いとされる改良でも、揃え方を変えると、見え方が変わる。比べる側の条件を、ちゃんと書くことが大切だと感じました。

おわりに

・同じ量で比べると、5つの規模のすべてで、改良した方が良かった ・同じ時間で比べると、実装の速さで結論が変わる ・結果は、このスケールでの話

小さなモデルを作って比べると、定番の改良の効き方が、条件によって変わる様子が見えました。

大きなモデルでどうなるかは、また別の話です。

今回は「LLMの小さいやつを作ってみた」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「LLMの自作に挑戦」