トップ / シリーズ
シリーズ「LLMの自作に挑戦」
LLM(の小さいやつ)を作ってみた
GPT-2と同じ型の小さな言語モデルを、ゼロから学習して、定番の改良(RoPE・RMSNorm・SwiGLU・バイアス除去)が本当に効くのかを比べてみました。同じ量の文章で比べると、どの規模でも改良した方が良くなりました。ところが、同じ計算時間で比べると、結論が変わる場面もありました。結果は、TinyStoriesという物語データで、約430万〜1億2400万パラメータの範囲を試した、このスケールでの話です。プログラミングの経験がなくても分かるように話しています。
少ないデータで言語を学ぶ挑戦「BabyLM」
自分で言語モデルを作ってみると、賢くするほど大量のデータと計算が要る、という壁にぶつかります。そこで出会ったのが「BabyLM」。人間の子どもが触れるくらいの少ない文章で、どこまで言語を学べるかを競う、毎年のコンペです。この回では、BabyLMとは何か、どれくらい「少ない」のか、どうやって賢さを測るのか、そして比べる相手(公式の基準モデルや過去の結果)がそろっていることを、順番に見ていきます。次回から、自分で一から作ったモデルで、この基準に挑戦します。
自作モデルでBabyLMに挑戦した
前回紹介した「BabyLM」の、1000万語だけで言語モデルを学ぶ部門(Strict-small)に、GPT-2と同じ作りの自作モデルで挑戦しました。公式の基準モデルを手元で測り直して土台をそろえたうえで、同じ条件でシードだけ変えて3本学習し、文法・世界の常識・読み時間など、8つほどの課題で比べた結果をお見せします。文法の課題では基準を安定して上回り、ものの状態を追う課題では下回りました。途中で「読み時間の課題がほぼ0点」になったのは、モデルではなく書き出しの設定が原因だった、という失敗の話もします。
何語読んだら文法が身につく?
前回の「自作モデルでBabyLMに挑戦した」の続きです。自作モデルの学習の途中の重みを、1000万語ぶん読むごとに取り出して、同じ課題で測り直しました。文法の課題は、読み始めて数周で一気に立ち上がり、5000万語あたりで頭打ちになります。一方で、世界の常識や、ものの状態を追う課題は、読む量を増やしても、ほとんど動きませんでした。「どこまで読ませれば十分か」を、実測の曲線で見ていきます。
GPT-2の改良はBabyLMでも効く?
前回の「何語読んだら文法が身につく?」の続きです。GPT-2を自分で作った回で試した4つの改良(RoPE・RMSNorm・SwiGLU・バイアス除去)を、BabyLMの自作モデルにまとめて持ち込み、同じ条件、3本のシードで比べました。「ものの状態を追う課題」は大きく上がり、公式の基準の水準まで届きました。ただ、この課題は点のばらつきが大きいので、断定はしません。一方で、文法の本体や世界の常識の課題は、ほとんど動きませんでした。改良の効果は、課題ごとに割れる、という結果です。