あまやどり研究所

トップ / LLMの自作に挑戦

LLMの自作に挑戦 #2 2026-11-08 ・ ▶ 動画でも見られます

少ないデータで言語を学ぶ挑戦「BabyLM」

自分で言語モデルを作ってみると、賢くするほど大量のデータと計算が要る、という壁にぶつかります。そこで出会ったのが「BabyLM」。人間の子どもが触れるくらいの少ない文章で、どこまで言語を学べるかを競う、毎年のコンペです。この回では、BabyLMとは何か、どれくらい「少ない」のか、どうやって賢さを測るのか、そして比べる相手(公式の基準モデルや過去の結果)がそろっていることを、順番に見ていきます。次回から、自分で一から作ったモデルで、この基準に挑戦します。

解説

今回の内容

1. 前回のおさらいと、今日の問い 2. BabyLMとは 3. どれくらい「少ない」のか 4. どうやって賢さを測るのか 5. 比べる相手がいる 6. このシリーズで、これからやること

今回の内容です。

まず前回のおさらいから、今日の問いにつなげます。

そのあと、BabyLMとは何か、どれくらい少ないデータなのか、どうやって賢さを測るのか、そして比べる相手がいること、を見ていきます。

最後に、このシリーズでこれから何をするかをお話しします。

前回のおさらいと、今日の問い

前回わかったこと: モデルは、大きく賢くするほど大量のデータと計算が要る ・では、逆に「少ないデータ」で、どこまで賢くできる? ・手元のRTX 5060 Ti 1枚で、GPT-2と同じ大きさ(1億2400万パラメータ)を、再現でよく使う100億トークン学習すると、休まず回して約3日(見積もり) ・ヒントは、人間の子ども。少ない言葉を聞いて、ちゃんと言葉を覚える ・ポイント: これは「計算が小さい」話ではなく、学習データが少ない話

まず、前回の簡単なおさらいです。GPT-2を自分で作ってみて、よくわかったことがあります。

モデルを大きく、賢くしようとするほど、大量の文章と、大量の計算が必要になる、ということです。

(質問)じゃあ個人だと、結局むずかしいの?

時間で考えてみます。GPT-2と同じ大きさのモデルを、手元のグラボ、RTX 5060 Ti 1枚で学習すると、1秒に約3万6千トークン進みました。

GPT-2を再現するときによく使われる、100億トークンを読ませるとすると、休まず回しても、約3日かかる計算です。

1回試すのに3日では、工夫を何度も比べるのは大変です。モデルをもっと大きくすれば、その何倍もかかります。

そこで発想を逆にします。少ないデータで、どこまで賢くできるか、という問いです。

ヒントは、人間の子どもです。子どもは、大人が読むような膨大な文章を読まなくても、少ない言葉を聞くうちに、ちゃんと言葉を覚えていきます。

ここで大事なのは、これは「計算の小さい話」ではなく、「学習データが少ない話」だ、という点です。使うモデル自体は、それなりの大きさでかまいません。

BabyLMとは

BabyLM: 少ないデータで言語モデルを学ぶ挑戦(コンペ) ・2023年から毎年開かれている ・「読ませる文章の量」を決めて、その中で賢さを競う ・モデルの構造や学習のやり方は自由 ・発想のもと: 子どもが育つ間に触れる、現実的な量の言葉 ・子どもが聞く言葉は1年に200万〜700万語。12歳までで2400万〜8400万語(第1回の案内の見積もり)

その問いに、世界中の人が取り組んでいるのが、BabyLMです。

BabyLMは、2023年から毎年開かれている、研究者向けのコンペです。

特徴は、読ませてよい文章の量を、あらかじめ決めてしまうことです。その決められた量の中で、どれだけ賢いモデルを作れるかを競います。

(質問)量さえ守れば、作り方は自由なの?

はい。モデルの構造や、学習のやり方は、かなり自由です。決まっているのは、読ませる量の上限の方です。

この「現実的な量の言葉で学ばせる」という発想のもとには、人間の子どもが育つ間に触れる言葉の量があります。

第1回の大会の案内では、子どもが聞く言葉は、1年に200万から700万語ほど、12歳までで、2400万から8400万語ほどと見積もられていました。

どれくらい「少ない」のか

学習データの上限(2026年の主な部門)

部門学習データ読ませる量(延べ)
Strict-small1000万語1億語
Strict1億語10億語

・延べの量は、同じデータを約10回くり返して読む量にあたる ・参考: Meta の Llama 3 は15兆トークン以上で学習(Meta の発表)

では、どれくらい「少ない」のでしょうか。部門ごとに、使ってよいデータの量が決まっています。

小さい方のStrict-small部門では、学習に使える文章は、同じ文章を重ねて数えずに、中身だけで、1000万語まで。大きいStrict部門でも、1億語までです。

(質問)1億語でも、多くない?

それが、言語モデルの世界では、とても少ないんです。たとえば、Metaが公開したLlama 3は、15兆トークン以上の文章で学習したと発表されています。

1億語は、その10万倍ほど少ない量です。だからこそ、少ないデータでどう工夫するか、が勝負になります。

ちなみに、同じデータは何度も読み返してよく、その延べの量にも上限があります。標準的には、だいたい10回くり返すくらいの量です。

作り方は自由、でも「量」は守る

自由なところ / 決まっているところ ・自由: モデルの構造、データの選び方、学習の順番、学習の目的(次の語の予測・穴埋め) ・決まっている: 読ませる量の上限。文字列に確率を付けられること。公開の枠組みで作ること ・途中経過も提出する(学習の進み具合がわかるように)

ルールを、もう少し具体的に見てみます。

自由なのは、モデルの構造、どんな文章を選ぶか、どんな順番で読ませるか、そして次の語を当てさせるのか、穴埋めをさせるのか、といった学習のやり方です。

一方で決まっているのは、さっきの「読ませる量の上限」と、作ったモデルが、文章に確率のようなものを付けられること、そして、広く公開されている枠組みで作ること、です。

この「自由だけど、量は厳密」という設計のおかげで、いろいろな工夫を、同じ土俵で比べられます。

どうやって賢さを測るのか

評価は、多くが学習なしで、2つの文の確率を比べる形 ・文法: 正しい文と、わざと崩した文の、どちらを自然と判断するか(BLiMP) ・世界の常識: ありそうな状況と、ありえない状況を見分けられるか(EWoK) ・ほかに、文中のものの状態の追跡、語形の変化、読みやすさの予測 など ・※評価の問題文は、この動画では出しません

作ったモデルの賢さは、どうやって測るのでしょうか。BabyLMでは、多くの課題を、追加の学習なしで解かせます。

基本の形は、2つの文を見せて、モデルがどちらを「自然だ」と判断するか、確率で比べるものです。

たとえば文法の課題では、正しい文と、わざと文法を崩した文を見せて、正しい方を自然だと判断できるかを見ます。これはBLiMPと呼ばれます。

(質問)文法以外も測れるの?

はい。世界の常識を見分ける課題や、文の中でものの状態を追う課題、言葉の形の変化を扱う課題などがあります。

世界の常識の課題は、EWoKと呼ばれます。なお、これらの評価の問題文は、利用の約束にしたがって、この動画では中身をお見せしません。課題の名前と点数まで、という形で扱います。

比べる相手がいる

BabyLMの強み: 比べる相手がそろっている ・公式の基準モデル(GPT-2 Small、GPT-BERT など) ・過去の参加者の論文と、結果のまとめ ・共通の評価プログラムと、順位表 → 「工夫が効いたか」を、同じ条件で確かめられる

このシリーズでBabyLMを選んだ、いちばんの理由がここです。比べる相手が、きちんとそろっています。

公式が用意した基準のモデルがあり、過去の参加者の論文や、結果のまとめも公開されています。

しかも、評価のプログラムが共通なので、自分のモデルと基準を、まったく同じ条件で測れます。

(質問)それって、そんなに大事?

とても大事です。何か工夫をしたとき、「本当に効いたのか」を、思い込みではなく、同じものさしで確かめられるからです。

前回のGPT-2の回で見つけた改良が、データの少ない条件でも効くのか。それも、この土俵なら正直に比べられます。

このシリーズで、これからやること

なぜ自分でやるのか ・学習データが少ない → 小さい方の部門なら、手元のGPU 1枚で、1回の学習が1時間ほど ・だから、いろいろな工夫を、何度も試せる 次回から: 自分で一から作ったモデルで、公式の基準に挑戦する

最後に、このシリーズでこれから何をするか、です。

BabyLMは、学習データが少ないので、小さい方の部門なら、手元のパソコンのGPU 1枚で、1回の学習が1時間ほどで終わる見込みです。

つまり、いろいろな工夫を、何度もくり返し試せる、ということです。個人で取り組むのに、ちょうどよい大きさです。

そこで次回は、前回作った自分のモデルを、この少ないデータで学習させて、公式の基準と比べてみます。

はたして、一から作ったモデルで、基準を超えられるのか。結果は、次の動画でお見せします。

おわりに

・BabyLM: 少ないデータで言語を学ぶ、毎年のコンペ ・小さいのは「モデル」ではなく「学習データ」(Strict-small 1000万語) ・賢さは、多くの課題で学習なしに、2文の確率を比べて測る(BLiMP など) ・公式の基準・順位表があるので、工夫の効果を同じ条件で確かめられる ・次回: 自作モデルで基準に挑戦

今回のまとめです。

BabyLMは、少ないデータで言語モデルを学ぶ、毎年のコンペでした。小さいのはモデルではなく、学習データの方です。

賢さは、多くの課題で、追加の学習なしで、2つの文の確率を比べて測ります。そして、公式の基準や順位表があるので、工夫が効いたかどうかを、同じ条件で確かめられます。

次回は、いよいよ自分で作ったモデルで、この基準に挑戦します。

今回は「少ないデータで言語を学ぶ挑戦、BabyLM」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗

シリーズ「LLMの自作に挑戦」