あまやどり研究所

解説と検証資料

気になったことを自分で動かして確かめ、条件と結果を記事にまとめています。全16本。それぞれ動画でも見られます。

シリーズ

LLMの自作に挑戦

5本の解説

ベクトル検索

7本の解説

新着の解説

2026-11-15・17節・動画あり

リアルタイムで会話するAI

聞きながら同時に話せる「全二重」の音声対話モデルが、日本語でも続けて発表・公開されています。この動画では、そのしくみを公式の説明から整理したうえで、今ある部品(音声を聞ける Gemma 4 E4B、返事を書く Gemma 4 31B、声の VoiSona Talk の雨衣)を組み合わせると、どこまで近づけるかを、制作者の実測と、RTX 5090への換算のシミュレーションで確かめます。デモ音声は、実際に動くシステムの録音ではなく、測った時間をもとに組み立てたシミュレーションです。返事の中身ではなく、間の長さと相づちの入り方をお聞きください。

LLMの自作に挑戦 #52026-11-14・8節・動画あり

GPT-2の改良はBabyLMでも効く?

前回の「何語読んだら文法が身につく?」の続きです。GPT-2を自分で作った回で試した4つの改良(RoPE・RMSNorm・SwiGLU・バイアス除去)を、BabyLMの自作モデルにまとめて持ち込み、同じ条件、3本のシードで比べました。「ものの状態を追う課題」は大きく上がり、公式の基準の水準まで届きました。ただ、この課題は点のばらつきが大きいので、断定はしません。一方で、文法の本体や世界の常識の課題は、ほとんど動きませんでした。改良の効果は、課題ごとに割れる、という結果です。

2026-11-12・9節・動画あり

AIの文章に入る透かしのしくみ

Anthropicが2026年8月に公表した、Claudeが出力する文章の「透かし」のしくみを、数式を使わずに解説します。「単語の選び方を偏らせる」とはどういうことか、後からどうやって確かめるのか、何が分かって何が分からないのかを、公式の説明と、考え方を手元で作り直して確かめた結果から整理します。

LLMの自作に挑戦 #42026-11-12・8節・動画あり

何語読んだら文法が身につく?

前回の「自作モデルでBabyLMに挑戦した」の続きです。自作モデルの学習の途中の重みを、1000万語ぶん読むごとに取り出して、同じ課題で測り直しました。文法の課題は、読み始めて数周で一気に立ち上がり、5000万語あたりで頭打ちになります。一方で、世界の常識や、ものの状態を追う課題は、読む量を増やしても、ほとんど動きませんでした。「どこまで読ませれば十分か」を、実測の曲線で見ていきます。

LLMの自作に挑戦 #32026-11-10・9節・動画あり

自作モデルでBabyLMに挑戦した

前回紹介した「BabyLM」の、1000万語だけで言語モデルを学ぶ部門(Strict-small)に、GPT-2と同じ作りの自作モデルで挑戦しました。公式の基準モデルを手元で測り直して土台をそろえたうえで、同じ条件でシードだけ変えて3本学習し、文法・世界の常識・読み時間など、8つほどの課題で比べた結果をお見せします。文法の課題では基準を安定して上回り、ものの状態を追う課題では下回りました。途中で「読み時間の課題がほぼ0点」になったのは、モデルではなく書き出しの設定が原因だった、という失敗の話もします。

2026-11-09・10節・動画あり

トークナイザーのしくみ

ChatGPTのようなAIは、文章を「トークン」という断片に分けてから読んでいます。この分け方を決める部品が、トークナイザーです。文字でも単語でもない分け方になった理由、BPEという分け方のアルゴリズム、日本語や数字で起きるクセ、そしてトークナイザーを使わない最近の研究までを、雨衣が解説します。プログラミングの経験がなくても分かるように話しています。

LLMの自作に挑戦 #22026-11-08・9節・動画あり

少ないデータで言語を学ぶ挑戦「BabyLM」

自分で言語モデルを作ってみると、賢くするほど大量のデータと計算が要る、という壁にぶつかります。そこで出会ったのが「BabyLM」。人間の子どもが触れるくらいの少ない文章で、どこまで言語を学べるかを競う、毎年のコンペです。この回では、BabyLMとは何か、どれくらい「少ない」のか、どうやって賢さを測るのか、そして比べる相手(公式の基準モデルや過去の結果)がそろっていることを、順番に見ていきます。次回から、自分で一から作ったモデルで、この基準に挑戦します。

2026-11-07・10節・動画あり

16GBのグラボで大きなAIを動かす「Strata」

1250億パラメータの大きなAI、Qwen3.8-Flash-Nextを、特別なサーバーではなく、普通のゲーム向けグラフィックボード1枚で動かせる――そんなローカル実行ソフト「Strata」を、実際に手元で動かして確かめました。なぜ16ギガバイトのメモリに収まるのか、その仕組みと、実際の速度・必要なメモリを、実測の数字でお見せします。「動かすのに、結局どれくらいの機材が要るの?」に、噂ではなく自分で測った値で答えます。

ベクトル検索 #62026-11-06・13節・動画あり

長い文書はどう分ける?

長い文書を検索に入れるときは、いくつかに分けてから入れます。これを「チャンク分割」と言います。決まった長さで分ける方法と、見出しで分ける方法を実験で比べ、分けたときに「何の話か」が消えてしまう問題と、その対策(重ねる、見出しを付ける、文脈を付ける)を紹介します。

ベクトル検索 #72026-11-06・12節・動画あり

AIに何度も検索させると?

1回の検索では答えられない質問があります。そんなときに、AIに検索を何度も繰り返させる「エージェント検索」を試しました。仕組みと実験の結果、得意なことと気をつけること、かかる時間を紹介し、通常の検索(RAG)との使い分けを考えます。シリーズ「ベクトル検索」の最終回です。

LLMの自作に挑戦 #12026-11-05・10節・動画あり

LLM(の小さいやつ)を作ってみた

GPT-2と同じ型の小さな言語モデルを、ゼロから学習して、定番の改良(RoPE・RMSNorm・SwiGLU・バイアス除去)が本当に効くのかを比べてみました。同じ量の文章で比べると、どの規模でも改良した方が良くなりました。ところが、同じ計算時間で比べると、結論が変わる場面もありました。結果は、TinyStoriesという物語データで、約430万〜1億2400万パラメータの範囲を試した、このスケールでの話です。プログラミングの経験がなくても分かるように話しています。

ベクトル検索 #52026-11-04・15節・動画あり

キーワード検索と混ぜれば強くなる?

キーワード検索とベクトル検索を組み合わせる「ハイブリッド検索」は、検索を強くしてくれるのでしょうか。キーワード検索の仕組みと、日本語ならではの区切り方の工夫、2つの結果の混ぜ方を説明し、これまでと同じデータで、効く場面と効かない場面を実験で確かめます。

ベクトル検索 #42026-11-03・13節・動画あり

ベクトルはどこに保存する?

作ったベクトルは、どこに保存して、どうやって探すのでしょうか。PostgreSQLの拡張機能「pgvector」を例に、普段のSQLと組み合わせて探せる強みと、速く探すための近似インデックス、条件で絞り込んだときの注意点、次元数の上限を、実測をもとに解説します。

ベクトル検索 #32026-11-02・15節・動画あり

リランカーで検索は良くなる?

ベクトル検索で見つけた候補を、別のモデルで並べ直す「リランカー」は、検索を良くしてくれるのでしょうか。前回と同じデータと、大きい説明書のデータで実験し、うまくいった例と、思ったようにいかなかった例の両方を紹介します。何で測るか、どんな文書かで、結論が変わることが分かりました。

ベクトル検索 #12026-11-01・10節・動画あり

ベクトル化のしくみ

RAGなどで使われる「ベクトル化(埋め込み)」は、文章を数字の並びにして、意味の近い文章を探せるようにする仕組みです。言葉の関係を数字で表す考え方から、意味の近さをどうやって学ぶのか、質問と答えを近づける工夫、近さの測り方(コサイン類似度)までを、雨衣が解説します。プログラミングの経験がなくても分かるように話しています。

ベクトル検索 #22026-11-01・12節・動画あり

ベクトル検索の注意点

ベクトル検索(RAGなど)を使い始める前に知っておきたい注意点を、公式資料と実験をもとにまとめました。登録と検索で同じモデルを使うこと、目印(プレフィックス)の付け忘れ、型番の区別、入力の長さと次元数の上限、モデルの選び方、距離と正規化を取り上げます。

このサイトについて

動画の内容を、あとから読み返して探せる形に残した解説と検証資料の置き場です。 実験の条件と結果は記事に書き、動画は各記事の下にあります。くわしく見る →