あまやどり研究所

トップ

2026-11-07 ・ ▶ 動画でも見られます

16GBのグラボで大きなAIを動かす「Strata」

1250億パラメータの大きなAI、Qwen3.8-Flash-Nextを、特別なサーバーではなく、普通のゲーム向けグラフィックボード1枚で動かせる――そんなローカル実行ソフト「Strata」を、実際に手元で動かして確かめました。なぜ16ギガバイトのメモリに収まるのか、その仕組みと、実際の速度・必要なメモリを、実測の数字でお見せします。

「動かすのに、結局どれくらいの機材が要るの?」に、噂ではなく自分で測った値で答えます。

解説

今回の内容

1. StrataとQwen3.8-Flash-Nextって何? 2. 本来、大きなAIが動かない理由 3. なぜ16GBで動くのか(仕組み) 4. Strataがまとめたもの 5. 手元で動かして実測した(速度・メモリ) 6. 別のソフト(Ollama)と比べてみた 7. 必要メモリの実際

今回の内容です。

まず、StrataとQwen3.8-Flash-Nextが何かを確認します。

そのあと、本来は大きなAIが普通のパソコンで動かない理由と、それを動かす仕組み、そしてStrataが何をまとめたソフトなのかを見ます。

最後に、実際に手元で動かして測った速度とメモリ、別のソフトで動かしたときとの比較、そして「結局どれくらいの機材が要るのか」を、実測の数字でお話しします。

StrataとQwen3.8-Flash-Nextって何?

Strata: AIを自分のパソコンで動かすソフト(ローカル実行エンジン、MITライセンス) ・AIの計算を手元のパソコンで行う。普段のAIアプリと同じ使い方ができる Qwen3.8-Flash-Next: Alibaba の Qwen シリーズの大きなAI ・全体で1250億パラメータ、1語ごとに働くのは約60億(MoE。専門家は512。後で説明します) ・答える前に「考える」過程を出す、推論タイプ(公式のモデルカードより)

まず、登場するものを2つ確認します。

ひとつ目のStrataは、AIを自分のパソコンで動かすためのソフトです。無料で公開されていて、入れると、いつものAIアプリと同じ感覚で使えます。

ふたつ目のQwen3.8-Flash-Nextは、Alibabaが公開している、Qwenシリーズの大きなAIです。

(質問)どれくらい大きいの?

モデルの大きさは「パラメータ」という数で表しますが、公式の説明では、全体で1250億パラメータです。この規模のAIを、普通のパソコンで動かそう、というのが今回の話です。

ただし、1つの言葉を作るたびに働くのは、そのうち約60億だけです。この点が、あとで出てくる仕組みのカギになります。

本来、大きなAIが動かない理由

大きなAIは、ふだん「ぜんぶをグラボのメモリに載せる」 ・パラメータの数が多いほど、必要なメモリ(VRAM)が増える ・1250億パラメータをそのまま載せるには、数百GBクラスのVRAMが必要 ・それは、個人のパソコンのグラボ(12〜24GB程度)では到底足りない → だから普通は、大きなAIは「クラウドの専用マシン」で動かす ・ただし、ここからの工夫はStrataだけのものではない(前の動画では、同じモデルを別のソフトで動かした)

では、なぜ「普通のパソコンで動かす」ことが、わざわざ話題になるのでしょうか。

AIは、ふだん、モデルの中身をまるごと、グラフィックボードのメモリ、VRAMに載せて動かします。

モデルが大きいほど、必要なVRAMは増えます。1250億パラメータともなると、そのままでは数百GBクラスのVRAMが要る計算になります。

(質問)個人のグラボって、どれくらい?

個人向けのグラボは、だいたい12から24GBほどです。数百GBには、まったく届きません。

だから大きなAIは、ふつうはクラウドにある専用のマシンで動かすものでした。それを手元の1枚で、というのが、今回の話です。

ただ、正直に言うと、これから紹介する工夫は、Strataだけのものではありません。このチャンネルの前の動画でも、同じモデルを、別のソフトで手元で動かしています。Strataの良さは、それを手軽に入れて動かせるようにまとめたところにあります。中身は、仕組みを見たあとで紹介します。

なぜ16GBで動くのか(仕組み)

コツは「全部をVRAMに載せない」こと ・MoE=専門家の集まり型。質問ごとに、必要な「専門家」だけを使う ・使う分だけVRAMに置き、残りはシステムRAMに待機させる ・さらに強い圧縮(量子化)で、1つあたりの大きさを小さくする → VRAMは節約し、足りない分を普通のPCのメモリで肩代わりする

では、どうやって16GBに収めているのか。コツは、全部をVRAMに載せない、ことです。

このモデルは、MoE、専門家の集まり型と呼ばれる作りです。中に小さな「専門家」がたくさんいて、質問ごとに、必要な専門家だけが働きます。

(質問)じゃあ、働かない専門家は?

そこがポイントです。今すぐ使う専門家だけをVRAMに置いて、残りは、パソコンのふつうのメモリ、システムRAMに待機させておくんです。

そのうえで、情報を強く圧縮する「量子化」で、ひとつひとつを小さくします。

VRAMは節約して、足りない分を、安くて積みやすいシステムRAMで肩代わりする。これが、16GBのグラボでも動く仕掛けです。

Strataがまとめたもの

仕組み自体は前からある。Strataは「自分で組む手間」をまとめた ・入れるだけ: Windows・Mac・Linux 向けのアプリ。グラボに合うエンジンを自動で取ってくる ・自動の計画: 手元のVRAMとRAMを見て、専門家の置き場所・文脈の長さを決める ・専門家の3段の置き場所: よく使うものはVRAM、残りはRAM、入りきらなければSSD ・速くする工夫: 先読みで答えを下書きする(MTP)、会話の記憶を8ビットに縮める ・いつものAIツールにつながる: OpenAI・Anthropic と同じ形のAPI

ここで、Strataが何をまとめたソフトなのかを見ておきます。

さっきの「専門家をRAMに待たせる」仕組み自体は、前からあるものです。ただ、これまでは、どの部分をグラボに置き、どれをメモリに置くかを、使う人が自分で設定して組む必要がありました。

(質問)Strataだと、何が違うの?

Strataは、そこをまとめて引き受けます。アプリを入れると、手元のグラボに合うエンジンを自動で取ってきて、VRAMとメモリの量を見ながら、置き場所や、覚えておける文章の長さを決めてくれます。

専門家の置き場所は3段です。よく使うものはVRAMに、残りはメモリに、メモリにも入りきらなければ、SSDから読み出します。

ほかにも、答えを先読みで下書きして速くするMTPという工夫や、会話の記憶を小さく縮める工夫が、最初から入っています。

そして、いつも使うAIのツールと同じ形でつなげるので、動かしたあとに、そのまま使えます。

つまり、新しい魔法というより、大きなAIを手元で動かすのに必要な手間を、ひとまとめにしたソフト、というのが、私の受け取り方です。

手元で動かして実測した(速度)

手元の環境: Windows 11(中のLinux環境 WSL2 で、Linux版のStrataを使用)。グラボ RTX 5060 Ti 16GB 1枚 + システムRAM(本体は128GB) モデル: Qwen3.8-Flash-Next のQ2_0(強く圧縮した版) 実測した速さ(文脈32k・投機デコードあり。各1回)

測ったもの速さ
文章を読む速さ(長文)約800トークン/秒
文章を書く速さ(ふつうの質問)約80トークン/秒

・Q2_0でも、日本語の説明は破綻せず、筋の通った文が返ってきた

ここからは、実際に手元で動かして測った結果です。

パソコンはWindows 11で、その中で動くLinuxの環境、WSLに、Linux版のStrataを入れました。Windows版もありますが、今回は試していません。

使ったのは、ゲーム向けのグラフィックボード1枚、16GBのものと、パソコンのメモリです。なお、このパソコンは、メモリを128GBと多めに積んでいます。モデルは、強く圧縮したQ2_0という版を使いました。

まず速さです。AIが文章を読み込む速さは、長めの文で、1秒あたり約800トークン。トークンは、単語の切れ端のようなものだと思ってください。

そして、ふつうの質問に答えを書き出す速さは、1秒あたり、およそ80トークンでした。

(質問)それって、速いの?

体感では、すらすら答えが流れてくる速さです。この規模のAIが、専用マシンなしでこれだけ動くのは、正直びっくりしました。

答えの中身も、強く圧縮した版なのに、日本語の説明がちゃんと筋の通ったものになっていました。

手元で動かして実測した(メモリ)

同じ条件で測ったメモリの使用量

使ったメモリ量
グラボのメモリ(VRAM)約15GB(グラボ全体。もとからの約0.7GBを含む)
パソコンのメモリ(RAM)約35GB(Strataの分だけ。Windowsなどは含まない)

・16GBのグラボに、ぎりぎり収まっている ・足りない分は、たしかにシステムRAMが肩代わりしていた ・合わせて約50GB。公式の目安(Q2_0で合計37.6GB)より多かった

次に、メモリの使用量です。仕組みの話が、本当かどうかの答え合わせでもあります。

グラボのメモリ、VRAMの使用量は、約15GBでした。16GBのグラボに、ぎりぎり収まっています。

そして、パソコンのメモリ、RAMの方は、約35GBを使っていました。これはStrataが使った分だけで、Windowsやほかのアプリの分は入っていません。

(質問)やっぱりRAM、たくさん使うんだね。

そうなんです。さっきの「専門家をRAMに待機させる」という仕組みのとおり、VRAMで足りない分を、システムRAMがしっかり肩代わりしていました。

つまり、VRAMをどれだけ節約できるかと、RAMをどれだけ積めるか、この組み合わせで動く、ということです。

ただし、合わせると約50GBで、このあと紹介する公式の目安より多めでした。今回は、文章をたくさん覚えておける設定にしていたので、その分も含まれていると思います。

別のソフト(Ollama)と比べてみた

同じパソコン・同じグラボ1枚で、別のソフト「Ollama」と比べた

ソフト(圧縮の版)書く速さ長文を読む速さ
Strata(Q2_0)約87トークン/秒約955トークン/秒
Ollama(UD-Q2_K_XL)約13.6トークン/秒約50トークン/秒

・Ollama の標準設定のまま。同じ質問を、各3回測った(平均) ・Strataのほうが、書く速さで約6〜7倍、長文を読む速さで約19倍だった ・ただし、条件は完全には同じではない ソフト・圧縮の中身・OS(WSLかWindowsか)が、同時に違う → 速さの理由が「Strataの作り」だけとは言えない

ここまでは、Strataだけを測りました。では、ほかのソフトで動かすと、どうなるのでしょうか。

そこで、前の動画でも使った、Ollamaでも動かして、同じパソコン、同じ1枚のグラボで比べてみました。

(質問)同じ条件で比べたの?

同じにできた部分と、できなかった部分があります。同じなのは、パソコンとグラボ1枚、覚えておける文章の長さ、同じ質問、そして測る回数、各3回です。

違うのは、圧縮の版です。StrataのQ2_0は、Ollamaにはありません。そこで、同じくらい強く圧縮した、UD-Q2_K_XLという版を使いました。それから、StrataはWSLのLinux版、OllamaはWindows版で、OSも違います。

結果です。答えを書く速さは、Strataが3回の平均で、1秒あたり約87トークン。Ollamaは約13.6トークンでした。長い文章を読み込む速さは、Strataが約955、Ollamaが約50です。さっきの1回だけの測定より、少し速い数字になりました。

数字だけ見ると、書く速さで6倍から7倍、読む速さでは約19倍の差でした。

(質問)じゃあ、Strataのほうが優れてるってこと?

この条件では、Strataのほうが速かった、とは言えます。でも、ソフトの作りと、圧縮の中身と、OSが同時に違うので、速さの理由が、Strataの作りだけとは言えません。Ollamaは、設定を調整せずに、標準のまま測っています。

調整すれば、差が縮まる可能性もあります。この数字は、優劣ではなく、「この条件では、こうなった」という記録として見てください。

必要メモリの実際

「結局どれくらい要るの?」公式の目安(RAMとVRAMの合計)

圧縮の強さ合計メモリ品質
Q2_0(最小・最速)37.6GB良
IQ2_XS39.2GBより良
IQ3_S(最高品質)54.8GB最良

・配布元の目安: 合計32GBほどから、快適には64GB ・今回の設定では、実際に約50GBを使った ・買い足す前に、まず手元の「システムRAM」の量を確かめる

最後に、いちばん気になる「結局、どれくらいの機材が要るのか」です。

配布元の目安では、必要なメモリは、RAMとVRAMの合計で表されます。いちばん軽いQ2_0なら合計37.6GB、品質を上げたIQ3_Sで54.8GBです。

配布元は、合計32GBほどから始められて、快適に使うなら64GBくらいが目安、としています。ただ、さっき見たとおり、今回の設定では約50GBを使っていました。目安は、少し余裕を見て読むのが良さそうです。

(質問)じゃあ、高いグラボを買えばいいの?

ここが大事なところです。この仕組みは、VRAMに入りきらない分を、システムRAMで補う作りでした。だから、グラボより先に、まずシステムRAMが足りているかが問題になります。

今回は16GBのグラボでも、Q2_0なら動きました。ただ、メモリを多めに積んだパソコンでの結果です。高価なグラボを買い足す前に、まずは手元のパソコンのメモリを確かめるのが、現実的な第一歩だと思います。

ちなみに、使うソフトの設定によっては、見えているメモリの上限が、思ったより低いことがあります。大きい版を動かすときは、その上限も確かめておくと安心です。

おわりに

・Strata:大きなAIを、普通のパソコンで動かすソフト(無料・ローカル) ・1250億パラメータのQwen3.8-Flash-Nextが、16GBのグラボ1枚+RAMで動いた ・仕組み:必要な「専門家」だけVRAMに、残りはシステムRAMへ+強い圧縮 ・実測:書く速さ 約80トークン/秒、VRAM 約15GB・RAM 約35GB(本体は128GB) ・Ollama と比べると、この条件ではStrataが速かった(ただし条件は完全には同じではない) ・買い足す前に、まずシステムRAMを確かめる

今回のまとめです。

Strataは、大きなAIを、クラウドの専用マシンなしで、手元のパソコンで動かすためのソフトでした。

1250億パラメータのQwen3.8-Flash-Nextが、16GBのグラボ1枚と、パソコンのメモリで、実際に動きました。

肝は、必要な専門家だけをVRAMに載せ、残りをシステムRAMに肩代わりさせる仕組みと、強い圧縮です。手元では、書き出す速さが1秒あたり約80トークン、VRAMは約15GB、RAMは約35GBでした。別のソフトのOllamaと比べると、この条件ではStrataのほうが速かったのですが、条件は完全には同じではないので、参考として見てください。

もし動かしてみたくなったら、高いグラボを買い足す前に、まずは手元のメモリを確かめてみてください。

今回は「16GBのグラボで大きなAIを動かすソフト、Strata」について解説しました。最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗