2026-11-15 ・ ▶ 動画でも見られます
リアルタイムで会話するAI
聞きながら同時に話せる「全二重」の音声対話モデルが、日本語でも続けて発表・公開されています。この動画では、そのしくみを公式の説明から整理したうえで、今ある部品(音声を聞ける Gemma 4 E4B、返事を書く Gemma 4 31B、声の VoiSona Talk の雨衣)を組み合わせると、どこまで近づけるかを、制作者の実測と、RTX 5090への換算のシミュレーションで確かめます。
デモ音声は、実際に動くシステムの録音ではなく、測った時間をもとに組み立てたシミュレーションです。返事の中身ではなく、間の長さと相づちの入り方をお聞きください。
解説
まず、手元のモデルで組み立てた会話を聞く
手元のモデルで組み立てた会話(デモ。シミュレーション) ・聞く: E4B / 会話: 31B / 裏の調べもの: Qwen / 声: VoiSona ・時間はRTX 5090想定。動くシステムの録音ではない ・検索は外部のWikipedia API。手元の検索や他のAPIに置き換えられる 聞いてほしいところ: 相づち、つなぎの一言、途中の割り込み、調べている間
先に、手元のモデルで組み立てた会話を、デモで聞いていただきます。
聞く役は、音声を聞けるGemma 4 E4B、会話の中心は、Gemma 4 31B、裏で調べる役は、Qwen3.8 27Bです。
声は、VoiSonaの雨衣です。
デモは、実際に動くシステムの録音ではなく、測った時間をもとに、音声を重ねたシミュレーションです。
時間は、RTX 5090を想定しています。
31Bには、公開されている5090の測定値を使い、E4BとQwen3.8 27Bは、手元の値を3分の1にしました。
声の合成と、検索の通信は、実測のままです。
調べものの検索は、外部のWikipediaのAPIで、ここは別の検索や、外部のAPIに置き換えられます。
質問する人の声は、雨衣の声の設定を変えたもので、返事の中身は、モデルが書いたものです。
内容は、正確とは限りません。
手元のモデルで組み立てた会話
以上のように、ここまで組み立てられました。
ここから、どうしてこうなるのかを、順に見ていきます。
今回の内容
1. リアルタイム会話AIとは 2. 今回の組み立てと、部品の速さ 3. 応答を速くする2つの案 4. 相づちと割り込み 5. 今の限界とまとめ
今回の内容です。
まずしくみを確かめ、次に部品の速さと、速くする案、相づちと割り込みを見ていきます。
リアルタイム会話AIとは
・ターン制: 相手が話し終わってから、考えて話す ・全二重: 聞きながら、同時に話せる(相づち・割り込みも) 最近の、全二重の音声対話モデル
| モデル | 公開・発表 | 作ったところ |
|---|---|---|
| LLM-jp-Moshi-v1 | 2026年2月25日 公開 | 国立情報学研究所 |
| Shizuku-Duplex | 2026年11月8日 発表 | Shizuku AI |
| Haru-4B | 2026年11月13日 公開 | higurashi |
会話するAIには、2つの形があります。
1つは、相手が話し終わってから考えて話す形で、ここではターン制と呼びます。
もう1つは、聞きながら同時に話せる形で、全二重といいます。
電話のように、両方向に同時に音が流れることです。
相づちを打ったり、割り込まれたら止まったりできます。
(質問)人どうしなら、普通のことだよね?
はい。
それを機械でやる全二重のモデルが、今年に入って続けて出てきました。
LLM-jp-Moshi、Shizuku-Duplex、Haru-4Bなどです。
全二重のしくみ
Shizuku-Duplex の公式ブログの説明 ・80ミリ秒を1単位に、聞くことと声・文字・動作を毎回一緒に処理 ・声より少し先に書くひとりごとを使い、話し始め・黙るをモデルが決める ・2層: 会話を続ける担当(interaction model)と、検索などを裏で進める担当(background model) ・約5分ごとに会話を要約して、文脈を作り直す 参考: Kyutai の Moshi も、80ミリ秒ごと(毎秒12.5フレーム)
Shizuku-Duplexの公式ブログの説明で、しくみを見てみます。
80ミリ秒を1つの単位として、聞くことと、声や文字や動作を出すことを、毎回、一緒に処理します。
声より少し先に、話す内容を文字で書く「ひとりごと」を使い、いつ話し始め、いつ黙るかを、モデル自身が決めるそうです。
また、会話を続ける担当と、検索などを裏で進める担当の、2層に分けているそうです。
公開の状況
| モデル | 重み | 補足 |
|---|---|---|
| LLM-jp-Moshi-v1 | 公開(Apache 2.0) | 約7B(70億)パラメータ |
| Haru-4B | 公開(Apache 2.0。Hugging Face のモデルカード) | 研究向けの事前学習済みベース。コードは GitHub |
| Shizuku-Duplex | 公式ブログに記載なし | 2026年11月14日に確認 |
・Shizuku-Duplex: 話し終わりから返答まで中央値0.57秒(同社の自己申告) ・Haru-4B: 音声の入力から出力まで約65ミリ秒(MacBook・int8。返答までの時間ではない)
公開の状況です。
LLM-jp-Moshiは、商用でも使えるApache 2.0のライセンスで公開されています。
Haru-4Bは、重みがApache 2.0で、事前学習済みのモデルとして公開され、コードもGitHubで公開されています。
Shizuku-Duplexは、重みの公開やAPI、価格について、11月14日の時点で、公式ブログに記載がありませんでした。
速さは、Shizuku-Duplexが、話し終わりから返答まで中央値0.57秒としています。
サーバー側の録音での値で、通信の往復は含みません。
自社の日本語のベンチマークでの、自己申告の値です。
Haru-4Bの約65ミリ秒は、公式ブログでは、MacBookで音声を受け取ってから出力するまでの処理の遅延で、返答までの時間ではありません。
音声をまとめるための待ちは、最大133ミリ秒が別に加わると、公式ブログにあります。
今回の組み立て
雨衣の声(VoiSona)のまま、今ある部品をつないで、どこまで近づけるか
| 層 | 役目 | 今回の部品 |
|---|---|---|
| 聞き取り | 相手の声を聞いて、文字にする | Gemma 4 E4B |
| 会話 | 返事の文を書く(文字だけを入力) | Gemma 4 31B |
| 声 | 返事を声にする | VoiSona |
| 裏の調べもの | 時間のかかる処理を、後ろで進める | Qwen3.8 27B(冒頭のデモのみ) |
・数値は、制作者の実測と、公開の測定を使った、RTX 5090換算のシミュレーション
全二重のモデルは、声そのものもモデルが出します。
今回の検証では、この雨衣の声、つまりVoiSonaの声のまま、部品をつないでどこまで近づけるかを測りました。
部品は4つです。
聞いて文字にする、Gemma 4 E4B。
返事を書く、Gemma 4 31B。
声にする、VoiSona。
そして、調べものを裏で進める、Qwenです。
31Bは音声を受け取れないので、聞く役と書く役は、別のモデルです。
冒頭のデモでは、4つとも手元で動かしました。
ここから見る部品ごとの測定は、聞く、書く、声にする、の3つです。
部品1: 聞く
Gemma 4 E4B(音声の入力は最大30秒、出力は文字だけ) 制作者の実測(RTX 5060 Ti 16GB、bf16、5回の中央値)
| 測ったこと | 結果 |
|---|---|
| 音声1秒あたり | 25トークン |
| 直近の音声を聞いて1語で判定(1秒分/30秒分) | 約90/185ミリ秒 |
| 短い質問(約4秒)の文字起こし(8問の中央値) | 約0.7秒(5090換算で約0.25秒) |
・約100ミリ秒ごとに聞き直せる(判定の中身ではなく、動く速さ) ・「話し終わったか」をゼロショットで聞くと、12件すべて「待つ」 ・聞いた音の変換は約0.48秒ごとに確定(使い回しは未確認)
まず、聞く部品の、Gemma 4 E4Bです。
制作者の測定は、GPUがRTX 5060 Tiの16ギガバイト1枚で、各値は5回の中央値です。
音声1秒は、25個のトークンになります。
トークンは、モデルが扱う小さな単位です。
聞いた音声を文字にする速さは、約4秒の質問で、約0.7秒です。
RTX 5090なら3分の1の約0.25秒と見積もります。
直近の音声を聞かせて、ひと言で答えさせると、1秒分で約90ミリ秒、30秒分でも約185ミリ秒。
約100ミリ秒ごとに聞き直せる速さです。
(質問)それなら、話し終わりもすぐ分かる?
それが、うまくいきませんでした。
例を見せずにいきなり答えさせるゼロショットでは、12件すべて「まだ待つ」でした。
部品2: 会話の中心
Gemma 4 31B(文字を入力して、返事の文字を出す。Q4_K_M、約19GB)
| 条件 | 返事を書く速さ | 入力を読む速さ |
|---|---|---|
| 制作者の実測(RTX 5060 Ti 16GB 2枚、Ollama) | 毎秒約21トークン | 未測定 |
| RTX 5090の公開の測定(llama.cpp、4Kの文脈) | 毎秒61トークン | 毎秒3,395トークン |
| 別の公開の測定 | 毎秒68.5トークン | 毎秒3,698トークン |
・この動画の5090換算は、低いほうの公開値(61と3,395)を使う ・31Bは音声を入力できない。聞く役は E4B のまま
次は、会話の中心の、Gemma 4 31Bです。
文字を入れて、返事の文字を出します。
音声は入れられないので、聞く役は、さっきのE4Bのままです。
速さは、制作者の手元のRTX 5060 Ti 2枚で、毎秒約21トークンでした。
RTX 5090では、公開されている他の人の測定で、毎秒61から68トークン。
入力を読む速さは、毎秒3,400から3,700トークンです。
この動画の数値には、低いほうを使います。
(質問)手元の測定を、5090の数字に置き換えて、大丈夫?
5090そのものは測っていないので、公開された測定を借りた見積もりです。
書く速さの比は約3倍で、メモリ帯域の差から見ても、無理のない値です。
部品3: 話す
VoiSona の合成にかかる時間(文字を渡してから、音声を受け取るまで。実測)
| 文の長さ | 音声の長さ | 合成の時間 |
|---|---|---|
| 11文字 | 1.8秒 | 約0.49秒 |
| 31文字 | 5.6秒 | 約0.90秒 |
| 64文字 | 10.2秒 | 約1.53秒 |
・再生より速く作れる。ただし1件ずつしか処理しない ・取り消しは約3ミリ秒。直後の短い文の合成は約0.51秒
話す部品のVoiSonaは、音声が1.8秒の短い文を約0.49秒、10秒ほどの文でも約1.53秒で作れました。
再生より速いです。
ただ、1件ずつしか処理しません。
長い文の合成中に短い文を足すと、単独なら約0.49秒のところ、約2.0秒かかりました。
その代わり、取り消しは約3ミリ秒で、すぐ次の合成に移れました。
組み合わせた応答の時間
質問が終わってから、雨衣が話し始めるまで(3つの質問。RTX 5090換算。単位は秒)
| 質問A | 質問B | 質問C | |
|---|---|---|---|
| 話し終わりの判定(仮定) | 0.3 | 0.3 | 0.3 |
| E4B が文字起こし(実測÷3) | 0.28 | 0.21 | 0.23 |
| 31B が1文目を書く(公開値) | 0.20 | 0.23 | 0.21 |
| VoiSona の合成(実測) | 0.72 | 0.77 | 0.74 |
| 再生の開始(仮定) | 0.05 | 0.05 | 0.05 |
| 合計 | 1.54 | 1.55 | 1.53 |
・2文目からは、前の文の再生(3秒以上)の間に用意できる見込み
3つの部品をつなぐと、質問が終わってから話し始めるまで、どれくらいかかるか。
3つの質問で見積もりました。
数値は、RTX 5090に換算したものです。
話し終わりの判定を0.3秒と仮定し、E4Bの文字起こし、31Bが返事の1文目を書く時間、VoiSonaの合成の時間を足すと、どの質問も約1.5秒でした。
(質問)1.5秒って、会話だと長いの?
測り方が違うので単純には比べられませんが、さっきの自己申告の0.57秒よりは、かなり長めです。
内訳を見ると、半分近くは、1文をまるごと合成する0.7秒台の待ちです。
31Bが書く時間は、0.2秒ほどと小さいです。
残るのは、判定と、文字起こしと、合成です。
速くする案1: つなぎの一言
・返事を読点(、)ごとに合成へ回す(RTX 5090換算): 1.54→1.22秒、1.55→1.13秒、1.53→1.20秒 ・8つの質問の平均: 1.47秒→1.13秒 ・判定の直後に、前もって作った「えーっと、」を流す: 声が出るまで約0.35秒(判定0.3秒・再生の開始0.05秒は仮定)
速くする案の1つ目は、1文を待たずに、読点で区切った節ごとに合成へ回す方法です。
31Bには、読点で短く区切って書くよう頼みました。
計算では、1.5秒ほどかかっていた質問が、約1.1秒から1.2秒になりました。
8つの質問の平均では、1.47秒が1.13秒です。
節ごとに合成すると、抑揚や間は変わりますが、破綻はしませんでした。
さらに、判定の直後に、前もって作った「えーっと、」を流すと、判定を0.3秒と仮定した見積もりで、声が出るまで約0.35秒です。
速くする案2: 話し終わる前から下書き
途中まで聞いて書いた返事の出だしが、全部聞いたときと同じだった数(8つの質問。RTX 5090換算)
| 聞いた割合 | 50% | 65% | 80% | 90% |
|---|---|---|---|---|
| 一致 | 4/8 | 5/8 | 6/8 | 7/8 |
| 当たった問の応答 | 0.35秒 | 0.35秒 | 0.35秒 | 約0.46秒 |
| 8問の平均(外れは1.13秒) | 0.73秒 | 0.63秒 | 0.54秒 | 0.53秒 |
・下書きなし(節ごと)は 1.13秒 ・上限の値: 何%まで聞いたかが分かっている前提
2つ目の案は、相手が話し終わる前から、返事の下書きを始める方法です。
聞く役のE4Bが、そこまでの文字起こしを31Bに渡して、先に書かせます。
8つの質問で、返事の出だしが全部聞いたときと同じだったのは、半分まで聞くと4つ、9割まで聞くと7つでした。
「はい、」のような決まり文句も含みます。
下書きが当たった質問は、約0.35秒から0.46秒で、声が出ます。
外れた質問も入れた8つの平均は、約0.53秒から0.73秒で、下書きなしの1.13秒より、短くなります。
ただ、これは何%まで聞いたかが分かっている前提の、上限の値です。
実際は質問の長さが分からないので、下書きを何度も作り直すことになります。
相づち
・4〜8秒ごとに打つと、打つ瞬間に相手が話していた割合は79%(合成音声の語り、約234秒) ・間の長さ(合成音声の語り): 文の切れ目 864ミリ秒 / 文の中 192ミリ秒 ・二段構え: 短い間は「うん」「はい」、文の区切りの長い間は肯定の一言 ・31Bに文字で8つの候補から選ばせると 7/8(E4Bに音声で直接聞くと 5/8) ・冒頭のデモの肯定の一言は、制作者が手で決めた順
次は相づちです。
4秒から8秒ごとに打つと、打った瞬間に相手が話していた割合は79%。
ほとんど話にかぶります。
そこで、声がある区間とない区間を見分けるVADで、話の間を聞いて打ちます。
短い間には「うん」「はい」、文の区切りの長い間には「そうなんですね」のような肯定の一言、という二段構えです。
(質問)話に合わせて、言葉も選べるの?
31Bに、話の文字を見せて、8つの候補から選ばせると、合ったのは8つ中7つでした。
ただ、「なるほど」だけでも4つ合うので、選べている証拠とまでは言えません。
聞く役のE4Bに、音声から直接選ばせた5つよりは、よい結果でした。
冒頭のデモの一言は、制作者が手で決めた順番です。
短い相づちは、短い間より遅れて始まるので、相手の声に少し重なります。
割り込み
・声の出始めの検出: 中央値78ミリ秒(64ミリ秒続いたら確定) 相づちか割り込みか(16件: 相づち8・割り込み8)
| 見分け方 | 正解 |
|---|---|
| 声の長さだけ(しきい値は同じ16件で選んだ) | 14/16 |
| E4Bで文字起こしし、言葉の一覧に当てる | 16/16(5090換算で約0.09秒) |
| 正しい文字を31Bに見せて聞く | 16/16 |
| E4Bに音声で直接聞く | 13/16 |
・判定まで(5090換算): 「うん」0.49秒、「ちょっと待って」0.69秒
最後は割り込みです。
雨衣が話している途中で相手が声を出したら、止まるかを決めます。
声の立ち上がりは、中央値78ミリ秒で分かりました。
難しいのは、相づちか、止めてほしいのかの見分けです。
16件で試すと、声の長さだけでは14件正解で、短い「待って」と「ストップ」を相づちと間違えました。
E4Bに文字起こしさせ、制作者が決めた相づちの言葉の一覧に当てると、16件すべて正解でした。
正しい文字を31Bに見せて聞いても、16件すべて正解で、音声をE4Bに直接聞くと13件でした。
(質問)見分けるのに、どれくらいかかるの?
話し始めから、「うん」は約0.49秒で相づち、「ちょっと待って」は約0.69秒で割り込みと判定しました。
RTX 5090に換算した値で、どちらも1件ずつの例です。
課題は、VADが短い「うん」を、1つの例で、取りこぼしかけたことと、雨衣自身の声がマイクに回り込むことです。
スピーカーの音を打ち消すエコー除去がないと、かなり小さな音でも、雨衣の声の85%を発話と判定しました。
今の限界と、全二重モデルとの違い
雨衣の声(VoiSona)で返すとき、残る時間(RTX 5090換算) ・判定0.3+文字起こし0.24+31B 0.09+合成0.46+再生0.05(秒) ・話し始めは約1.1秒が、下書きなしの目安 ・全二重のモデル: 聞きながら、声そのものを同時に出す ・相づち・割り込みの課題: 判定の時間、短い相づちの見逃し、声の回り込み
VoiSonaで声を出す限り、最初の節の合成の約0.46秒は残ります。
判定の0.3秒、E4Bの文字起こしの約0.24秒、31Bが最初の節を書く約0.09秒、再生の開始の0.05秒を足すと、約1.1秒が、下書きなしの目安です。
つなぎの一言で声は早く出せても、中身の返事はその後です。
(質問)全二重のモデルとは、何が違うの?
全二重のモデルは、聞きながら、声そのものを同時に出します。
今回の形は、文字を書いてから声にする順番が残ります。
同時に声を出すことを重視するなら全二重のモデル、決まった声をそのまま使いたいなら今回のような組み立て、という選び方になりそうです。
まとめ
・全二重: 聞きながら話す。日本語に対応したモデルの公開が続く ・今ある部品の組み合わせ(5090換算): 話し始めは約1.5秒(8問の平均) ・案1で約1.1秒まで短くなる見込み ・つなぎの一言なら約0.35秒。下書きが当たれば約0.35〜0.5秒(上限) ・相づちは間で打ち、割り込みは文字起こしで見分ける ・冒頭のデモ: 31B中心・裏のモデル付きの形も組み立てた ・規模は小さい。人との会話での確認はまだ
まとめです。
今回の検証では、雨衣の声のまま、質問が終わってから約1.1秒で話し始める形まで、短くできる見込みが立ちました。
数値は、RTX 5090への換算です。
つなぎの一言なら、仮定を含む見積もりで、声が出るまで約0.35秒です。
冒頭のデモのように、会話の中心を大きなモデルにして、調べものを裏のモデルに任せる形も、組み立てられました。
ただし、時間はRTX 5090を想定した仮定の値です。
ただ、質問は3つから8つ、声はどれも合成音声で、仮定も含む小さな実験です。
聞き比べや、人との会話での確認は、まだです。
部品を組み合わせるだけでも、ここまで近づけそうなのは、少し意外でした。
おわりに
・動画の中のデモ音声は、実測と公開の測定値をもとにした、RTX 5090想定のシミュレーションです ・制作者の実測は、手元の環境(RTX 5060 Ti、合成音声の素材)でのものです
今回は「リアルタイムで会話するAI」について解説しました。
最後まで見ていただき、ありがとうございました。
良ければ高評価・チャンネル登録もよろしくお願いします。
それでは、また次の動画でお会いしましょう。
動画版
この解説は動画にもなっています。