あまやどり研究所

トップ

2026-11-15 ・ ▶ 動画でも見られます

リアルタイムで会話するAI

聞きながら同時に話せる「全二重」の音声対話モデルが、日本語でも続けて発表・公開されています。この動画では、そのしくみを公式の説明から整理したうえで、今ある部品(音声を聞ける Gemma 4 E4B、返事を書く Gemma 4 31B、声の VoiSona Talk の雨衣)を組み合わせると、どこまで近づけるかを、制作者の実測と、RTX 5090への換算のシミュレーションで確かめます。

デモ音声は、実際に動くシステムの録音ではなく、測った時間をもとに組み立てたシミュレーションです。返事の中身ではなく、間の長さと相づちの入り方をお聞きください。

解説

まず、手元のモデルで組み立てた会話を聞く

手元のモデルで組み立てた会話(デモ。シミュレーション) ・聞く: E4B / 会話: 31B / 裏の調べもの: Qwen / 声: VoiSona ・時間はRTX 5090想定。動くシステムの録音ではない ・検索は外部のWikipedia API。手元の検索や他のAPIに置き換えられる 聞いてほしいところ: 相づち、つなぎの一言、途中の割り込み、調べている間

先に、手元のモデルで組み立てた会話を、デモで聞いていただきます。

聞く役は、音声を聞けるGemma 4 E4B、会話の中心は、Gemma 4 31B、裏で調べる役は、Qwen3.8 27Bです。

声は、VoiSonaの雨衣です。

デモは、実際に動くシステムの録音ではなく、測った時間をもとに、音声を重ねたシミュレーションです。

時間は、RTX 5090を想定しています。

31Bには、公開されている5090の測定値を使い、E4BとQwen3.8 27Bは、手元の値を3分の1にしました。

声の合成と、検索の通信は、実測のままです。

調べものの検索は、外部のWikipediaのAPIで、ここは別の検索や、外部のAPIに置き換えられます。

質問する人の声は、雨衣の声の設定を変えたもので、返事の中身は、モデルが書いたものです。

内容は、正確とは限りません。

手元のモデルで組み立てた会話

以上のように、ここまで組み立てられました。

ここから、どうしてこうなるのかを、順に見ていきます。

今回の内容

1. リアルタイム会話AIとは 2. 今回の組み立てと、部品の速さ 3. 応答を速くする2つの案 4. 相づちと割り込み 5. 今の限界とまとめ

今回の内容です。

まずしくみを確かめ、次に部品の速さと、速くする案、相づちと割り込みを見ていきます。

リアルタイム会話AIとは

・ターン制: 相手が話し終わってから、考えて話す ・全二重: 聞きながら、同時に話せる(相づち・割り込みも) 最近の、全二重の音声対話モデル

モデル公開・発表作ったところ
LLM-jp-Moshi-v12026年2月25日 公開国立情報学研究所
Shizuku-Duplex2026年11月8日 発表Shizuku AI
Haru-4B2026年11月13日 公開higurashi

会話するAIには、2つの形があります。

1つは、相手が話し終わってから考えて話す形で、ここではターン制と呼びます。

もう1つは、聞きながら同時に話せる形で、全二重といいます。

電話のように、両方向に同時に音が流れることです。

相づちを打ったり、割り込まれたら止まったりできます。

(質問)人どうしなら、普通のことだよね?

はい。

それを機械でやる全二重のモデルが、今年に入って続けて出てきました。

LLM-jp-Moshi、Shizuku-Duplex、Haru-4Bなどです。

全二重のしくみ

Shizuku-Duplex の公式ブログの説明 ・80ミリ秒を1単位に、聞くことと声・文字・動作を毎回一緒に処理 ・声より少し先に書くひとりごとを使い、話し始め・黙るをモデルが決める ・2層: 会話を続ける担当(interaction model)と、検索などを裏で進める担当(background model) ・約5分ごとに会話を要約して、文脈を作り直す 参考: Kyutai の Moshi も、80ミリ秒ごと(毎秒12.5フレーム)

Shizuku-Duplexの公式ブログの説明で、しくみを見てみます。

80ミリ秒を1つの単位として、聞くことと、声や文字や動作を出すことを、毎回、一緒に処理します。

声より少し先に、話す内容を文字で書く「ひとりごと」を使い、いつ話し始め、いつ黙るかを、モデル自身が決めるそうです。

また、会話を続ける担当と、検索などを裏で進める担当の、2層に分けているそうです。

公開の状況

モデル重み補足
LLM-jp-Moshi-v1公開(Apache 2.0)約7B(70億)パラメータ
Haru-4B公開(Apache 2.0。Hugging Face のモデルカード)研究向けの事前学習済みベース。コードは GitHub
Shizuku-Duplex公式ブログに記載なし2026年11月14日に確認

・Shizuku-Duplex: 話し終わりから返答まで中央値0.57秒(同社の自己申告) ・Haru-4B: 音声の入力から出力まで約65ミリ秒(MacBook・int8。返答までの時間ではない)

公開の状況です。

LLM-jp-Moshiは、商用でも使えるApache 2.0のライセンスで公開されています。

Haru-4Bは、重みがApache 2.0で、事前学習済みのモデルとして公開され、コードもGitHubで公開されています。

Shizuku-Duplexは、重みの公開やAPI、価格について、11月14日の時点で、公式ブログに記載がありませんでした。

速さは、Shizuku-Duplexが、話し終わりから返答まで中央値0.57秒としています。

サーバー側の録音での値で、通信の往復は含みません。

自社の日本語のベンチマークでの、自己申告の値です。

Haru-4Bの約65ミリ秒は、公式ブログでは、MacBookで音声を受け取ってから出力するまでの処理の遅延で、返答までの時間ではありません。

音声をまとめるための待ちは、最大133ミリ秒が別に加わると、公式ブログにあります。

今回の組み立て

雨衣の声(VoiSona)のまま、今ある部品をつないで、どこまで近づけるか

層役目今回の部品
聞き取り相手の声を聞いて、文字にするGemma 4 E4B
会話返事の文を書く(文字だけを入力)Gemma 4 31B
声返事を声にするVoiSona
裏の調べもの時間のかかる処理を、後ろで進めるQwen3.8 27B(冒頭のデモのみ)

・数値は、制作者の実測と、公開の測定を使った、RTX 5090換算のシミュレーション

全二重のモデルは、声そのものもモデルが出します。

今回の検証では、この雨衣の声、つまりVoiSonaの声のまま、部品をつないでどこまで近づけるかを測りました。

部品は4つです。

聞いて文字にする、Gemma 4 E4B。

返事を書く、Gemma 4 31B。

声にする、VoiSona。

そして、調べものを裏で進める、Qwenです。

31Bは音声を受け取れないので、聞く役と書く役は、別のモデルです。

冒頭のデモでは、4つとも手元で動かしました。

ここから見る部品ごとの測定は、聞く、書く、声にする、の3つです。

部品1: 聞く

Gemma 4 E4B(音声の入力は最大30秒、出力は文字だけ) 制作者の実測(RTX 5060 Ti 16GB、bf16、5回の中央値)

測ったこと結果
音声1秒あたり25トークン
直近の音声を聞いて1語で判定(1秒分/30秒分)約90/185ミリ秒
短い質問(約4秒)の文字起こし(8問の中央値)約0.7秒(5090換算で約0.25秒)

・約100ミリ秒ごとに聞き直せる(判定の中身ではなく、動く速さ) ・「話し終わったか」をゼロショットで聞くと、12件すべて「待つ」 ・聞いた音の変換は約0.48秒ごとに確定(使い回しは未確認)

まず、聞く部品の、Gemma 4 E4Bです。

制作者の測定は、GPUがRTX 5060 Tiの16ギガバイト1枚で、各値は5回の中央値です。

音声1秒は、25個のトークンになります。

トークンは、モデルが扱う小さな単位です。

聞いた音声を文字にする速さは、約4秒の質問で、約0.7秒です。

RTX 5090なら3分の1の約0.25秒と見積もります。

直近の音声を聞かせて、ひと言で答えさせると、1秒分で約90ミリ秒、30秒分でも約185ミリ秒。

約100ミリ秒ごとに聞き直せる速さです。

(質問)それなら、話し終わりもすぐ分かる?

それが、うまくいきませんでした。

例を見せずにいきなり答えさせるゼロショットでは、12件すべて「まだ待つ」でした。

部品2: 会話の中心

Gemma 4 31B(文字を入力して、返事の文字を出す。Q4_K_M、約19GB)

条件返事を書く速さ入力を読む速さ
制作者の実測(RTX 5060 Ti 16GB 2枚、Ollama)毎秒約21トークン未測定
RTX 5090の公開の測定(llama.cpp、4Kの文脈)毎秒61トークン毎秒3,395トークン
別の公開の測定毎秒68.5トークン毎秒3,698トークン

・この動画の5090換算は、低いほうの公開値(61と3,395)を使う ・31Bは音声を入力できない。聞く役は E4B のまま

次は、会話の中心の、Gemma 4 31Bです。

文字を入れて、返事の文字を出します。

音声は入れられないので、聞く役は、さっきのE4Bのままです。

速さは、制作者の手元のRTX 5060 Ti 2枚で、毎秒約21トークンでした。

RTX 5090では、公開されている他の人の測定で、毎秒61から68トークン。

入力を読む速さは、毎秒3,400から3,700トークンです。

この動画の数値には、低いほうを使います。

(質問)手元の測定を、5090の数字に置き換えて、大丈夫?

5090そのものは測っていないので、公開された測定を借りた見積もりです。

書く速さの比は約3倍で、メモリ帯域の差から見ても、無理のない値です。

部品3: 話す

VoiSona の合成にかかる時間(文字を渡してから、音声を受け取るまで。実測)

文の長さ音声の長さ合成の時間
11文字1.8秒約0.49秒
31文字5.6秒約0.90秒
64文字10.2秒約1.53秒

・再生より速く作れる。ただし1件ずつしか処理しない ・取り消しは約3ミリ秒。直後の短い文の合成は約0.51秒

話す部品のVoiSonaは、音声が1.8秒の短い文を約0.49秒、10秒ほどの文でも約1.53秒で作れました。

再生より速いです。

ただ、1件ずつしか処理しません。

長い文の合成中に短い文を足すと、単独なら約0.49秒のところ、約2.0秒かかりました。

その代わり、取り消しは約3ミリ秒で、すぐ次の合成に移れました。

組み合わせた応答の時間

質問が終わってから、雨衣が話し始めるまで(3つの質問。RTX 5090換算。単位は秒)

質問A質問B質問C
話し終わりの判定(仮定)0.30.30.3
E4B が文字起こし(実測÷3)0.280.210.23
31B が1文目を書く(公開値)0.200.230.21
VoiSona の合成(実測)0.720.770.74
再生の開始(仮定)0.050.050.05
合計1.541.551.53

・2文目からは、前の文の再生(3秒以上)の間に用意できる見込み

3つの部品をつなぐと、質問が終わってから話し始めるまで、どれくらいかかるか。

3つの質問で見積もりました。

数値は、RTX 5090に換算したものです。

話し終わりの判定を0.3秒と仮定し、E4Bの文字起こし、31Bが返事の1文目を書く時間、VoiSonaの合成の時間を足すと、どの質問も約1.5秒でした。

(質問)1.5秒って、会話だと長いの?

測り方が違うので単純には比べられませんが、さっきの自己申告の0.57秒よりは、かなり長めです。

内訳を見ると、半分近くは、1文をまるごと合成する0.7秒台の待ちです。

31Bが書く時間は、0.2秒ほどと小さいです。

残るのは、判定と、文字起こしと、合成です。

速くする案1: つなぎの一言

・返事を読点(、)ごとに合成へ回す(RTX 5090換算): 1.54→1.22秒、1.55→1.13秒、1.53→1.20秒 ・8つの質問の平均: 1.47秒→1.13秒 ・判定の直後に、前もって作った「えーっと、」を流す: 声が出るまで約0.35秒(判定0.3秒・再生の開始0.05秒は仮定)

速くする案の1つ目は、1文を待たずに、読点で区切った節ごとに合成へ回す方法です。

31Bには、読点で短く区切って書くよう頼みました。

計算では、1.5秒ほどかかっていた質問が、約1.1秒から1.2秒になりました。

8つの質問の平均では、1.47秒が1.13秒です。

節ごとに合成すると、抑揚や間は変わりますが、破綻はしませんでした。

さらに、判定の直後に、前もって作った「えーっと、」を流すと、判定を0.3秒と仮定した見積もりで、声が出るまで約0.35秒です。

速くする案2: 話し終わる前から下書き

途中まで聞いて書いた返事の出だしが、全部聞いたときと同じだった数(8つの質問。RTX 5090換算)

聞いた割合50%65%80%90%
一致4/85/86/87/8
当たった問の応答0.35秒0.35秒0.35秒約0.46秒
8問の平均(外れは1.13秒)0.73秒0.63秒0.54秒0.53秒

・下書きなし(節ごと)は 1.13秒 ・上限の値: 何%まで聞いたかが分かっている前提

2つ目の案は、相手が話し終わる前から、返事の下書きを始める方法です。

聞く役のE4Bが、そこまでの文字起こしを31Bに渡して、先に書かせます。

8つの質問で、返事の出だしが全部聞いたときと同じだったのは、半分まで聞くと4つ、9割まで聞くと7つでした。

「はい、」のような決まり文句も含みます。

下書きが当たった質問は、約0.35秒から0.46秒で、声が出ます。

外れた質問も入れた8つの平均は、約0.53秒から0.73秒で、下書きなしの1.13秒より、短くなります。

ただ、これは何%まで聞いたかが分かっている前提の、上限の値です。

実際は質問の長さが分からないので、下書きを何度も作り直すことになります。

相づち

・4〜8秒ごとに打つと、打つ瞬間に相手が話していた割合は79%(合成音声の語り、約234秒) ・間の長さ(合成音声の語り): 文の切れ目 864ミリ秒 / 文の中 192ミリ秒 ・二段構え: 短い間は「うん」「はい」、文の区切りの長い間は肯定の一言 ・31Bに文字で8つの候補から選ばせると 7/8(E4Bに音声で直接聞くと 5/8) ・冒頭のデモの肯定の一言は、制作者が手で決めた順

次は相づちです。

4秒から8秒ごとに打つと、打った瞬間に相手が話していた割合は79%。

ほとんど話にかぶります。

そこで、声がある区間とない区間を見分けるVADで、話の間を聞いて打ちます。

短い間には「うん」「はい」、文の区切りの長い間には「そうなんですね」のような肯定の一言、という二段構えです。

(質問)話に合わせて、言葉も選べるの?

31Bに、話の文字を見せて、8つの候補から選ばせると、合ったのは8つ中7つでした。

ただ、「なるほど」だけでも4つ合うので、選べている証拠とまでは言えません。

聞く役のE4Bに、音声から直接選ばせた5つよりは、よい結果でした。

冒頭のデモの一言は、制作者が手で決めた順番です。

短い相づちは、短い間より遅れて始まるので、相手の声に少し重なります。

割り込み

・声の出始めの検出: 中央値78ミリ秒(64ミリ秒続いたら確定) 相づちか割り込みか(16件: 相づち8・割り込み8)

見分け方正解
声の長さだけ(しきい値は同じ16件で選んだ)14/16
E4Bで文字起こしし、言葉の一覧に当てる16/16(5090換算で約0.09秒)
正しい文字を31Bに見せて聞く16/16
E4Bに音声で直接聞く13/16

・判定まで(5090換算): 「うん」0.49秒、「ちょっと待って」0.69秒

最後は割り込みです。

雨衣が話している途中で相手が声を出したら、止まるかを決めます。

声の立ち上がりは、中央値78ミリ秒で分かりました。

難しいのは、相づちか、止めてほしいのかの見分けです。

16件で試すと、声の長さだけでは14件正解で、短い「待って」と「ストップ」を相づちと間違えました。

E4Bに文字起こしさせ、制作者が決めた相づちの言葉の一覧に当てると、16件すべて正解でした。

正しい文字を31Bに見せて聞いても、16件すべて正解で、音声をE4Bに直接聞くと13件でした。

(質問)見分けるのに、どれくらいかかるの?

話し始めから、「うん」は約0.49秒で相づち、「ちょっと待って」は約0.69秒で割り込みと判定しました。

RTX 5090に換算した値で、どちらも1件ずつの例です。

課題は、VADが短い「うん」を、1つの例で、取りこぼしかけたことと、雨衣自身の声がマイクに回り込むことです。

スピーカーの音を打ち消すエコー除去がないと、かなり小さな音でも、雨衣の声の85%を発話と判定しました。

今の限界と、全二重モデルとの違い

雨衣の声(VoiSona)で返すとき、残る時間(RTX 5090換算) ・判定0.3+文字起こし0.24+31B 0.09+合成0.46+再生0.05(秒) ・話し始めは約1.1秒が、下書きなしの目安 ・全二重のモデル: 聞きながら、声そのものを同時に出す ・相づち・割り込みの課題: 判定の時間、短い相づちの見逃し、声の回り込み

VoiSonaで声を出す限り、最初の節の合成の約0.46秒は残ります。

判定の0.3秒、E4Bの文字起こしの約0.24秒、31Bが最初の節を書く約0.09秒、再生の開始の0.05秒を足すと、約1.1秒が、下書きなしの目安です。

つなぎの一言で声は早く出せても、中身の返事はその後です。

(質問)全二重のモデルとは、何が違うの?

全二重のモデルは、聞きながら、声そのものを同時に出します。

今回の形は、文字を書いてから声にする順番が残ります。

同時に声を出すことを重視するなら全二重のモデル、決まった声をそのまま使いたいなら今回のような組み立て、という選び方になりそうです。

まとめ

・全二重: 聞きながら話す。日本語に対応したモデルの公開が続く ・今ある部品の組み合わせ(5090換算): 話し始めは約1.5秒(8問の平均) ・案1で約1.1秒まで短くなる見込み ・つなぎの一言なら約0.35秒。下書きが当たれば約0.35〜0.5秒(上限) ・相づちは間で打ち、割り込みは文字起こしで見分ける ・冒頭のデモ: 31B中心・裏のモデル付きの形も組み立てた ・規模は小さい。人との会話での確認はまだ

まとめです。

今回の検証では、雨衣の声のまま、質問が終わってから約1.1秒で話し始める形まで、短くできる見込みが立ちました。

数値は、RTX 5090への換算です。

つなぎの一言なら、仮定を含む見積もりで、声が出るまで約0.35秒です。

冒頭のデモのように、会話の中心を大きなモデルにして、調べものを裏のモデルに任せる形も、組み立てられました。

ただし、時間はRTX 5090を想定した仮定の値です。

ただ、質問は3つから8つ、声はどれも合成音声で、仮定も含む小さな実験です。

聞き比べや、人との会話での確認は、まだです。

部品を組み合わせるだけでも、ここまで近づけそうなのは、少し意外でした。

おわりに

・動画の中のデモ音声は、実測と公開の測定値をもとにした、RTX 5090想定のシミュレーションです ・制作者の実測は、手元の環境(RTX 5060 Ti、合成音声の素材)でのものです

今回は「リアルタイムで会話するAI」について解説しました。

最後まで見ていただき、ありがとうございました。

良ければ高評価・チャンネル登録もよろしくお願いします。

それでは、また次の動画でお会いしましょう。

動画版

この解説は動画にもなっています。

YouTubeで見る ↗