AI共同ホスト

配信中に会話できるAIの相棒。チャットも読めます。

2つの使い方

音声の共同ホスト

次のページでAIに声で話しかけます: cohost.html。音声で応答し、頼むとチャットの内容についても話せます。

設定する

Dockのボタン

Dockのチャットメッセージを右クリックします。AIアバターが読み上げるか、回答や軽いツッコミの下書きを作り、先にあなたが承認します。

設定する

どちらもOBSでアバターと吹き出しを表示します。使用するのは、 AIステージオーバーレイ, cohost-overlay.html.

音声共同ホストを使う8つの手順

使用するのは、 OpenAI Realtimeのため、OpenAI APIキーが必要です。ほかには次の選択肢があります: (下記).

  1. Social Streamのポップアップで次を選びます: ChatGPT API、OpenAIプロジェクトのAPIキーを貼り付けて、次をクリックします: 選択したチャットボットをテスト.
  2. 開く項目: cohost.html のリンクをポップアップから取得します。このリンクは公開しないでください。
  3. 選択する項目: OpenAI Realtime.
  4. 話しかけるマイクを選びます。次の設定は、 音声応答(Audio Response) を選択したままにします。
  5. を押す 共同司会を開始(Start Co-host).
  6. 次はそのままにします: ライブチャット で コンテキストのみ(Context only)。「チャットは何と言っている?」といつでも尋ねられます。
  7. OBSでは共同ホストのページまたはアプリの音声を取り込んでください。AIの声はそこでのみ再生されます。
  8. 追加する項目: cohost-overlay.html?session=YOUR_SESSION_ID をOBSのBrowser Sourceとして追加すると、アバターと吹き出しを表示できます。
メディアデバイス、AIプロバイダー設定、システム指示、ライブチャットの状態を示すcohost.htmlの操作ページ
共同ホストページ:マイク、AIプロバイダー、指示、ライブチャットの状態。
OBSで専用の音声トラックを使いますか? 次の項目で仮想オーディオケーブルを選びます: 共同司会の出力。対応する環境で利用できます。音が聞こえない視聴者も内容を追えるよう、吹き出しも表示してください。
画面やカメラを見せますか? 任意です。映像は次の状態で開始します: 映像なし(No Video)。次を選んだ場合は、 画面共有(Screen Share) やカメラを選ぶと、話しかけるか文字を送るたびにOpenAIへ画像を1枚送ります。ライブ映像ではありません。料金や遅延が増える場合があります。
プライバシー: マイク、選択した画面やカメラ、共有するチャットメッセージはOpenAIへ送られます。視聴者がチャットから共同ホストのツールを実行することはできません。共同ホストのリンクは12時間で期限切れになり、自分のセッションでのみ有効で、読み込み後はアドレスバーから取り除かれます。
OpenAI Realtimeの詳細
  • OpenAI APIアカウントに課金されます。chatgpt.comとは別の機能で、ChatGPTのサイトやアプリの会話には参加しません。
  • 通常のキーはSocial Stream内に保管されます。共同ホストページが受け取るのは短期間有効な認証情報だけです。
  • この機能のためにPrivate Chat Botを有効にする必要はありません。
  • 回答は出力512トークンまでに制限されます。 診断 は合計トークン使用量と回答開始までの速さを示します。
  • 話し始めて割り込むと、再生を止めて未再生の音声を破棄します。
  • 寄付、メンバーシップ、モデレーター、イベント、チャンネル情報を含む最新のチャットを最大20件、最長90秒保持し、その後忘れます。
  • 接続が切れると自動で再接続し、OpenAIの60分制限に達する前に新しいセッションを開始します。指示と速度設定は引き継がれますが、音声での会話は忘れます。

あなたのチャットの使い方

同じ設定で共同ホストページを開きます: session をSocial Streamと揃えると、ライブチャットを参照できます。動作は次で選びます: ライブチャット.

Live Chatの設定動作
文脈としてのみ使用し、聞かれたときに回答(初期設定)最近のメッセージを覚え、チャットについて質問されるまで黙っています。
質問とメンションに音声で答える質問やメンションに自動で音声応答します。
すべてのメッセージに音声で答えるすべてのメッセージに音声で答えます。

どの機能もYouTube、Twitch、Kickのチャットには返信を投稿しません。 コンテキストのみ(Context only) がチャットをAIに渡すのはOpenAI Realtimeを使う場合だけです。ほかのプロバイダーはチャットを監視しますが、AIには渡しません。

OpenAIを使わずに音声を利用する

実行する環境あなたの声を認識する方法
SSNデスクトップアプリパソコン上で動くWhisperです。初回は約42MBをダウンロードし、その後はオフラインで動きます。
Chrome(拡張機能のリンク)Chromeの音声認識です。インターネット接続が必要な場合があります。
その他のブラウザー音声は動作しない場合があります。文字入力、ライブチャット、カメラや画面、AIの回答は利用できる場合があります。

声が認識されるかを確認するには、次を開きます: 診断。次の表示になるはずです: 聞き取り中(Desktop Whisper) または 聞き取り中(OpenAI WebRTC)。話した内容が次の欄に表示されます: 認識した発言(Heard).

テスト用の無料AI

  1. 開く項目: Chat Bots and AI services → Configure LLM Service Provider.
  2. 選択する項目: SSNホスト型試用LLM(実験的).
  3. エンドポイント、トークン、モデルは空欄にします。

お試し提供中は無料ですが、無効化や利用制限の対象になる場合があります。継続利用には自分のトークンを追加するか、ローカルAIを使ってください。

Dockのボタンを使う5つの手順

  1. Dockを開く: dock.html?session=YOUR_SESSION_ID.
  2. ステージオーバーレイをOBSに追加: cohost-overlay.html?session=YOUR_SESSION_ID。追加する項目: &tts を、読み上げさせる場合に使います。
  3. ポップアップでAIプロバイダーを設定します。手軽に試すには、 SSNホスト型試用LLM(SSN Hosted Trial LLM).
  4. オンにする項目: Chat Bots and AI services → Chat Bot - Private Interface → Enable private chat bot option.
  5. Dockのメッセージを右クリックして、次を選びます: 共同司会(Co-host).
Co-hostメニューがありませんか? Dockが同じセッションのステージオーバーレイを検出してから表示されます。
ボタン動作必要なもの
共同司会で読み上げ(Read on Co-host)アバターがメッセージを読み上げます。ステージオーバーレイの接続が必要です。AIは不要です。
回答(Answer)承認用の短い回答の下書きを作成します。Private Chat Botを有効にし、AIプロバイダーも設定します。
軽いツッコミ(Light Roast)承認用に、短く遊び心のある、子どもにも配慮した軽いツッコミの下書きを作成します。Private Chat Botを有効にし、AIプロバイダーも設定します。
読み上げ(Speak)承認した下書きをオーバーレイへ送ります。下書きです。
コピー送信せずに下書きをコピーします。下書きです。

AIの下書きは、次をクリックするまで読み上げられません: 読み上げ(Speak)。承認は配信に映らないDockで行います。

右クリックメニューはまだキーボードで操作できません。キーボードを使う場合は、次のページで入力または音声で話せます: cohost.html を代わりに使います。

速度、品質、料金(OpenAI)

設定より速く安く賢さ重視、速度は低下
モデルMini最高品質(料金は高くなります)
推論の強さMinimalまたはLowHighまたはExtra high(料金は高くなります)
応答までの待機時間Fastは話し終えてから約2秒待ちます。途中の間に割り込むことがあります。Balancedは約4秒、Patientは約8秒です。

推論の設定変更は接続中でも反映されます。 診断 は回答が始まるまでの時間を示します。ネットワークやOpenAIの負荷により変動します。

配信の操作を任せる

共同ホストはSpotifyの再生、OBSシーンの切り替え、チャットメッセージの表示ができます。すべて初期設定では無効です。OpenAI Realtimeは3つとも対応し、SSN Configured LLMはSpotifyのみに対応します。ほかのプロバイダーはまだ対応していません。

  1. Social Streamのポップアップで、使いたいツールだけをオンにしてください。
  2. OBSでは、切り替えを許可するシーン名を正確に、カンマ区切りで入力します。次の設定は、 actions.html をOBSに接続するか、Full PermissionsのOBS Browser Sourceを使います。
  3. 次のページで: cohost.htmlで、次を開きます: 共同司会の配信操作 で同じツールを有効にします。
  4. 「BRBに切り替えて」「最後のメッセージを表示して」「注目チャットを消して」などと声で頼みます。
ツールを起動できるのはあなただけです。 視聴者は使えません。1回の要求で1つのツールを実行し、指定リスト内のシーンだけを選びます。メッセージ表示にはDockを開く必要があります。「完了」という返事は要求の送信を意味し、OBSやオーバーレイで処理が完了した保証ではありません。

問題を解決する

問題試すこと
DockにCo-hostメニューがない同じセッションでステージオーバーレイが開かれていません。Primary chat bot overlayの切り替えは関係ありません。
AnswerまたはLight Roastがグレー表示になるPrivate Chat Botを有効にし、Social Streamが動いているか確認してください。
Answer、Light Roast、SSN Configured LLMがタイムアウトするSocial Streamが有効で、セッションが一致し、Private Chat Botがオンで、AIプロバイダーに接続できるか確認してください。
共同ホストページにチャットが届かない同じ値を使います: session をポップアップと揃えます。Live ChatはOff以外に設定してください。
チャットは把握しているが話さないContext onlyでは正常な動作です。チャットの内容を尋ねるか、 別のモードを選んでください.
OBSに何も表示されないクリックする項目: オーバーレイをテスト(Test overlay) を共同ホストページで開き、行が表示されることを確認します。
文字は表示されるが声が出ない(OpenAI)確認する項目: 音声応答(Audio Response)、ブラウザーの音声再生許可、OBSが共同ホストページの音声を取り込んでいるかを確認してください。この用途では &tts は使わないでください。
2つの声が同時に聞こえる削除 &forcetts をオーバーレイのリンクから削除します。
認識した発言(Heard) が空のまま(デスクトップ)マイクのミュートを確認し、初回ダウンロードが終わるまで待ってください。
認識した発言(Heard) が空のまま(Chrome)マイクを許可し、パソコンの既定のマイク、インターネット接続、Chromeの音声認識が利用できるかを確認してください。
回答が遅いMini、推論Low、応答タイミングFastを試してください。DiagnosticsのLatencyの行で比較できます。
OpenAIが何度も切断される再試行中は実行したままにしてください。失敗の内容はDiagnosticsに表示されます。
配信操作ツールが見つからないポップアップとCo-host Stream Controlsの両方で有効にしてください。OBSには少なくとも1つのシーン名が必要です。
無料お試しAIが応答しなくなった無効化または利用制限されている可能性があります。自分のトークン、Ollama、Custom APIを使ってください。
ローカルGemmaをダウンロードできないアセットの配信先を、自分で用意したGemmaファイルのコピーに設定してください。
複数のオーバーレイが開いているオーバーレイのラベルとDockの送信先が一致しているか確認してください。初期値は cohost-overlay.
ミュートと音量のボタン
  • マイクをミュート で共同ホストへのマイク音声の送信を止めます。
  • 共同司会の声をミュート、音量スライダー、出力選択、次の設定を確認してください: 読み上げを停止 で聞こえる音を調整します。
  • 共有システム音声をミュート は別の設定で、画面を扱えるプロバイダーを使う場合にのみ表示されます。

次の設定を末尾に追加します: cohost-overlay.html リンク。

したいこと…リンクに追加
自分のSocial Streamに接続(必須)?session=YOUR_SESSION_ID
オーバーレイに読み上げさせる(Dockでの操作)&tts または &speak=1
共同ホストページが話していてもオーバーレイを読み上げさせる(音声が二重になります)&forcetts
オーバーレイのラベルを設定する&label=cohost-overlay
表示名を変更する&name=NinjaBot
自分のアバターを使う&avatar=https://…
位置を動かす&position=bottom-right
大きさを変える&scale=1.2
接続状態を表示する&status

共同ホストページがすでに音声を再生している場合、二重に聞こえないようオーバーレイは自分の読み上げを省きます。 &forcetts で無効になります。

ページ間の通信(開発者向け)

メッセージ形式と設計メモ

Dockとオーバーレイは通常のSocial Streamセッションブリッジで接続します。メッセージは次の形式で送信します: overlayNinja というペイロードで、ラベルにより送信先を指定します。

共同司会で読み上げ(Read on Co-host): では、Dockが選択したメッセージを直接送信します。送信先: cohost-overlay.html.

回答 / 軽いツッコミ(Answer / Light Roast): では、Dockがバックグラウンドのプライベートチャットボットに依頼して下書きを表示し、Speakをクリックしてからオーバーレイへ送信します。

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}
  • Dockでテキストを使う場合、オーバーレイが画像と任意のTTS音声を担当します。OpenAIの音声には、次を取り込みます: cohost.html の音声を別に取り込みます。オーバーレイはそのWebRTC音声を再生しません。
  • 追加のコマンド詳細を入れる場所: meta。これにより、オーバーレイや自動化が扱うデータの形式を一定に保てます。