2つの使い方
次のページでAIに声で話しかけます: cohost.html。音声で応答し、頼むとチャットの内容についても話せます。
Dockのチャットメッセージを右クリックします。AIアバターが読み上げるか、回答や軽いツッコミの下書きを作り、先にあなたが承認します。
どちらもOBSでアバターと吹き出しを表示します。使用するのは、 AIステージオーバーレイ, cohost-overlay.html.
音声共同ホストを使う8つの手順
使用するのは、 OpenAI Realtimeのため、OpenAI APIキーが必要です。ほかには次の選択肢があります: (下記).
- Social Streamのポップアップで次を選びます: ChatGPT API、OpenAIプロジェクトのAPIキーを貼り付けて、次をクリックします: 選択したチャットボットをテスト.
- 開く項目:
cohost.htmlのリンクをポップアップから取得します。このリンクは公開しないでください。 - 選択する項目: OpenAI Realtime.
- 話しかけるマイクを選びます。次の設定は、 音声応答(Audio Response) を選択したままにします。
- を押す 共同司会を開始(Start Co-host).
- 次はそのままにします: ライブチャット で コンテキストのみ(Context only)。「チャットは何と言っている?」といつでも尋ねられます。
- OBSでは共同ホストのページまたはアプリの音声を取り込んでください。AIの声はそこでのみ再生されます。
- 追加する項目:
cohost-overlay.html?session=YOUR_SESSION_IDをOBSのBrowser Sourceとして追加すると、アバターと吹き出しを表示できます。
OpenAI Realtimeの詳細
- OpenAI APIアカウントに課金されます。chatgpt.comとは別の機能で、ChatGPTのサイトやアプリの会話には参加しません。
- 通常のキーはSocial Stream内に保管されます。共同ホストページが受け取るのは短期間有効な認証情報だけです。
- この機能のためにPrivate Chat Botを有効にする必要はありません。
- 回答は出力512トークンまでに制限されます。 診断 は合計トークン使用量と回答開始までの速さを示します。
- 話し始めて割り込むと、再生を止めて未再生の音声を破棄します。
- 寄付、メンバーシップ、モデレーター、イベント、チャンネル情報を含む最新のチャットを最大20件、最長90秒保持し、その後忘れます。
- 接続が切れると自動で再接続し、OpenAIの60分制限に達する前に新しいセッションを開始します。指示と速度設定は引き継がれますが、音声での会話は忘れます。
あなたのチャットの使い方
同じ設定で共同ホストページを開きます: session をSocial Streamと揃えると、ライブチャットを参照できます。動作は次で選びます: ライブチャット.
| Live Chatの設定 | 動作 |
|---|---|
| 文脈としてのみ使用し、聞かれたときに回答(初期設定) | 最近のメッセージを覚え、チャットについて質問されるまで黙っています。 |
| 質問とメンションに音声で答える | 質問やメンションに自動で音声応答します。 |
| すべてのメッセージに音声で答える | すべてのメッセージに音声で答えます。 |
どの機能もYouTube、Twitch、Kickのチャットには返信を投稿しません。 コンテキストのみ(Context only) がチャットをAIに渡すのはOpenAI Realtimeを使う場合だけです。ほかのプロバイダーはチャットを監視しますが、AIには渡しません。
OpenAIを使わずに音声を利用する
| 実行する環境 | あなたの声を認識する方法 |
|---|---|
| SSNデスクトップアプリ | パソコン上で動くWhisperです。初回は約42MBをダウンロードし、その後はオフラインで動きます。 |
| Chrome(拡張機能のリンク) | Chromeの音声認識です。インターネット接続が必要な場合があります。 |
| その他のブラウザー | 音声は動作しない場合があります。文字入力、ライブチャット、カメラや画面、AIの回答は利用できる場合があります。 |
声が認識されるかを確認するには、次を開きます: 診断。次の表示になるはずです: 聞き取り中(Desktop Whisper) または 聞き取り中(OpenAI WebRTC)。話した内容が次の欄に表示されます: 認識した発言(Heard).
テスト用の無料AI
- 開く項目: Chat Bots and AI services → Configure LLM Service Provider.
- 選択する項目: SSNホスト型試用LLM(実験的).
- エンドポイント、トークン、モデルは空欄にします。
お試し提供中は無料ですが、無効化や利用制限の対象になる場合があります。継続利用には自分のトークンを追加するか、ローカルAIを使ってください。
Dockのボタンを使う5つの手順
- Dockを開く:
dock.html?session=YOUR_SESSION_ID. - ステージオーバーレイをOBSに追加:
cohost-overlay.html?session=YOUR_SESSION_ID。追加する項目:&ttsを、読み上げさせる場合に使います。 - ポップアップでAIプロバイダーを設定します。手軽に試すには、 SSNホスト型試用LLM(SSN Hosted Trial LLM).
- オンにする項目: Chat Bots and AI services → Chat Bot - Private Interface → Enable private chat bot option.
- Dockのメッセージを右クリックして、次を選びます: 共同司会(Co-host).
| ボタン | 動作 | 必要なもの |
|---|---|---|
| 共同司会で読み上げ(Read on Co-host) | アバターがメッセージを読み上げます。 | ステージオーバーレイの接続が必要です。AIは不要です。 |
| 回答(Answer) | 承認用の短い回答の下書きを作成します。 | Private Chat Botを有効にし、AIプロバイダーも設定します。 |
| 軽いツッコミ(Light Roast) | 承認用に、短く遊び心のある、子どもにも配慮した軽いツッコミの下書きを作成します。 | Private Chat Botを有効にし、AIプロバイダーも設定します。 |
| 読み上げ(Speak) | 承認した下書きをオーバーレイへ送ります。 | 下書きです。 |
| コピー | 送信せずに下書きをコピーします。 | 下書きです。 |
AIの下書きは、次をクリックするまで読み上げられません: 読み上げ(Speak)。承認は配信に映らないDockで行います。
右クリックメニューはまだキーボードで操作できません。キーボードを使う場合は、次のページで入力または音声で話せます: cohost.html を代わりに使います。
速度、品質、料金(OpenAI)
| 設定 | より速く安く | 賢さ重視、速度は低下 |
|---|---|---|
| モデル | Mini | 最高品質(料金は高くなります) |
| 推論の強さ | MinimalまたはLow | HighまたはExtra high(料金は高くなります) |
| 応答までの待機時間 | Fastは話し終えてから約2秒待ちます。途中の間に割り込むことがあります。 | Balancedは約4秒、Patientは約8秒です。 |
推論の設定変更は接続中でも反映されます。 診断 は回答が始まるまでの時間を示します。ネットワークやOpenAIの負荷により変動します。
配信の操作を任せる
共同ホストはSpotifyの再生、OBSシーンの切り替え、チャットメッセージの表示ができます。すべて初期設定では無効です。OpenAI Realtimeは3つとも対応し、SSN Configured LLMはSpotifyのみに対応します。ほかのプロバイダーはまだ対応していません。
- Social Streamのポップアップで、使いたいツールだけをオンにしてください。
- OBSでは、切り替えを許可するシーン名を正確に、カンマ区切りで入力します。次の設定は、
actions.htmlをOBSに接続するか、Full PermissionsのOBS Browser Sourceを使います。 - 次のページで:
cohost.htmlで、次を開きます: 共同司会の配信操作 で同じツールを有効にします。 - 「BRBに切り替えて」「最後のメッセージを表示して」「注目チャットを消して」などと声で頼みます。
問題を解決する
| 問題 | 試すこと |
|---|---|
| DockにCo-hostメニューがない | 同じセッションでステージオーバーレイが開かれていません。Primary chat bot overlayの切り替えは関係ありません。 |
| AnswerまたはLight Roastがグレー表示になる | Private Chat Botを有効にし、Social Streamが動いているか確認してください。 |
| Answer、Light Roast、SSN Configured LLMがタイムアウトする | Social Streamが有効で、セッションが一致し、Private Chat Botがオンで、AIプロバイダーに接続できるか確認してください。 |
| 共同ホストページにチャットが届かない | 同じ値を使います: session をポップアップと揃えます。Live ChatはOff以外に設定してください。 |
| チャットは把握しているが話さない | Context onlyでは正常な動作です。チャットの内容を尋ねるか、 別のモードを選んでください. |
| OBSに何も表示されない | クリックする項目: オーバーレイをテスト(Test overlay) を共同ホストページで開き、行が表示されることを確認します。 |
| 文字は表示されるが声が出ない(OpenAI) | 確認する項目: 音声応答(Audio Response)、ブラウザーの音声再生許可、OBSが共同ホストページの音声を取り込んでいるかを確認してください。この用途では &tts は使わないでください。 |
| 2つの声が同時に聞こえる | 削除 &forcetts をオーバーレイのリンクから削除します。 |
| 認識した発言(Heard) が空のまま(デスクトップ) | マイクのミュートを確認し、初回ダウンロードが終わるまで待ってください。 |
| 認識した発言(Heard) が空のまま(Chrome) | マイクを許可し、パソコンの既定のマイク、インターネット接続、Chromeの音声認識が利用できるかを確認してください。 |
| 回答が遅い | Mini、推論Low、応答タイミングFastを試してください。DiagnosticsのLatencyの行で比較できます。 |
| OpenAIが何度も切断される | 再試行中は実行したままにしてください。失敗の内容はDiagnosticsに表示されます。 |
| 配信操作ツールが見つからない | ポップアップとCo-host Stream Controlsの両方で有効にしてください。OBSには少なくとも1つのシーン名が必要です。 |
| 無料お試しAIが応答しなくなった | 無効化または利用制限されている可能性があります。自分のトークン、Ollama、Custom APIを使ってください。 |
| ローカルGemmaをダウンロードできない | アセットの配信先を、自分で用意したGemmaファイルのコピーに設定してください。 |
| 複数のオーバーレイが開いている | オーバーレイのラベルとDockの送信先が一致しているか確認してください。初期値は cohost-overlay. |
ミュートと音量のボタン
- マイクをミュート で共同ホストへのマイク音声の送信を止めます。
- 共同司会の声をミュート、音量スライダー、出力選択、次の設定を確認してください: 読み上げを停止 で聞こえる音を調整します。
- 共有システム音声をミュート は別の設定で、画面を扱えるプロバイダーを使う場合にのみ表示されます。
オーバーレイリンクの設定
次の設定を末尾に追加します: cohost-overlay.html リンク。
| したいこと… | リンクに追加 |
|---|---|
| 自分のSocial Streamに接続(必須) | ?session=YOUR_SESSION_ID |
| オーバーレイに読み上げさせる(Dockでの操作) | &tts または &speak=1 |
| 共同ホストページが話していてもオーバーレイを読み上げさせる(音声が二重になります) | &forcetts |
| オーバーレイのラベルを設定する | &label=cohost-overlay |
| 表示名を変更する | &name=NinjaBot |
| 自分のアバターを使う | &avatar=https://… |
| 位置を動かす | &position=bottom-right |
| 大きさを変える | &scale=1.2 |
| 接続状態を表示する | &status |
共同ホストページがすでに音声を再生している場合、二重に聞こえないようオーバーレイは自分の読み上げを省きます。 &forcetts で無効になります。
ページ間の通信(開発者向け)
メッセージ形式と設計メモ
Dockとオーバーレイは通常のSocial Streamセッションブリッジで接続します。メッセージは次の形式で送信します: overlayNinja というペイロードで、ラベルにより送信先を指定します。
共同司会で読み上げ(Read on Co-host): では、Dockが選択したメッセージを直接送信します。送信先: cohost-overlay.html.
回答 / 軽いツッコミ(Answer / Light Roast): では、Dockがバックグラウンドのプライベートチャットボットに依頼して下書きを表示し、Speakをクリックしてからオーバーレイへ送信します。
{
"action": "cohostOverlay",
"target": "cohost-overlay",
"meta": {
"command": "say",
"text": "The line the avatar should say",
"speak": true,
"emotion": "happy"
}
}
- Dockでテキストを使う場合、オーバーレイが画像と任意のTTS音声を担当します。OpenAIの音声には、次を取り込みます:
cohost.htmlの音声を別に取り込みます。オーバーレイはそのWebRTC音声を再生しません。 - 追加のコマンド詳細を入れる場所:
meta。これにより、オーバーレイや自動化が扱うデータの形式を一定に保てます。