兩種使用方式
在以下頁面與 AI 語音交談: cohost.html。它會語音回覆,也能在你詢問時討論聊天內容。
右鍵點擊 Dock 中的聊天訊息。AI 頭像可以朗讀訊息,也可以產生回答或輕度調侃草稿,由你先核准。
兩種方式都可透過以下覆蓋層在 OBS 中顯示頭像和對話泡泡: AI 舞台覆蓋層, cohost-overlay.html.
八步使用語音共同主持人
它使用 OpenAI Realtime,因此需要 OpenAI API 金鑰。其他選項包括 (見下方).
- 在 Social Stream 彈出選單中選擇 ChatGPT API,貼上 OpenAI 專案 API 金鑰,然後點擊 測試所選聊天機器人.
- 開啟
cohost.html連結。請勿公開該連結。 - 選擇 OpenAI Realtime.
- 選擇你說話用的麥克風。保持 音訊回覆 為選取狀態。
- 新聞 啟動共同主持.
- 將 即時聊天 在 僅上下文。隨時可以問:「聊天室在說什麼?」
- 在 OBS 中擷取共同主持人頁面或應用程式的音訊。AI 語音只在那裡播放。
- 新增
cohost-overlay.html?session=YOUR_SESSION_ID作為 OBS Browser Source,以顯示頭像和對話泡泡。
更多 OpenAI Realtime 資訊
- 費用記入你的 OpenAI API 帳戶。它與 chatgpt.com 分開,不會加入 ChatGPT 網站或應用程式中的對話。
- 一般金鑰保留在 Social Stream 中。共同主持人頁面只獲得短期憑證。
- 不需要為此開啟 Private Chat Bot 選項。
- 回覆最多輸出 512 個 token。 診斷 顯示總 token 用量和回覆開始速度。
- 你插話時,它會停止並捨棄尚未播放的音訊。
- 它最多保留 20 則最近的聊天訊息,最長 90 秒,包括捐款、會員、管理員、事件和頻道資訊,之後會忘記這些內容。
- 斷線後會自動重新連線,並在達到 OpenAI 的 60 分鐘限制前啟動新工作階段。指令和速度設定會保留,但之前說過的內容會被遺忘。
如何使用你的聊天內容
開啟共同主持人頁面,並使用相同的 session ,與 Social Stream 一致後即可讀取即時聊天。在以下選項中選擇方式: 即時聊天.
| Live Chat 設定 | 功能 |
|---|---|
| 僅作為上下文,詢問時才回答(預設) | 記住最近的訊息,直到你問起聊天內容才開口。 |
| 語音回答問題和提及 | 自動語音回答問題和提及。 |
| 語音回覆每則訊息 | 語音回覆每一則訊息。 |
這些方式都不會在 YouTube、Twitch 或 Kick 聊天中傳送回覆。 僅上下文 只在使用 OpenAI Realtime 時把聊天傳給 AI。其他服務供應商會查看聊天,但不會傳給 AI。
不用 OpenAI 的語音方案
| 執行位置 | 如何聽到你說話 |
|---|---|
| SSN 桌面應用程式 | 在自己電腦上執行的 Whisper。首次使用下載約 42 MB,之後可離線執行。 |
| Chrome(擴充功能連結) | Chrome 的語音辨識,可能需要網路。 |
| 其他瀏覽器 | 語音可能無法使用,但輸入文字、即時聊天、攝影機或螢幕以及 AI 回覆仍可能正常運作。 |
要確認它能聽到你,請開啟 診斷。應顯示 正在聆聽(桌面 Whisper) 或 正在聆聽(OpenAI WebRTC),你的話應顯示在 辨識內容.
用於測試的免費 AI
- 開啟 Chat Bots and AI services → Configure LLM Service Provider.
- 選擇 SSN 託管試用 LLM(實驗性).
- 將端點、權杖和模型留白。
試用期間免費,但可能被關閉或限制用量。長期使用請加入自己的權杖或使用本機 AI。
五步使用 Dock 按鈕
- 開啟 Dock:
dock.html?session=YOUR_SESSION_ID. - 將舞台覆蓋層加入 OBS:
cohost-overlay.html?session=YOUR_SESSION_ID。新增&tts,用於啟用朗讀。 - 在彈出選單中設定 AI 服務供應商。快速測試可使用 SSN 託管試用 LLM.
- 開啟 Chat Bots and AI services → Chat Bot - Private Interface → Enable private chat bot option.
- 右鍵點擊 Dock 訊息並選擇 共同主持.
| 按鈕 | 功能 | 需要 |
|---|---|---|
| 由共同主持朗讀 | 頭像會朗讀訊息。 | 需要連線舞台覆蓋層。不需要 AI。 |
| 回答 | 產生簡短回答草稿供你核准。 | 開啟 Private Chat Bot,並設定 AI 服務供應商。 |
| 輕度調侃 | 產生簡短、輕鬆、適合闔家觀看的調侃草稿供你核准。 | 開啟 Private Chat Bot,並設定 AI 服務供應商。 |
| 朗讀 | 把核准的草稿傳送到覆蓋層。 | 草稿。 |
| 複製 | 複製草稿,不傳送。 | 草稿。 |
只有點擊以下按鈕後,AI 草稿才會被朗讀: 朗讀。核准在不向觀眾顯示的 Dock 中進行。
右鍵選單目前不支援鍵盤操作。鍵盤使用者可在以下頁面輸入或說話: cohost.html 作為替代。
速度、品質與費用(OpenAI)
| 設定 | 更快、更便宜 | 更聰明,但更慢 |
|---|---|---|
| 模型 | Mini | 完整品質(費用更高) |
| 推理強度 | Minimal 或 Low | High 或 Extra high(費用更高) |
| 輪流發言速度 | Fast:說完後約等待 2 秒,可能會在停頓時插話。 | Balanced 約等待 4 秒,Patient 約等待 8 秒。 |
連線期間也可更改推理設定。 診斷 顯示回覆開始前的等待時間。網路和 OpenAI 負載仍可能變化。
讓它控制直播
共同主持人可播放 Spotify、切換 OBS 場景或展示聊天訊息。這些功能預設都關閉。OpenAI Realtime 支援全部三項,SSN Configured LLM 只支援 Spotify,其他服務供應商暫不支援。
- 在 Social Stream 彈出選單中,只啟用需要的工具。
- 對於 OBS,輸入允許切換的確切場景名稱,用逗號分隔。保持
actions.html並連線到 OBS,或使用具有 Full Permissions 的 OBS Browser Source。 - 開啟
cohost.html,開啟 共同主持直播控制 並啟用相同的工具。 - 直接說出請求,例如「切換到 BRB」、「展示最後一則訊息」或「清除精選聊天」。
解決問題
| 問題 | 試試這個 |
|---|---|
| Dock 中沒有 Co-host 選單 | 舞台覆蓋層沒有在同一工作階段中開啟。Primary chat bot overlay 開關不會影響此功能。 |
| Answer 或 Light Roast 呈灰色 | 開啟 Private Chat Bot 選項,並確認 Social Stream 正在執行。 |
| Answer、Light Roast 或 SSN Configured LLM 逾時 | 檢查 Social Stream 已啟用、工作階段一致、Private Chat Bot 已開啟,而且 AI 服務供應商可存取。 |
| 共同主持人頁面看不到聊天 | 使用相同的 session ,與彈出選單一致。Live Chat 設為 Off 以外的選項。 |
| 知道聊天內容但保持安靜 | 在 Context only 模式下這是正常的。問它聊天室在說什麼,或者 選擇其他模式. |
| OBS 中沒有顯示 | 點選 測試疊加畫面 並檢查對應資訊是否出現。 |
| 顯示文字但沒有聲音(OpenAI) | 檢查 音訊回覆、瀏覽器音訊權限,以及 OBS 是否正在擷取共同主持人頁面的音訊。不要使用 &tts 來執行此操作。 |
| 同時出現兩道聲音 | 移除 &forcetts 從覆蓋層連結中移除。 |
| 辨識內容 一直空白(桌面應用程式) | 確認麥克風沒有靜音,並等待首次下載完成。 |
| 辨識內容 一直空白(Chrome) | 允許麥克風存取,並檢查電腦預設麥克風、網路,以及 Chrome 語音辨識是否可用。 |
| 回覆緩慢 | 試試 Mini、Low 推理和 Fast 輪流發言。比較 Diagnostics 中的 Latency 一行。 |
| OpenAI 不斷斷線 | 重試期間保持執行。Diagnostics 會顯示失敗原因。 |
| 缺少某個直播控制工具 | 在彈出選單和 Co-host Stream Controls 中都啟用。OBS 至少需要一個場景名稱。 |
| 免費試用 AI 停止回答 | 服務可能已關閉或受到頻率限制。請使用自己的權杖、Ollama 或 Custom API。 |
| 本機 Gemma 無法下載 | 將資源主機指向你自己的 Gemma 檔案副本。 |
| 開啟了多個覆蓋層 | 確保覆蓋層標籤與 Dock 的目標一致。預設是 cohost-overlay. |
靜音和音量按鈕
- 將麥克風靜音 會停止向共同主持人傳送你的語音。
- 將共同主持語音靜音、音量滑桿、輸出選擇器,以及 停止朗讀 控制你聽到的聲音。
- 將共享的系統音訊靜音 是獨立設定,只會在支援讀取螢幕的服務供應商中顯示。
疊加畫面連結選項
將這些參數加入以下連結末尾: cohost-overlay.html 連結。
| 我想要… | 加入連結 |
|---|---|
| 連線到我的 Social Stream(必要) | ?session=YOUR_SESSION_ID |
| 讓覆蓋層說話(Dock 方式) | &tts 或 &speak=1 |
| 共同主持人頁面正在說話時也強制覆蓋層朗讀(會疊加另一道聲音) | &forcetts |
| 設定覆蓋層標籤 | &label=cohost-overlay |
| 更改顯示名稱 | &name=NinjaBot |
| 使用自己的頭像 | &avatar=https://… |
| 移動位置 | &position=bottom-right |
| 放大或縮小 | &scale=1.2 |
| 顯示連線狀態 | &status |
共同主持人頁面已經播放語音時,覆蓋層會略過自身朗讀,避免重複聲音。 &forcetts 會關閉此功能。
頁面如何通訊(開發者說明)
訊息格式和設計說明
Dock 和覆蓋層使用一般 Social Stream 工作階段橋接。訊息以下列形式傳送: overlayNinja 訊息資料,並依標籤指定目標。
由共同主持朗讀: :Dock 將選取的訊息直接傳送到 cohost-overlay.html.
回答/輕度調侃: :Dock 在背景請求私人聊天機器人,在 Dock 中顯示草稿,而且只有點擊 Speak 後才傳送到覆蓋層。
{
"action": "cohostOverlay",
"target": "cohost-overlay",
"meta": {
"command": "say",
"text": "The line the avatar should say",
"speak": true,
"emotion": "happy"
}
}
- 使用 Dock 文字方式時,覆蓋層負責圖像和選用的 TTS 語音。使用 OpenAI 語音時,請擷取
cohost.html的音訊需單獨擷取。覆蓋層不會重播該 WebRTC 音訊。 - 額外命令詳細資訊放在
meta,以保持覆蓋層和自動化所接收的資料格式穩定。