AI 共同主持人

可以在直播中與你交談的 AI 搭檔,也能讀取聊天內容。

兩種使用方式

語音共同主持人

在以下頁面與 AI 語音交談: cohost.html。它會語音回覆,也能在你詢問時討論聊天內容。

進行設定

Dock 按鈕

右鍵點擊 Dock 中的聊天訊息。AI 頭像可以朗讀訊息,也可以產生回答或輕度調侃草稿,由你先核准。

進行設定

兩種方式都可透過以下覆蓋層在 OBS 中顯示頭像和對話泡泡: AI 舞台覆蓋層, cohost-overlay.html.

八步使用語音共同主持人

它使用 OpenAI Realtime,因此需要 OpenAI API 金鑰。其他選項包括 (見下方).

  1. 在 Social Stream 彈出選單中選擇 ChatGPT API,貼上 OpenAI 專案 API 金鑰,然後點擊 測試所選聊天機器人.
  2. 開啟 cohost.html 連結。請勿公開該連結。
  3. 選擇 OpenAI Realtime.
  4. 選擇你說話用的麥克風。保持 音訊回覆 為選取狀態。
  5. 新聞 啟動共同主持.
  6. 將 即時聊天 在 僅上下文。隨時可以問:「聊天室在說什麼?」
  7. 在 OBS 中擷取共同主持人頁面或應用程式的音訊。AI 語音只在那裡播放。
  8. 新增 cohost-overlay.html?session=YOUR_SESSION_ID 作為 OBS Browser Source,以顯示頭像和對話泡泡。
cohost.html 控制頁面,顯示媒體裝置、AI 服務設定、系統指令和即時聊天狀態
共同主持人頁面:麥克風、AI 服務供應商、指令和即時聊天狀態。
想在 OBS 中使用獨立音軌? 在以下選項中選擇虛擬音訊線: 共同主持輸出(需環境支援)。同時保留對話泡泡,讓聽不到聲音的觀眾也能跟上內容。
要讓它看到螢幕或攝影機嗎? 選用。影片預設從以下狀態開始: 無視訊。如果選擇 螢幕分享 或攝影機時,每次說話或輸入內容都會向 OpenAI 傳送一張圖片,而非即時影片。這可能增加費用和延遲。
隱私權: 麥克風、選取的螢幕或攝影機,以及分享的聊天訊息都會傳送到 OpenAI。觀眾無法透過聊天讓共同主持人執行工具。共同主持人連結 12 小時後到期,僅用於你的工作階段,頁面載入後會從網址列中移除。
更多 OpenAI Realtime 資訊
  • 費用記入你的 OpenAI API 帳戶。它與 chatgpt.com 分開,不會加入 ChatGPT 網站或應用程式中的對話。
  • 一般金鑰保留在 Social Stream 中。共同主持人頁面只獲得短期憑證。
  • 不需要為此開啟 Private Chat Bot 選項。
  • 回覆最多輸出 512 個 token。 診斷 顯示總 token 用量和回覆開始速度。
  • 你插話時,它會停止並捨棄尚未播放的音訊。
  • 它最多保留 20 則最近的聊天訊息,最長 90 秒,包括捐款、會員、管理員、事件和頻道資訊,之後會忘記這些內容。
  • 斷線後會自動重新連線,並在達到 OpenAI 的 60 分鐘限制前啟動新工作階段。指令和速度設定會保留,但之前說過的內容會被遺忘。

如何使用你的聊天內容

開啟共同主持人頁面,並使用相同的 session ,與 Social Stream 一致後即可讀取即時聊天。在以下選項中選擇方式: 即時聊天.

Live Chat 設定功能
僅作為上下文,詢問時才回答(預設)記住最近的訊息,直到你問起聊天內容才開口。
語音回答問題和提及自動語音回答問題和提及。
語音回覆每則訊息語音回覆每一則訊息。

這些方式都不會在 YouTube、Twitch 或 Kick 聊天中傳送回覆。 僅上下文 只在使用 OpenAI Realtime 時把聊天傳給 AI。其他服務供應商會查看聊天,但不會傳給 AI。

不用 OpenAI 的語音方案

執行位置如何聽到你說話
SSN 桌面應用程式在自己電腦上執行的 Whisper。首次使用下載約 42 MB,之後可離線執行。
Chrome(擴充功能連結)Chrome 的語音辨識,可能需要網路。
其他瀏覽器語音可能無法使用,但輸入文字、即時聊天、攝影機或螢幕以及 AI 回覆仍可能正常運作。

要確認它能聽到你,請開啟 診斷。應顯示 正在聆聽(桌面 Whisper) 或 正在聆聽(OpenAI WebRTC),你的話應顯示在 辨識內容.

用於測試的免費 AI

  1. 開啟 Chat Bots and AI services → Configure LLM Service Provider.
  2. 選擇 SSN 託管試用 LLM(實驗性).
  3. 將端點、權杖和模型留白。

試用期間免費,但可能被關閉或限制用量。長期使用請加入自己的權杖或使用本機 AI。

五步使用 Dock 按鈕

  1. 開啟 Dock: dock.html?session=YOUR_SESSION_ID.
  2. 將舞台覆蓋層加入 OBS: cohost-overlay.html?session=YOUR_SESSION_ID。新增 &tts ,用於啟用朗讀。
  3. 在彈出選單中設定 AI 服務供應商。快速測試可使用 SSN 託管試用 LLM.
  4. 開啟 Chat Bots and AI services → Chat Bot - Private Interface → Enable private chat bot option.
  5. 右鍵點擊 Dock 訊息並選擇 共同主持.
沒有 Co-host 選單? 只有 Dock 偵測到同一工作階段中的舞台覆蓋層後才會出現。
按鈕功能需要
由共同主持朗讀頭像會朗讀訊息。需要連線舞台覆蓋層。不需要 AI。
回答產生簡短回答草稿供你核准。開啟 Private Chat Bot,並設定 AI 服務供應商。
輕度調侃產生簡短、輕鬆、適合闔家觀看的調侃草稿供你核准。開啟 Private Chat Bot,並設定 AI 服務供應商。
朗讀把核准的草稿傳送到覆蓋層。草稿。
複製複製草稿,不傳送。草稿。

只有點擊以下按鈕後,AI 草稿才會被朗讀: 朗讀。核准在不向觀眾顯示的 Dock 中進行。

右鍵選單目前不支援鍵盤操作。鍵盤使用者可在以下頁面輸入或說話: cohost.html 作為替代。

速度、品質與費用(OpenAI)

設定更快、更便宜更聰明,但更慢
模型Mini完整品質(費用更高)
推理強度Minimal 或 LowHigh 或 Extra high(費用更高)
輪流發言速度Fast:說完後約等待 2 秒,可能會在停頓時插話。Balanced 約等待 4 秒,Patient 約等待 8 秒。

連線期間也可更改推理設定。 診斷 顯示回覆開始前的等待時間。網路和 OpenAI 負載仍可能變化。

讓它控制直播

共同主持人可播放 Spotify、切換 OBS 場景或展示聊天訊息。這些功能預設都關閉。OpenAI Realtime 支援全部三項,SSN Configured LLM 只支援 Spotify,其他服務供應商暫不支援。

  1. 在 Social Stream 彈出選單中,只啟用需要的工具。
  2. 對於 OBS,輸入允許切換的確切場景名稱,用逗號分隔。保持 actions.html 並連線到 OBS,或使用具有 Full Permissions 的 OBS Browser Source。
  3. 開啟 cohost.html,開啟 共同主持直播控制 並啟用相同的工具。
  4. 直接說出請求,例如「切換到 BRB」、「展示最後一則訊息」或「清除精選聊天」。
只有你可以觸發工具。 觀眾無法觸發。每個請求執行一個工具,而且只能選擇清單中的場景。展示訊息需要開啟 Dock。回覆「完成」表示請求已傳送,不代表 OBS 或覆蓋層已執行完畢。

解決問題

問題試試這個
Dock 中沒有 Co-host 選單舞台覆蓋層沒有在同一工作階段中開啟。Primary chat bot overlay 開關不會影響此功能。
Answer 或 Light Roast 呈灰色開啟 Private Chat Bot 選項,並確認 Social Stream 正在執行。
Answer、Light Roast 或 SSN Configured LLM 逾時檢查 Social Stream 已啟用、工作階段一致、Private Chat Bot 已開啟,而且 AI 服務供應商可存取。
共同主持人頁面看不到聊天使用相同的 session ,與彈出選單一致。Live Chat 設為 Off 以外的選項。
知道聊天內容但保持安靜在 Context only 模式下這是正常的。問它聊天室在說什麼,或者 選擇其他模式.
OBS 中沒有顯示點選 測試疊加畫面 並檢查對應資訊是否出現。
顯示文字但沒有聲音(OpenAI)檢查 音訊回覆、瀏覽器音訊權限,以及 OBS 是否正在擷取共同主持人頁面的音訊。不要使用 &tts 來執行此操作。
同時出現兩道聲音移除 &forcetts 從覆蓋層連結中移除。
辨識內容 一直空白(桌面應用程式)確認麥克風沒有靜音,並等待首次下載完成。
辨識內容 一直空白(Chrome)允許麥克風存取,並檢查電腦預設麥克風、網路,以及 Chrome 語音辨識是否可用。
回覆緩慢試試 Mini、Low 推理和 Fast 輪流發言。比較 Diagnostics 中的 Latency 一行。
OpenAI 不斷斷線重試期間保持執行。Diagnostics 會顯示失敗原因。
缺少某個直播控制工具在彈出選單和 Co-host Stream Controls 中都啟用。OBS 至少需要一個場景名稱。
免費試用 AI 停止回答服務可能已關閉或受到頻率限制。請使用自己的權杖、Ollama 或 Custom API。
本機 Gemma 無法下載將資源主機指向你自己的 Gemma 檔案副本。
開啟了多個覆蓋層確保覆蓋層標籤與 Dock 的目標一致。預設是 cohost-overlay.
靜音和音量按鈕
  • 將麥克風靜音 會停止向共同主持人傳送你的語音。
  • 將共同主持語音靜音、音量滑桿、輸出選擇器,以及 停止朗讀 控制你聽到的聲音。
  • 將共享的系統音訊靜音 是獨立設定,只會在支援讀取螢幕的服務供應商中顯示。

將這些參數加入以下連結末尾: cohost-overlay.html 連結。

我想要…加入連結
連線到我的 Social Stream(必要)?session=YOUR_SESSION_ID
讓覆蓋層說話(Dock 方式)&tts 或 &speak=1
共同主持人頁面正在說話時也強制覆蓋層朗讀(會疊加另一道聲音)&forcetts
設定覆蓋層標籤&label=cohost-overlay
更改顯示名稱&name=NinjaBot
使用自己的頭像&avatar=https://…
移動位置&position=bottom-right
放大或縮小&scale=1.2
顯示連線狀態&status

共同主持人頁面已經播放語音時,覆蓋層會略過自身朗讀,避免重複聲音。 &forcetts 會關閉此功能。

頁面如何通訊(開發者說明)

訊息格式和設計說明

Dock 和覆蓋層使用一般 Social Stream 工作階段橋接。訊息以下列形式傳送: overlayNinja 訊息資料,並依標籤指定目標。

由共同主持朗讀: :Dock 將選取的訊息直接傳送到 cohost-overlay.html.

回答/輕度調侃: :Dock 在背景請求私人聊天機器人,在 Dock 中顯示草稿,而且只有點擊 Speak 後才傳送到覆蓋層。

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}
  • 使用 Dock 文字方式時,覆蓋層負責圖像和選用的 TTS 語音。使用 OpenAI 語音時,請擷取 cohost.html 的音訊需單獨擷取。覆蓋層不會重播該 WebRTC 音訊。
  • 額外命令詳細資訊放在 meta,以保持覆蓋層和自動化所接收的資料格式穩定。