Průvodce AI spolumoderátorem

Co dělá

Existují dva způsoby práce se spolumoderátorem: průběžný hlasový pomocník v cohost.html, a ruční akce doku, které posílají schválené věty do cohost-overlay.html.

Nastavení spolumoderátora přes pravé tlačítko v doku

1. Otevřete dok Streaming Chat se svou relací: dock.html?session=YOUR_SESSION_ID.
2. Přidejte překryv AI scény do OBS: cohost-overlay.html?session=YOUR_SESSION_ID. Přidejte &tts pouze pro postup s textovými odpověďmi.
3. Pro odpovědi AI nastavte v okně poskytovatele LLM. Pro rychlé vyzkoušení zvolte SSN Hosted Trial LLM, který používá llm.socialstream.ninja.
4. Zapněte Chat Bots and AI services > Chat Bot - Private Interface > Enable private chat bot option.
5. Klikněte pravým tlačítkem na zprávu v doku a vyberte Spolumoderátor (Co-host). Nabídka je skrytá, dokud není rozpoznán překryv scény. Řádky zpráv v doku zatím tuto kontextovou nabídku nezpřístupňují klávesnici; uživatelé klávesnice mohou použít textové pole nebo hlasové ovládání na cohost.html.

Jednoduchá možnost AI

llm.socialstream.ninja je dostupné přes SSN Hosted Trial LLM jako jednoduchou bezplatnou možnost testování, dokud je zkušební služba dostupná.

• Otevřít Chat Bots and AI services > Configure LLM Service Provider.
• Vyberte SSN Hosted Trial LLM (experimentální).
• Pro výchozí zkušební nastavení nechte koncový bod, token a model prázdné.
• Pro dlouhodobější používání použijte vlastní token nebo místního poskytovatele, pokud je zkušební služba vypnutá či omezená.

Podpora hlasové konverzace

• OpenAI Realtime: Přenáší mikrofon vybraný na cohost.html přímo do OpenAI pro jednu nativní hlasovou konverzaci. Mluvená konverzace i kontext živého chatu zůstávají ve stejné relaci spolumoderátora.
• SSN Desktop: Používá místní Whisper s mikrofonem vybraným na cohost.html. Při prvním použití se stáhne přibližně 42 MB; další přepis už běží offline.
• Odkaz Chrome / rozšíření Chrome: Rozšíření otevře hostovanou stránku spolumoderátora v kartě Chrome. OpenAI Realtime používá WebRTC s krátkodobým klientským tajným klíčem; poskytovatelé textových odpovědí používají rozpoznávání řeči Chrome a mohou vyžadovat internet.
• Ostatní prohlížeče: Rozpoznávání řeči není zaručeno. Psaný chat se spolumoderátorem, vstup živého chatu, kamery/obrazovky a odpovědi nastaveného LLM mohou fungovat i bez rozpoznávání řeči.

Nastavení OpenAI Realtime

1. V okně SSN vyberte ChatGPT API, přidejte klíč API svého projektu OpenAI a použijte Otestovat vybraného chatbota (Test selected chat bot).
2. Otevřete vygenerovaný cohost.html?session=YOUR_SESSION_ID odkaz z okna. Jeho soukromé oprávnění spolumoderátora s omezenou platností autorizuje Realtime bez zapnutí samostatné možnosti Private Chat Bot.
3. Vyberte OpenAI Realtime. Běžný klíč zůstává na pozadí rozšíření/desktopové aplikace SSN; stránka spolumoderátora dostane pouze krátkodobý klientský tajný klíč Realtime.
4. Výslovně vyberte mikrofon, do kterého mluvíte, ponechte Zvuková odpověď (Audio Response) a stiskněte Spustit spolumoderátora (Start Co-host).
5. Volitelně ponechte Video source na Bez videa (No Video) (výchozí možnost), nebo výslovně vyberte Sdílení obrazovky (Screen Share) nebo kameru. OpenAI dostává jeden aktuální snímek s každým přímým hlasovým nebo psaným požadavkem, nikoli souvislé video; to může zvýšit cenu API a latenci.
6. Nechte Live Chat v režimu Pouze kontext — odpovídat na vyžádání. Zeptejte se „Co se píše v chatu?“ a stejná hlasová AI probere nedávné zprávy diváků.
7. Zachytávejte zvuk prohlížeče/aplikace spolumoderátora v OBS. Nativní hlas OpenAI se přehrává pouze z cohost.html; cohost-overlay.html přijímá avatara a text, nikoli tentýž zvukový proud. Pokud je podporován, vyberte virtuální kabel pod Výstup spolumoderátora pro samostatné směrování v OBS.
8. Nechte viditelnou bublinu řeči překryvu scény nebo zajistěte titulky, aby odpověď AI nebyla dostupná pouze zvukem.

Rychlost, kvalita a cena OpenAI

• Model: Mini je obvykle rychlejší a levnější. Full quality zvládne více a stojí více.
• Úroveň uvažování: Minimal nebo Low obvykle snižují prodlevu odpovědi i účtovanou spotřebu výstupu. High nebo Extra high mohou zlepšit složité odpovědi, ale mohou reagovat pomaleji a stát více. Změny platí i během připojení.
• Rychlost střídání promluv: Fast čeká na dokončení myšlenky přibližně 2 sekundy, Balanced asi 4 a Patient asi 8. Fast reaguje svižněji, ale může přerušit přirozenou pauzu.
• Diagnostika: Latency udává dobu od konce promluvy po první text nebo zvuk a pokud možno odděluje prodlevu modelu. Síťové podmínky a vytížení poskytovatele se mohou lišit i u jinak podobných požadavků.

Volitelné ovládání vysílání

OpenAI Realtime podporuje níže uvedené nástroje Spotify, scén OBS a vybraných zpráv. SSN Configured LLM nyní podporuje pouze Spotify; ostatní poskytovatelé spolumoderátora tyto nástroje zatím nenabízejí.

1. V okně SSN zapněte pouze nástroje, které má spolumoderátor používat: Spotify, scény OBS nebo vybrané zprávy.
2. Pro OBS zadejte přesné povolené názvy scén oddělené čárkami a nechte actions.html připojený k OBS nebo použijte zdroj prohlížeče OBS s Full Permissions.
3. Zapnuto (On) cohost.html, otevřete Ovládání vysílání spolumoderátorem a povolte stejné nástroje i pro tento ovladač.
4. Požádejte přímo, například „přepni na BRB“, „zobraz poslední zprávu“ nebo „vymaž vybraný chat“. Zprávy diváků nemohou autorizovat nástroje a na jeden přímý požadavek streamera se spustí nejvýše jeden nástroj měnící vysílání.

Jak spolu stránky komunikují

Dok a překryv používají stávající můstek relace Social Stream. Zprávy se odesílají jako overlayNinja data cílená podle štítku.

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}

Dostupné akce

Stav a řešení potíží

• Pokud nabídka Co-host chybí, překryv spolumoderátora nebyl rozpoznán ve stejné relaci.
• Pokud jsou Answer nebo Light Roast vypnuté, můstek SSN nebo Private Chat Bot není dostupný.
• Přepínač překryvu hlavního chatbota je volitelný a nezapíná akce spolumoderátora přes pravé tlačítko v doku.
• Pokud cohost.html nevidí chat, ověřte, že URL obsahuje stejné session jako okno a že je Live Chat nastaven na Context, Questions nebo All.
• Pouze kontext (Context only) nyní sdílí chat s AI pouze u OpenAI Realtime. Ostatní poskytovatelé kanál sledují, ale nevkládají jej do modelu.
• Ztlumit mikrofon (Mute microphone) zastaví zvuk odesílaný spolumoderátorovi. Ztlumit hlas spolumoderátora (Mute co-host voice), posuvník hlasitosti, výběr výstupního zařízení a Přestat mluvit (Stop speaking) řídí přehrávání. Ztlumit sdílený systémový zvuk (Mute shared system audio) je samostatné a zobrazuje se u poskytovatelů podporujících obrazovku.
• Pokud není nástroj ovládání vysílání dostupný, zapněte ho v okně SSN i v Ovládání vysílání spolumoderátorem. OBS také potřebuje alespoň jeden přesný název scény na seznamu povolených.
• Použijte Otestovat překryv (Test overlay) pro odeslání neškodného viditelného testovacího řádku a ověřte, že se objeví v AI Stage Overlay v OBS.
• Pokud spolumoderátor zná chat, ale mlčí, je to očekávané v režimu Pouze kontext (Context only): zeptejte se, co se píše v chatu. Režimy Questions nebo All předčítají automatické odpovědi ze stránky spolumoderátora; neposílají je do chatů YouTube, Twitch ani Kick.
• Pokud desktopová aplikace zobrazuje Poslouchá (Desktop Whisper) ale nikdy nevyplní Rozpoznáno (Heard), ověřte, že vybraný mikrofon není ztlumený, a nechte dokončit první stažení modelu.
• Pokud Chrome nikdy nevyplní Rozpoznáno (Heard), povolte mikrofon, zkontrolujte výchozí mikrofon operačního systému, přístup k internetu a dostupnost rozpoznávání řeči v Chrome.
• Pokud se objeví text OpenAI Realtime, ale nehraje zvuk, ověřte Zvuková odpověď (Audio Response), oprávnění zvuku prohlížeče a zachytávání zvuku prohlížeče/aplikace v OBS. Použijte &tts pouze pro samostatný postup s textovým překryvem.
• Pokud jsou odpovědi OpenAI Realtime pomalé, zkuste Mini, Low reasoning a Fast turn-taking a porovnejte řádek Latency v Diagnostics. Vyšší úroveň uvažování a Patient turn-taking záměrně obětují rychlost ve prospěch hlubší odpovědi nebo delších pauz.
• Pokud se OpenAI Realtime odpojí, nechte spolumoderátora běžet, zatímco zkouší obnovit spojení. Diagnostics rozliší chybu datového kanálu, protistrany, poskytovatele nebo kontroly stavu. Obnovená relace zachová vybrané systémové pokyny a nastavení výkonu, ale předchozí mluvenou konverzaci obnovit neumí.
• Pokud požadavek Answer, Light Roast nebo SSN Configured LLM překročí časový limit, zkontrolujte, že je Social Stream zapnutý, relace se shoduje, Private Chat Bot je zapnutý a vybraný poskytovatel LLM dostupný. OpenAI Realtime Private Chat Bot nepotřebuje.
• Pokud Local Gemma nemůže stáhnout soubory modelu z výchozího hostitele, nastavte vlastní hostovanou kopii složky Gemma.
• Pokud hostovaná zkušební AI přestane odpovídat, může být vypnutá nebo omezená; přejděte na vlastní token, Ollama nebo Custom API.
• Pokud je otevřeno více překryvů, ověřte, že štítek překryvu odpovídá cíli doku. Výchozí štítek je cohost-overlay.

Užitečné parametry URL

• session=YOUR_SESSION_ID — nutné, aby dok a překryv sdílely místnost.
• tts nebo speak=1 — umožňuje překryvu mluvit pomocí TTS prohlížeče.
• forcetts — dovolí TTS překryvu mluvit i tehdy, když ovladač spolumoderátora už přehrává zvuk; záměrně tak vytváří druhý hlas.
• label=cohost-overlay — nastavuje cílový štítek překryvu.
• name=NinjaBot — nastavuje zobrazované jméno v překryvu.
• avatar=https://... — používá vlastní obrázek avatara.
• position=bottom-right — řídí umístění scény.
• scale=1.2 — mění měřítko překryvu.
• status — zobrazuje v překryvu text připojení/stavu.

Poznámky k návrhu

• U textových postupů přes dok nebo ruční zadání slouží překryv pro obraz a volitelný výstup TTS. U nativního hlasu OpenAI zachytávejte cohost.html zvuk zvlášť; překryv scény tentýž zvuk WebRTC znovu nepřehrává.
• Dok slouží k ovládání, takže schvalování streamerem zůstává mimo vysílání.
• Vygenerované odpovědi se nepředčítají automaticky; streamer je musí nejprve schválit.
• Nestandardní podrobnosti příkazů se ukládají do meta, aby data pro překryvy a automatizace měla předvídatelnou podobu.