Průvodce lokálním AI TTS

Social Stream Ninja může číst zprávy chatu nahlas pomocí místního převodu textu na řeč s AI. „Místní“ může znamenat dvě věci: hlas běží uvnitř prohlížeče nebo provozujete malý server TTS na vlastním počítači.

Existují dva postupy:

Pro většinu streamerů je toto nejkratší cesta:

Toto je nejběžnější chyba místního TTS.

Na Linuxu, macOS i Windows také ověřte, že firewall povoluje port a Docker jej zveřejnil pomocí -p 8880:8880.

Ve vyskakovacím okně rozšíření otevřete výběr poskytovatele TTS a vyberte Vlastní / místní koncový bod TTS. Tím se zobrazí pole místního koncového bodu kompatibilního s OpenAI a odkaz zpět na tohoto průvodce.

SSN se k místnímu/vlastnímu hostovanému serveru TTS chová jako ke koncovému bodu řeči kompatibilnímu s OpenAI. Základní postup je:

Struktura požadavku

Pro ttsprovider=customtts, localtts, nebo openai, SSN odešle požadavek JSON POST na nakonfigurovaný koncový bod:

CORS, hostované stránky a most

CORS je kontrola oprávnění prohlížeče. Jednoduše řečeno: server TTS musí prohlížeči říct „ano, tato stránka ode mě smí vyžadovat zvuk“. Pokud oprávnění chybí, požadavek může být zablokován dříve, než jej Kokoro nebo jiný server TTS vůbec uvidí.

• Pokud načítáte dock.html v Chrome nebo OBS může CORS hrát roli.
• Pokud načítáte hostovanou stránku, například https://beta.socialstream.ninja/dock.html, Chrome může také blokovat volání na místní nebo soukromé adresy HTTP.
• Pokud testovací tlačítko v aplikaci SSN funguje, ale zdroj Prohlížeč v OBS je tichý, otestujte OBS samostatně. OBS má vlastní prohlížeč.

Pokud server nepovoluje požadavky prohlížeče, spusťte Místní most TTS SSN a nasměrujte SSN na http://127.0.0.1:8124/v1/audio/speech. Pro OBS je nejsnazší spustit most na stejném počítači jako OBS.

Podporované zvukové odpovědi

Streamovaný zvuk

SSN v současnosti nepřehrává postupně z vlastních/místních koncových bodů TTS. Počká na blob odpovědi nebo zvuková data JSON a potom je přehraje. Některé zdrojové servery nabízejí streamovací koncové body, ale současná cesta SSN kompatibilní s OpenAI před přehráním načítá do vyrovnávací paměti.

Praktický závěr: úryvky TTS chatu udržujte krátké. Podpora streamování by potřebovala samostatnou cestu přehrávání využívající streamované úseky WAV/MP3, MediaSource, WebCodecs nebo serverový směšovač.

Tyto enginy jsou přibalené v Social Stream Ninja a nevyžadují instalaci. Běží v prohlížeči pomocí WebAssembly (WASM) nebo ONNX Runtime.

Jak zapnout

Přidejte &ttsprovider= a &speech= do svého Social Stream dock.html URL:

Možnosti Kokoro TTS

SSN nyní nabízí 28 anglických, tři španělské a tři brazilské portugalské hlasy Kokoro. Hlas určíte parametrem &voicekokoro=:

Španělský příklad:

Portugalský příklad:

Možnosti Piper TTS

Určete hlasový model pomocí &pipervoice=:

K dispozici jsou portugalské a španělské hlasy Piper:

Možnosti Kitten TTS

Možnosti eSpeak-NG

Rozšíření Chrome, zdroj Prohlížeč v OBS a samostatná desktopová aplikace Social Stream Ninja používají stejné dock.html parametry URL pro TTS. Důležitý rozdíl spočívá v tom, kde zvuk vzniká.

Pokud chcete více hlasů, klonování hlasu nebo vyhrazený server použitelný ve více nástrojích, můžete spustit místní server TTS. Social Stream Ninja se k němu připojuje pomocí vestavěné podpory: Koncový bod TTS kompatibilní s OpenAI — pro místní servery není potřeba klíč API.

Tři doporučené možnosti:

Který balíček se hodí?

Klonování hlasu není samostatný režim SSN. Je to funkce některých místních serverů TTS. SSN odesílá text chatu na místní koncový bod; server vybírá klonovaný hlas z uloženého referenčního zvukového souboru, hlasového profilu nebo konfigurace mostu.

Typický postup

1. Nahrajte čistý referenční klip, obvykle 3 až 30 sekund jednoho mluvčího s minimem hluku na pozadí.
2. Některé enginy vyžadují také přesný přepis referenčního klipu.
3. Místní server převede referenci na zadání mluvčího, embedding nebo hlasový profil.
4. SSN odesílá text živého chatu na koncový bod pomocí ttsprovider=customtts.
5. Server vrátí přehratelný zvukový soubor, obvykle WAV nebo MP3, a SSN jej přehraje v doku/zdroji Prohlížeč.

Pro 6 GB VRAM nebo méně nejprve volte malé modely klonování bez dotrénování a servery kompatibilní s OpenAI. Větší modely mohou fungovat přes stejný koncový bod SSN, pokud je uživatel hostuje jinde.

Jde o praktické výchozí body, nikoli pevné záruky. Verze modelu, kvantizace, délka textu, obraz Docker a aplikace na pozadí mohou měnit spotřebu paměti.

Toto jsou cíle vlastního hostování s klonováním hlasu zkontrolované na kompatibilitu s SSN. Cesta místního koncového bodu byla otestována proti oběma dock.html a featured.html.

SSN přijímá přímé binární zvukové odpovědi, odpovědi JSON se zvukem v base64 a odpovědi JSON s URL zvuku. Současné vlastní/místní přehrávání před přehráním načte vrácený zvuk do vyrovnávací paměti; průběžné streamované přehrávání zatím není podporováno.

Kokoro-FastAPI provozuje model Kokoro 82M jako místní server s API kompatibilním s OpenAI. Funguje na CPU (GPU není potřeba) a má výbornou kvalitu hlasu.

Instalace pomocí Dockeru

Otevřete terminál (Příkazový řádek, PowerShell nebo Terminál) a spusťte jeden z následujících příkazů:

CPU (funguje na libovolném počítači):

GPU (pouze NVIDIA — rychlejší syntéza):

Ověřte, že běží

Otevřete prohlížeč a přejděte na http://localhost:8880/web/— měli byste vidět webové rozhraní, kde můžete testovat hlasy.

Dostupné hlasy

K dispozici je více než 67 hlasů. Několik příkladů:

Procházejte a testujte všechny hlasy na http://localhost:8880/web/ jakmile server běží.

URL SSN

Pokud je Kokoro-FastAPI na stejném počítači jako OBS:

Pokud je Kokoro-FastAPI na jiném počítači, nahraďte 192.168.x.x IP adresou daného počítače v místní síti:

Nechte server spuštěný

Chcete-li Kokoro-FastAPI automaticky udržovat spuštěné na pozadí, použijte přepínač restartu Dockeru:

Nyní se spustí automaticky s Docker Desktop při každém restartu.

openedai-speech zpřístupňuje koncový bod kompatibilní s OpenAI /v1/audio/speech , který Social Stream potřebuje. Malý obraz provozuje Piper na CPU; úplný obraz může provozovat klonování hlasu XTTS-v2 na podporovaném GPU.

Možnost A: Nenáročný Piper

Použijte tuto možnost pro server TTS pouze na CPU do 1 GB. Neobsahuje XTTS-v2 ani klonování hlasu.

Instalace pomocí Docker Compose

Poznámka k instalaci ze zdrojů na Windows

Pokud spouštíte openedai-speech z místní kopie zdrojů místo Dockeru, přidejte složku skriptů jeho virtuálního prostředí do PATH před spuštěním serveru. Bez toho mohou požadavky vracet HTTP 500, protože server nenajde piper.exe nebo ffmpeg.exe.

Dostupné hlasy

openedai-speech používá názvy hlasů ve stylu OpenAI mapované na hlasy Piper:

URL SSN

Možnost B: Klonování hlasu XTTS-v2

Samotné XTTS-v2 je model, nikoli webové API. Použijte úplný server openedai-speech pro načtení modelu, výběr uloženého referenčního hlasu, přijetí textu chatu z SSN a vrácení přehratelného zvuku. Server uvádí praktický cíl přibližně 4 GB VRAM GPU; inference na CPU je možná, ale pomalá.

Na macOS nebo Linuxu použijte cp sample.env speech.env místo Copy-Item. Docker musí mít přístup k podporovanému GPU. Model se stáhne při prvním použití.

Zachovejte všechny stávající hlasy již uvedené pod tts-1-hd. Změňte me na název hlasu, který má SSN odesílat, a podle potřeby použijte správný kód jazyka XTTS.

Pokud prohlížeč nebo OBS blokuje přímý požadavek, spusťte Místní most TTS na počítači OBS a zachovejte stejné parametry modelu a hlasu, zatímco měníte openaiendpoint na http://127.0.0.1:8124/v1/audio/speech.

Most je malý místní pomocník. Přijme požadavek prohlížeče z SSN, komunikuje s vaším serverem TTS a vrátí zvuk do SSN s hlavičkami vhodnými pro prohlížeč.

Samostatná výchozí složka je local-tts-bridge/; viz README mostu pro všechny možnosti spuštění.

Proxy kompatibilní s OpenAI

Windows PowerShell, když server TTS běží na tomto stejném počítači:

Windows PowerShell, když server TTS běží na jiném počítači:

Terminál macOS/Linux:

Poté nasměrujte OBS dock.html URL na most:

Režim proxy GPT-SoVITS

GPT-SoVITS používá vlastní /tts strukturu JSON, takže most může převést požadavek SSN kompatibilní s OpenAI na tělo požadavku GPT-SoVITS.

Režim proxy serveru F5-TTS

Některé serverové obálky F5-TTS zpřístupňují /synthesize_speech/?text=...&voice=... místo koncového bodu kompatibilního s OpenAI. Most může převést požadavek SSN do tohoto formátu dotazu.

Všechny výše uvedené vlastní hostované servery používají stejný způsob připojení — podporu vestavěnou v Social Stream: Koncový bod OpenAI TTS s vlastní místní URL.

Parametry URL

Úplné příklady URL

Kokoro-FastAPI:

openedai-speech:

kokoro-web:

Další možnosti TTS

Fungují s libovolným poskytovatelem TTS včetně místních serverů:

Vestavěné možnosti prohlížeče vhodné k podpoře

SSN již podporuje systémové/prohlížečové speechSynthesis, vestavěné Kokoro, Piper, Kitten a eSpeak. Nejužitečnějšími budoucími doplňky v prohlížeči by byly výběr výstupního zvukového zařízení tam, kde setSinkId je dostupné, více hlasů Piper a vyhrazená cesta průběžného streamovaného přehrávání pro servery, které umějí streamovat zvukové úseky.

Způsob zachytávání zvuku TTS v OBS závisí na tom, jak Social Stream Ninja provozujete.

Metoda 1 — Zdroj Prohlížeč v OBS Doporučeno

Jde o nejjednodušší metodu a funguje pro všechny poskytovatele TTS (vestavěný a vlastní hostovaný server).

Metoda 2 — Desktopová aplikace SSN + zvuk plochy

Pokud používáte samostatnou desktopovou aplikaci Social Stream Ninja (nikoli zdroj Prohlížeč v OBS):

Odkazy ke směrování zvuku ve Windows

Směrování po aplikacích ve Windows 10

Směrování po aplikacích ve Windows 11

Software Audio Router

Audio Router dokáže nasměrovat jednu aplikaci do virtuálního kabelu, ale jde o starší software. Pokud funguje, upřednostněte směrování po aplikacích ve Windows.

Pokročilé směrování Voicemeeter

Voicemeeter je nejlepší, když potřebujete TTS slyšet místně, nasměrovat je do OBS a oddělit je od hudby/herního zvuku.

* Systémové TTS vyžaduje pro zachytávání v OBS směrování přes virtuální zvukový kabel.

Test v aplikaci SSN funguje, ale OBS nemá zvuk

Test aplikace dokazuje pouze to, že aplikace dosáhne na server. Zdroj Prohlížeč v OBS stále musí dosáhnout na koncový bod a přehrát zvuk.

• Pokud OBS a server TTS běží na různých počítačích, nahraďte 127.0.0.1 IP adresou počítače se serverem TTS v místní síti.
• Ověřte, že zdroj Prohlížeč v OBS má Ovládat zvuk přes OBS (Control audio via OBS) zaškrtnuté.
• Pokud prohlížeč blokuje požadavek, zkuste místní most TTS SSN na počítači OBS.

Čte se pouze první písmeno nebo prvních několik slov

• Ve skutečné URL v OBS zkontrolujte ttsquick. Tato možnost záměrně zkracuje čtený text.
• Pokud vidíte &ttsquick=14 nebo jiné malé číslo, odstraňte jej a obnovte zdroj Prohlížeč v OBS.
• Pokud používáte typewriter=, při testování jej dočasně odstraňte. TTS běžně používá původní zprávu, ale odstranění vizuálních efektů je rychlý způsob, jak vyloučit problémy s časováním.

Místní server neodpovídá

• Ověřte, že Docker běží a kontejner je stále spuštěný.
• Na počítači se serverem TTS otevřete http://127.0.0.1:8880/web/ pro Kokoro-FastAPI nebo odpovídající port vašeho serveru.
• Na počítači s OBS otevřete http://SERVER_LAN_IP:8880/web/. Pokud se to nenačte, ani OBS nebude moci daný server používat.
• Pokud se IP v místní síti nenačte, zkontrolujte firewall počítače se serverem.

Blokováno CORS nebo místní sítí

Pokud prohlížeč hlásí blokování požadavku kvůli CORS, přístupu k místní nebo soukromé síti či selhání fetch, server TTS nemusí požadavek vůbec přijmout.

• Spusťte npm run local-tts-bridge na počítači OBS a nasměrujte SSN na http://127.0.0.1:8124/v1/audio/speech.
• Pokud používáte hostovanou beta stránku doku, prohlížeč s větší pravděpodobností zablokuje místní koncové body HTTP. Most nebo místní okno aplikace bývá snazší.

Nesprávný nebo nenalezený hlas

• Kokoro-FastAPI: zkuste af_bella, af_sarah, am_adamnebo jiný hlas z webového rozhraní Kokoro.
• openedai-speech: hlasy, například nova, echo, a alloy mohou být platné.
• Názvy hlasů na některých serverech rozlišují velikost písmen.

Zvuk hraje, ale OBS jej nezachytává

• Ověřte, že Ovládat zvuk přes OBS (Control audio via OBS) je zaškrtnuto ve vlastnostech zdroje Prohlížeč.
• Při přehrávání testovací zprávy sledujte směšovač zvuku OBS. Ukazatel zdroje Prohlížeč by se měl pohybovat.
• Ověřte, že nepoužíváte pouze systémové TTS (?speech=en-US bez &ttsprovider=). Systémové TTS může vyžadovat zachytávání zvuku plochy nebo virtuálního kabelu.

Obraz Docker nebyl nalezen

Značky obrazů Docker se mohou měnit. Pokud příkaz v tomto průvodci přestane fungovat, zkontrolujte aktuální značku na stránce projektu:

• Kokoro-FastAPI: github.com/remsky/Kokoro-FastAPI
• openedai-speech: github.com/matatonic/openedai-speech