Poradnik lokalnego TTS AI

Social Stream Ninja może odczytywać wiadomości czatu na głos za pomocą lokalnego AI do zamiany tekstu na mowę. „Lokalne” może oznaczać dwie rzeczy: głos działa wewnątrz przeglądarki lub uruchamiasz mały serwer TTS na własnym komputerze.

Istnieją dwa podejścia:

To najkrótsza droga dla większości streamerów:

To najczęstszy błąd przy lokalnym TTS.

W Linuksie, macOS i Windows upewnij się też, że zapora zezwala na port, a Docker opublikował go przez -p 8880:8880.

W oknie rozszerzenia otwórz wybór dostawcy TTS i wybierz Własny / lokalny punkt końcowy TTS. Pokazuje to pola lokalnego punktu końcowego zgodnego z OpenAI i łącze do tego przewodnika.

SSN traktuje lokalny/samodzielnie hostowany serwer TTS jak punkt końcowy mowy zgodny z OpenAI. Podstawowy przebieg:

Struktura żądania

Dla ttsprovider=customtts, localtts lub openai, SSN wysyła żądanie POST JSON do skonfigurowanego punktu końcowego:

CORS, hostowane strony i most

CORS to sprawdzanie uprawnień przeglądarki. Mówiąc prosto: serwer TTS musi powiedzieć przeglądarce „tak, ta strona może prosić mnie o dźwięk”. Bez tego uprawnienia żądanie może zostać zablokowane, zanim Kokoro lub inny serwer TTS je zobaczy.

• Jeśli wczytujesz dock.html w Chrome lub OBS, CORS może mieć znaczenie.
• Jeśli wczytujesz hostowaną stronę, taką jak https://beta.socialstream.ninja/dock.html, Chrome może też blokować wywołania lokalnych lub prywatnych adresów HTTP.
• Jeśli przycisk Test w aplikacji SSN działa, ale źródło przeglądarkowe OBS milczy, przetestuj OBS osobno. OBS ma własną przeglądarkę.

Jeśli serwer nie zezwala na żądania przeglądarki, uruchom Lokalny most TTS SSN i skieruj SSN na http://127.0.0.1:8124/v1/audio/speech. W przypadku OBS najłatwiej uruchomić most na tym samym komputerze co OBS.

Obsługiwane odpowiedzi audio

Strumieniowanie dźwięku

SSN obecnie nie odtwarza w miarę pobierania dla własnych/lokalnych punktów końcowych TTS. Czeka na blob odpowiedzi lub dane audio JSON, a potem odtwarza. Niektóre serwery udostępniają punkty końcowe strumieniowania, ale obecna ścieżka SSN zgodna z OpenAI buforuje przed odtworzeniem.

Praktyczny wniosek: używaj krótkich fragmentów TTS czatu. Obsługa strumieniowania wymagałaby osobnej ścieżki odtwarzania z fragmentami WAV/MP3, MediaSource, WebCodecs lub mikserem po stronie serwera.

Te silniki są dołączone do Social Stream Ninja i nie wymagają instalacji. Działają w przeglądarce przy użyciu WebAssembly (WASM) lub ONNX Runtime.

Jak włączyć

Dodaj &ttsprovider= i &speech= do swojego Social Stream dock.html URL:

Opcje Kokoro TTS

SSN oferuje obecnie 28 angielskich, trzy hiszpańskie i trzy brazylijskie portugalskie głosy Kokoro. Wskaż głos parametrem &voicekokoro=:

Przykład hiszpański:

Przykład portugalski:

Opcje Piper TTS

Wskaż model głosu przez &pipervoice=:

Dostępne są portugalskie i hiszpańskie głosy Piper:

Opcje Kitten TTS

Opcje eSpeak-NG

Rozszerzenie Chrome, źródło przeglądarkowe OBS i samodzielna aplikacja komputerowa Social Stream Ninja używają tych samych dock.html parametrów URL dla TTS. Ważna różnica polega na tym, gdzie powstaje dźwięk.

Jeśli chcesz więcej głosów, klonowania głosu lub dedykowanego serwera używanego przez różne narzędzia, możesz uruchomić lokalny serwer TTS. Social Stream Ninja łączy się z nim dzięki wbudowanej obsłudze: Punkt końcowy TTS zgodny z OpenAI — klucz API nie jest potrzebny dla lokalnych serwerów.

Trzy zalecane opcje:

Który pakiet pasuje?

Klonowanie głosu nie jest osobnym trybem SSN. To funkcja wewnątrz niektórych lokalnych serwerów TTS. SSN wysyła tekst czatu do lokalnego punktu końcowego; serwer wybiera sklonowany głos z zapisanego referencyjnego pliku audio, profilu głosu lub konfiguracji mostu.

Typowy przebieg

1. Nagraj czysty klip referencyjny, zwykle od 3 do 30 sekund jednego mówcy z niewielkim szumem tła.
2. Niektóre silniki wymagają też dokładnej transkrypcji tego klipu referencyjnego.
3. Lokalny serwer przekształca próbkę referencyjną w prompt mówcy, embedding lub profil głosu.
4. SSN wysyła tekst czatu na żywo do punktu końcowego za pomocą ttsprovider=customtts.
5. Serwer zwraca plik audio do odtworzenia, zwykle WAV lub MP3, a SSN odtwarza go w doku/źródle przeglądarkowym.

Przy 6 GB VRAM lub mniej najpierw wybieraj małe modele klonowania zero-shot i serwery zgodne z OpenAI. Większe modele nadal mogą działać przez ten sam punkt końcowy SSN, jeśli użytkownik hostuje je gdzie indziej.

To praktyczne punkty wyjścia, a nie twarde gwarancje. Wersja modelu, kwantyzacja, długość tekstu, obraz Docker i aplikacje w tle mogą zmieniać użycie pamięci.

To samodzielnie hostowane rozwiązania klonowania głosu sprawdzone pod kątem zgodności z SSN. Ścieżkę lokalnego punktu końcowego przetestowano zarówno z dock.html i featured.html.

SSN przyjmuje bezpośrednie binarne odpowiedzi audio, odpowiedzi JSON z dźwiękiem base64 i odpowiedzi JSON z adresem URL audio. Obecne odtwarzanie własnego/lokalnego TTS buforuje zwrócony dźwięk przed odtworzeniem; odtwarzanie strumieniowe w miarę pobierania nie jest jeszcze obsługiwane.

Kokoro-FastAPI uruchamia model Kokoro 82M jako lokalny serwer z API zgodnym z OpenAI. Działa na CPU (GPU nie jest wymagane) i zapewnia doskonałą jakość głosu.

Instalacja przez Docker

Otwórz terminal (Wiersz polecenia, PowerShell lub Terminal) i uruchom jedno z poniższych:

CPU (działa na dowolnym komputerze):

GPU (tylko NVIDIA — szybsza synteza):

Sprawdź, czy działa

Otwórz przeglądarkę i przejdź do http://localhost:8880/web/— powinien pojawić się interfejs internetowy, w którym można testować głosy.

Dostępne głosy

Ponad 67 dostępnych głosów. Kilka przykładów:

Przeglądaj i testuj wszystkie głosy na http://localhost:8880/web/ gdy serwer działa.

URL SSN

Jeśli Kokoro-FastAPI jest na tym samym komputerze co OBS:

Jeśli Kokoro-FastAPI jest na innym komputerze, zastąp 192.168.x.x adresem IP LAN tego komputera:

Utrzymuj serwer uruchomiony

Aby Kokoro-FastAPI działał automatycznie w tle, użyj flagi restartu Dockera:

Teraz będzie uruchamiać się automatycznie z Docker Desktop przy każdym restarcie.

openedai-speech udostępnia zgodny z OpenAI punkt końcowy /v1/audio/speech potrzebny Social Stream. Jego mały obraz uruchamia Piper na CPU; pełny obraz może uruchamiać klonowanie głosu XTTS-v2 na obsługiwanym GPU.

Opcja A: lekki Piper

Użyj tej opcji do serwera TTS tylko na CPU o rozmiarze poniżej 1 GB. Nie zawiera XTTS-v2 ani klonowania głosu.

Instalacja przez Docker Compose

Uwaga o instalacji ze źródeł w Windows

Jeśli uruchamiasz openedai-speech z lokalnego kodu zamiast Dockera, dodaj folder skryptów jego środowiska wirtualnego do PATH przed uruchomieniem serwera. Bez tego żądania mogą zwracać HTTP 500, ponieważ serwer nie znajduje piper.exe lub ffmpeg.exe.

Dostępne głosy

openedai-speech używa nazw głosów w stylu OpenAI mapowanych na głosy Piper:

URL SSN

Opcja B: klonowanie głosu XTTS-v2

XTTS-v2 samo w sobie jest modelem, a nie internetowym API. Użyj pełnego serwera openedai-speech, aby załadować model, wybrać zapisany głos referencyjny, przyjąć tekst czatu z SSN i zwrócić dźwięk do odtworzenia. Serwer podaje praktyczne zapotrzebowanie około 4 GB VRAM GPU; inferencja CPU jest możliwa, ale wolna.

W macOS lub Linuksie użyj cp sample.env speech.env zamiast Copy-Item. Docker musi mieć dostęp do obsługiwanego GPU. Model pobiera się przy pierwszym użyciu.

Zachowaj istniejące głosy wymienione już w tts-1-hd. Zmień me na nazwę głosu, którą SSN ma wysyłać, i w razie potrzeby użyj właściwego kodu języka XTTS.

Jeśli przeglądarka lub OBS blokuje bezpośrednie żądanie, uruchom Lokalny most TTS na komputerze OBS i zachowaj te same parametry modelu i głosu, zmieniając openaiendpoint na http://127.0.0.1:8124/v1/audio/speech.

Most to mały lokalny pomocnik. Przyjmuje żądanie przeglądarki z SSN, komunikuje się z serwerem TTS i zwraca dźwięk do SSN z nagłówkami odpowiednimi dla przeglądarki.

Samodzielny folder startowy to local-tts-bridge/; zobacz README mostu aby poznać wszystkie opcje uruchamiania.

Proxy zgodne z OpenAI

Windows PowerShell, gdy serwer TTS jest na tym samym komputerze:

Windows PowerShell, gdy serwer TTS jest na innym komputerze:

Terminal macOS/Linux:

Następnie skieruj należący do OBS dock.html URL na most:

Tryb proxy GPT-SoVITS

GPT-SoVITS używa własnej /tts struktury JSON, więc most może przetłumaczyć żądanie SSN zgodne z OpenAI na treść żądania GPT-SoVITS.

Tryb proxy serwera F5-TTS

Niektóre warstwy serwera F5-TTS udostępniają /synthesize_speech/?text=...&voice=... zamiast punktu końcowego zgodnego z OpenAI. Most może przetłumaczyć żądanie SSN na ten format zapytania.

Wszystkie powyższe samodzielnie hostowane serwery używają tej samej metody połączenia — wbudowanej w Social Stream obsługi: Punkt końcowy OpenAI TTS z własnym lokalnym URL.

Parametry URL

Pełne przykładowe adresy URL

Kokoro-FastAPI:

openedai-speech:

kokoro-web:

Dodatkowe opcje TTS

Działają z każdym dostawcą TTS, w tym lokalnymi serwerami:

Wbudowane opcje przeglądarkowe warte obsługi

SSN już obsługuje systemowe/przeglądarkowe speechSynthesis, wbudowane Kokoro, Piper, Kitten i eSpeak. Najbardziej przydatnymi przyszłymi dodatkami po stronie przeglądarki byłyby wybór urządzenia wyjściowego audio tam, gdzie setSinkId jest dostępne, więcej głosów Piper i dedykowana ścieżka odtwarzania w miarę pobierania dla serwerów mogących strumieniować fragmenty audio.

Sposób przechwytywania dźwięku TTS w OBS zależy od tego, jak uruchamiasz Social Stream Ninja.

Metoda 1 — źródło przeglądarkowe OBS Zalecane

To najprostsza metoda i działa dla wszystkich dostawców TTS (wbudowane i samodzielnie hostowany serwer).

Metoda 2 — aplikacja komputerowa SSN + dźwięk pulpitu

Jeśli używasz samodzielnej aplikacji komputerowej Social Stream Ninja (nie źródła przeglądarkowego OBS):

Łącza dotyczące routingu audio Windows

Routing dla aplikacji w Windows 10

Routing dla aplikacji w Windows 11

Oprogramowanie Audio Router

Audio Router może skierować jedną aplikację do wirtualnego kabla, ale jest starszym oprogramowaniem. Preferuj routing dla aplikacji w Windows, gdy działa.

Zaawansowany routing Voicemeeter

Voicemeeter jest najlepsze, gdy musisz słyszeć TTS lokalnie, skierować je do OBS i oddzielić od muzyki/dźwięku gry.

* Systemowy TTS wymaga routingu przez wirtualny kabel audio do przechwytywania w OBS.

Test aplikacji SSN działa, ale OBS nie ma dźwięku

Test aplikacji dowodzi tylko, że aplikacja może dotrzeć do serwera. Źródło przeglądarkowe OBS nadal musi dotrzeć do punktu końcowego i odtworzyć dźwięk.

• Jeśli OBS i serwer TTS są na różnych komputerach, zastąp 127.0.0.1 adresem IP LAN komputera serwera TTS.
• Upewnij się, że źródło przeglądarkowe OBS ma Steruj dźwiękiem przez OBS (Control audio via OBS) zaznaczone.
• Wypróbuj lokalny most TTS SSN na komputerze OBS, jeśli przeglądarka blokuje żądanie.

Odczytywana jest tylko pierwsza litera lub kilka słów

• Sprawdź rzeczywisty URL w OBS pod kątem ttsquick. Ta opcja celowo skraca odczytywany tekst.
• Jeśli widzisz &ttsquick=14 lub inną małą liczbę, usuń ją i odśwież źródło przeglądarkowe OBS.
• Jeśli używasz typewriter=, tymczasowo usuń podczas testowania. TTS zwykle używa oryginalnej wiadomości, ale usunięcie efektów wizualnych to szybki sposób wykluczenia problemów z czasem.

Lokalny serwer nie odpowiada

• Sprawdź, czy Docker działa i kontener nadal jest uruchomiony.
• Na komputerze serwera TTS otwórz http://127.0.0.1:8880/web/ dla Kokoro-FastAPI lub pasującego portu Twojego serwera.
• Na komputerze OBS otwórz http://SERVER_LAN_IP:8880/web/. Jeśli się nie ładuje, OBS również nie będzie mógł używać tego serwera.
• Sprawdź zaporę na komputerze serwera, jeśli adres IP LAN się nie ładuje.

Zablokowany CORS lub sieć lokalna

Jeśli przeglądarka zgłasza blokadę żądania przez CORS, dostęp do sieci lokalnej, dostęp do sieci prywatnej lub failed fetch, serwer TTS może w ogóle nie otrzymać żądania.

• Uruchom npm run local-tts-bridge na komputerze OBS i skieruj SSN na http://127.0.0.1:8124/v1/audio/speech.
• Jeśli używasz hostowanej strony doku beta, przeglądarka częściej blokuje lokalne punkty końcowe HTTP. Most lub lokalne okno aplikacji zwykle są łatwiejsze.

Niewłaściwy głos lub głosu nie znaleziono

• Kokoro-FastAPI: wypróbuj af_bella, af_sarah, am_adam, lub inny głos z interfejsu internetowego Kokoro.
• openedai-speech: głosy takie jak nova, echo i alloy mogą być prawidłowe.
• Na niektórych serwerach nazwy głosów rozróżniają wielkość liter.

Dźwięk jest odtwarzany, ale OBS go nie przechwytuje

• Upewnij się, że Steruj dźwiękiem przez OBS (Control audio via OBS) jest zaznaczone we właściwościach źródła przeglądarkowego.
• Obserwuj mikser audio OBS podczas odtwarzania wiadomości testowej. Wskaźnik źródła przeglądarkowego powinien się poruszać.
• Upewnij się, że nie używasz wyłącznie systemowego TTS (?speech=en-US bez &ttsprovider=). Systemowy TTS może wymagać przechwytywania dźwięku pulpitu lub wirtualnego kabla.

Nie znaleziono obrazu Docker

Tagi obrazów Docker mogą się zmieniać. Jeśli polecenie z tego przewodnika przestanie działać, sprawdź aktualny tag na stronie projektu:

• Kokoro-FastAPI: github.com/remsky/Kokoro-FastAPI
• openedai-speech: github.com/matatonic/openedai-speech