Leitfaden für lokale KI-Sprachausgabe

Social Stream Ninja kann Chatnachrichten mit lokaler KI-Sprachausgabe vorlesen. „Lokal“ kann zwei Dinge bedeuten: Die Stimme läuft im Browser oder du betreibst einen kleinen TTS-Server auf deinem eigenen Computer.

Es gibt zwei Ansätze:

Dies ist für die meisten Streamer der kürzeste Weg:

Dies ist der häufigste Fehler bei lokaler TTS.

Stelle unter Linux, macOS und Windows außerdem sicher, dass die Firewall den Port erlaubt und Docker den Port veröffentlicht hat mit -p 8880:8880.

Öffne im Erweiterungs-Popup die TTS-Anbieterauswahl und wähle Eigener / lokaler TTS-Endpunkt. Das zeigt die OpenAI-kompatiblen lokalen Endpunktfelder und den Link zurück zu dieser Anleitung.

SSN behandelt einen lokalen/selbst gehosteten TTS-Server wie einen OpenAI-kompatiblen Sprachendpunkt. Der grundlegende Ablauf ist:

Anfrageformat

Für ttsprovider=customtts, localtts, oder openai, sendet SSN einen JSON-POST an den konfigurierten Endpunkt:

CORS, gehostete Seiten und die Brücke

CORS ist eine Berechtigungsprüfung des Browsers. Einfach gesagt: Der TTS-Server muss dem Browser mitteilen: „Ja, diese Seite darf Audio von mir anfordern.“ Fehlt diese Berechtigung, kann die Anfrage blockiert werden, bevor Kokoro oder ein anderer TTS-Server sie überhaupt sieht.

• Wenn du dock.html in Chrome oder OBS lädst, kann CORS wichtig sein.
• Wenn du die gehostete Seite lädst, etwa https://beta.socialstream.ninja/dock.html, kann Chrome außerdem Aufrufe lokaler oder privater HTTP-Adressen blockieren.
• Wenn die Testschaltfläche in der SSN-App funktioniert, die OBS-Browser-Quelle aber stumm bleibt, teste OBS separat. OBS ist ein eigener Browser.

Wenn der Server keine Browseranfragen erlaubt, starte die Lokale SSN-TTS-Brücke und verwende in SSN http://127.0.0.1:8124/v1/audio/speech. Für OBS ist die einfachste Einrichtung, die Brücke auf demselben Computer wie OBS auszuführen.

Unterstützte Audioantworten

Audio-Streaming

SSN unterstützt bei eigenen/lokalen TTS-Endpunkten derzeit keine fortlaufende Wiedergabe. Es wartet auf den Antwort-Blob oder die JSON-Audionutzdaten und spielt sie dann ab. Manche vorgeschalteten Server bieten Streaming-Endpunkte, aber der aktuelle OpenAI-kompatible SSN-Weg puffert vor der Wiedergabe.

Praktisches Ergebnis: Halte Chat-TTS-Abschnitte kurz. Streaming-Unterstützung bräuchte einen separaten Wiedergabeweg mit gestreamten WAV-/MP3-Blöcken, MediaSource, WebCodecs oder einem serverseitigen Mixer.

Diese Engines sind in Social Stream Ninja enthalten und benötigen keine Installation. Sie laufen im Browser mit WebAssembly (WASM) oder ONNX Runtime.

So aktivierst du es

Hinzufügen &ttsprovider= und &speech= an deine Social-Stream- dock.html URL:

Kokoro-TTS-Optionen

SSN bietet derzeit 28 englische, drei spanische und drei brasilianisch-portugiesische Kokoro-Stimmen an. Wähle eine mit &voicekokoro=:

Spanisches Beispiel:

Portugiesisches Beispiel:

Piper-TTS-Optionen

Gib ein Stimmenmodell an mit &pipervoice=:

Portugiesische und spanische Piper-Stimmen sind verfügbar:

Kitten-TTS-Optionen

eSpeak-NG-Optionen

Chrome-Erweiterung, OBS-Browser-Quelle und eigenständige Social-Stream-Ninja-Desktop-App verwenden alle dieselben dock.html URL-Parameter für TTS. Der wichtige Unterschied ist, wo der Ton erzeugt wird.

Wenn du mehr Stimmen, Stimmenklonen oder einen eigenen Server zur Nutzung in mehreren Tools möchtest, kannst du einen lokalen TTS-Server betreiben. Social Stream Ninja verbindet sich über seine integrierte Unterstützung: OpenAI-kompatibler TTS-Endpunkt — für lokale Server ist kein API-Schlüssel erforderlich.

Drei empfohlene Optionen:

Welches Paket passt?

Stimmenklonen ist kein eigener SSN-Modus. Es ist eine Funktion einiger lokaler TTS-Server. SSN sendet den Chattext an einen lokalen Endpunkt; der Server wählt die geklonte Stimme anhand einer gespeicherten Referenzaudiodatei, eines Stimmenprofils oder der Bridge-Konfiguration.

Typischer Ablauf

1. Nimm einen sauberen Referenzclip auf, normalerweise 3 bis 30 Sekunden mit einer Person und wenig Hintergrundgeräuschen.
2. Einige Engines benötigen außerdem das exakte Transkript des Referenzclips.
3. Der lokale Server wandelt die Referenz in einen Sprecher-Prompt, ein Embedding oder ein Stimmenprofil um.
4. SSN sendet Livechat-Text an den Endpunkt mit ttsprovider=customtts.
5. Der Server liefert eine abspielbare Audiodatei, normalerweise WAV oder MP3, und SSN spielt sie im Dock bzw. in der Browser-Quelle ab.

Setze bei höchstens 6 GB VRAM zuerst auf kleine Zero-Shot-Klonmodelle und OpenAI-kompatible Server. Größere Modelle können über denselben SSN-Endpunkt funktionieren, wenn der Nutzer sie anderswo hostet.

Dies sind praktische Ausgangspunkte, keine festen Garantien. Modellversion, Quantisierung, Textlänge, Docker-Image und Hintergrund-Apps können den Speicherbedarf verändern.

Dies sind die selbst gehosteten Stimmenklon-Ziele, die auf SSN-Kompatibilität geprüft wurden. Der lokale Endpunktweg wurde gegen beide getestet: dock.html und featured.html.

SSN akzeptiert direkte binäre Audioantworten, JSON-Antworten mit Base64-Audio und JSON-Antworten mit einer Audio-URL. Die aktuelle eigene/lokale Wiedergabe puffert das empfangene Audio vor dem Abspielen; fortlaufende Streaming-Wiedergabe wird noch nicht unterstützt.

Kokoro-FastAPI führt das Kokoro-82M-Modell als lokalen Server mit OpenAI-kompatibler API aus. Es funktioniert auf der CPU (keine GPU nötig) und bietet hervorragende Sprachqualität.

Mit Docker installieren

Öffne ein Terminal (Eingabeaufforderung, PowerShell oder Terminal) und führe einen der folgenden Befehle aus:

CPU (funktioniert auf jedem Computer):

GPU (nur NVIDIA — schnellere Synthese):

Betrieb prüfen

Öffne deinen Browser und gehe zu http://localhost:8880/web/— du solltest eine Weboberfläche sehen, in der du Stimmen testen kannst.

Verfügbare Stimmen

Über 67 Stimmen verfügbar. Einige Highlights:

Alle Stimmen ansehen und testen unter http://localhost:8880/web/ sobald der Server läuft.

SSN-URL

Wenn Kokoro-FastAPI auf demselben Computer wie OBS läuft:

Wenn Kokoro-FastAPI auf einem anderen Computer läuft, ersetze 192.168.x.x durch die LAN-IP-Adresse dieses Computers:

Server am Laufen halten

Verwende Dockers Neustart-Flag, damit Kokoro-FastAPI automatisch im Hintergrund weiterläuft:

Der Server startet nun bei jedem Neustart automatisch mit Docker Desktop.

openedai-speech stellt den OpenAI-kompatiblen Endpunkt /v1/audio/speech bereit, den Social Stream benötigt. Das kleine Image führt Piper auf der CPU aus; das vollständige Image kann XTTS-v2-Stimmenklonen auf einer unterstützten GPU ausführen.

Option A: Ressourcenschonendes Piper

Verwende diese Option für einen reinen CPU-TTS-Server unter 1 GB. Sie enthält weder XTTS-v2 noch Stimmenklonen.

Mit Docker Compose installieren

Hinweis zur Installation aus dem Quellcode unter Windows

Wenn du openedai-speech aus einem lokalen Checkout statt Docker betreibst, füge den Skriptordner seiner virtuellen Umgebung zu PATH hinzu, bevor du den Server startest. Ohne dies können Anfragen HTTP 500 zurückgeben, weil der Server folgende Programme nicht findet: piper.exe oder ffmpeg.exe.

Verfügbare Stimmen

openedai-speech verwendet Stimmennamen im OpenAI-Stil, die Piper-Stimmen zugeordnet sind:

SSN-URL

Option B: XTTS-v2-Stimmenklonen

XTTS-v2 selbst ist ein Modell, keine Web-API. Verwende den vollständigen openedai-speech-Server, um das Modell zu laden, eine gespeicherte Referenzstimme auszuwählen, Chattext von SSN anzunehmen und abspielbares Audio zurückzugeben. Der Server nennt etwa 4 GB GPU-VRAM als praktischen Zielwert; CPU-Inferenz ist möglich, aber langsam.

Verwende unter macOS oder Linux cp sample.env speech.env anstelle von Copy-Item. Docker muss Zugriff auf eine unterstützte GPU haben. Das Modell wird bei der ersten Nutzung heruntergeladen.

Behalte alle vorhandenen Stimmen in diesem Abschnitt: tts-1-hd. Ändere me auf den Stimmennamen, den SSN senden soll, und verwende bei Bedarf den richtigen XTTS-Sprachcode.

Wenn Browser oder OBS die direkte Anfrage blockieren, starte die Lokale TTS-Brücke auf dem OBS-Computer, behalte dieselben Modell- und Stimmenparameter bei und ändere dabei openaiendpoint auf http://127.0.0.1:8124/v1/audio/speech.

Die Brücke ist ein kleiner lokaler Helfer. Sie nimmt die Browseranfrage von SSN entgegen, spricht mit deinem TTS-Server und gibt Audio mit browsergeeigneten Headern an SSN zurück.

Der eigenständige Startordner ist local-tts-bridge/; siehe die README der Brücke für alle Startoptionen.

OpenAI-kompatibler Proxy

Windows PowerShell, wenn der TTS-Server auf diesem Computer läuft:

Windows PowerShell, wenn der TTS-Server auf einem anderen Computer läuft:

macOS-/Linux-Terminal:

Richte dann die OBS- dock.html URL auf die Brücke aus:

GPT-SoVITS-Proxy-Modus

GPT-SoVITS verwendet sein eigenes /tts JSON-Format, damit die Brücke die OpenAI-kompatible SSN-Anfrage in den GPT-SoVITS-Anfragetext umwandeln kann.

F5-TTS-Server-Proxy-Modus

Einige F5-TTS-Server-Wrapper stellen /synthesize_speech/?text=...&voice=... statt eines OpenAI-kompatiblen Endpunkts bereit. Die Brücke kann SSNs Anfrage in dieses Abfrageformat umwandeln.

Alle oben genannten selbst gehosteten Server verwenden dieselbe Verbindungsmethode — die integrierte Unterstützung von Social Stream: OpenAI-TTS-Endpunkt mit eigener lokaler URL.

URL-Parameter

Vollständige Beispiel-URLs

Kokoro-FastAPI:

openedai-speech:

kokoro-web:

Weitere TTS-Optionen

Diese Optionen funktionieren mit jedem TTS-Anbieter, einschließlich lokaler Server:

Sinnvolle integrierte Browseroptionen

SSN unterstützt bereits Betriebssystem-/Browser- speechSynthesis, integriertes Kokoro, Piper, Kitten und eSpeak. Die nützlichsten künftigen Ergänzungen im Browser wären eine Auswahl des Audioausgabegeräts, wo setSinkId verfügbar ist, mehr Piper-Stimmen sowie ein eigener Weg für fortlaufende Streaming-Wiedergabe für Server, die Audioblöcke streamen können.

Wie du TTS-Audio in OBS erfasst, hängt davon ab, wie du Social Stream Ninja betreibst.

Methode 1 — OBS-Browser-Quelle Empfohlen

Dies ist die einfachste Methode und funktioniert für alle TTS-Anbieter (integriert und selbst gehosteter Server).

Methode 2 — SSN-Desktop-App + Desktop-Audio

Wenn du die eigenständige Social-Stream-Ninja-Desktop-App verwendest (keine OBS-Browser-Quelle):

Links zu Windows-Audio-Routing

App-spezifisches Routing unter Windows 10

App-spezifisches Routing unter Windows 11

Audio-Router-Software

Audio Router kann eine App an ein virtuelles Kabel weiterleiten, ist aber ältere Software. Bevorzuge das app-spezifische Windows-Routing, wenn es funktioniert.

Erweitertes Routing mit Voicemeeter

Voicemeeter ist am besten, wenn du TTS lokal hören, an OBS weiterleiten und von Musik-/Spielaudio trennen möchtest.

* System TTS erfordert für die OBS-Erfassung Audio-Routing über ein virtuelles Kabel.

Der SSN-App-Test funktioniert, aber OBS hat keinen Ton

Der App-Test beweist nur, dass die App den Server erreichen kann. Die OBS-Browser-Quelle muss weiterhin selbst den Endpunkt erreichen und Audio abspielen.

• Wenn OBS und TTS-Server auf unterschiedlichen Computern laufen, ersetze 127.0.0.1 durch die LAN-IP des TTS-Servercomputers.
• Stelle sicher, dass für die OBS-Browser-Quelle Audio über OBS steuern (Control audio via OBS) aktiviert ist.
• Probiere die lokale SSN-TTS-Brücke auf dem OBS-Computer, wenn der Browser die Anfrage blockiert.

Nur der erste Buchstabe oder die ersten Wörter werden vorgelesen

• Prüfe die tatsächliche OBS-URL auf ttsquick. Diese Option kürzt den gesprochenen Text absichtlich.
• Wenn du &ttsquick=14 oder eine andere kleine Zahl siehst, entferne sie und aktualisiere die OBS-Browser-Quelle.
• Wenn du typewriter=, entferne ihn vorübergehend beim Testen. TTS verwendet normalerweise die ursprüngliche Nachricht, aber das Entfernen visueller Effekte ist eine schnelle Möglichkeit, Zeitprobleme auszuschließen.

Lokaler Server antwortet nicht

• Prüfe, ob Docker läuft und der Container noch gestartet ist.
• Öffne auf dem TTS-Servercomputer http://127.0.0.1:8880/web/ für Kokoro-FastAPI oder den passenden Port deines Servers.
• Öffne vom OBS-Computer aus http://SERVER_LAN_IP:8880/web/. Wenn das nicht lädt, kann OBS diesen Server ebenfalls nicht verwenden.
• Prüfe die Firewall des Servercomputers, wenn die LAN-IP nicht lädt.

CORS oder lokales Netzwerk blockiert

Wenn der Browser meldet, dass CORS, lokaler Netzwerkzugriff, privater Netzwerkzugriff oder fehlgeschlagener fetch die Anfrage blockiert hat, erreicht sie den TTS-Server möglicherweise nie.

• Führe npm run local-tts-bridge auf dem OBS-Computer aus und verwende in SSN http://127.0.0.1:8124/v1/audio/speech.
• Wenn du die gehostete Beta-Dock-Seite lädst, werden lokale HTTP-Endpunkte eher vom Browser blockiert. Die Brücke oder ein lokales App-Fenster ist meist einfacher.

Falsche Stimme oder Stimme nicht gefunden

• Kokoro-FastAPI: Probiere af_bella, af_sarah, am_adam, oder eine andere Stimme aus der Kokoro-Weboberfläche.
• openedai-speech: Stimmen wie nova, echo, und alloy können gültig sein.
• Bei manchen Servern beachten Stimmennamen Groß-/Kleinschreibung.

Audio wird abgespielt, aber OBS erfasst es nicht

• Stelle sicher, dass Audio über OBS steuern (Control audio via OBS) in den Browser-Quell-Eigenschaften aktiviert ist.
• Beobachte den OBS-Audiomixer während einer Testnachricht. Der Pegel der Browser-Quelle sollte sich bewegen.
• Stelle sicher, dass du nicht ausschließlich System TTS verwendest (?speech=en-US ohne &ttsprovider=). System TTS benötigt möglicherweise Desktop-Audio oder Erfassung über ein virtuelles Kabel.

Docker-Image nicht gefunden

Docker-Image-Tags können sich ändern. Wenn ein Befehl in dieser Anleitung nicht mehr funktioniert, prüfe auf der Projektseite den aktuellen Tag:

• Kokoro-FastAPI: github.com/remsky/Kokoro-FastAPI
• openedai-speech: github.com/matatonic/openedai-speech