Guida al TTS con IA locale

Social Stream Ninja può leggere ad alta voce i messaggi chat usando la sintesi vocale IA locale. “Locale” può significare due cose: la voce funziona nel browser oppure esegui un piccolo server TTS sul tuo computer.

Ci sono due approcci:

È il percorso più breve per la maggior parte degli streamer:

È l'errore più comune con il TTS locale.

Su Linux, macOS e Windows, assicurati anche che il firewall consenta la porta e che Docker abbia pubblicato la porta con -p 8880:8880.

Nel popup dell'estensione, apri il selettore del provider TTS e scegli Endpoint TTS personalizzato / locale. Mostra i campi dell'endpoint locale compatibile con OpenAI e il link a questa guida.

SSN tratta un server TTS locale/ospitato autonomamente come un endpoint vocale compatibile con OpenAI. Il flusso principale è:

Struttura della richiesta

Per ttsprovider=customtts, localtts, oppure openai, SSN invia un POST JSON all'endpoint configurato:

CORS, pagine ospitate e bridge

CORS è un controllo dei permessi del browser. In parole semplici, il server TTS deve dire al browser: “sì, questa pagina può chiedermi dell'audio”. Se manca quel permesso, la richiesta può essere bloccata prima ancora che Kokoro o un altro server TTS la vedano.

• Se carichi dock.html in Chrome o OBS, CORS può essere rilevante.
• Se carichi la pagina ospitata, come https://beta.socialstream.ninja/dock.html, Chrome potrebbe anche bloccare le chiamate a indirizzi HTTP locali o privati.
• Se il pulsante Test nell'app SSN funziona ma la sorgente browser OBS è silenziosa, prova OBS separatamente. OBS ha un proprio browser.

Se il server non consente le richieste del browser, esegui il bridge TTS locale SSN e indirizza SSN a http://127.0.0.1:8124/v1/audio/speech. Per OBS, la configurazione più semplice è eseguire il bridge sullo stesso computer di OBS.

Risposte audio supportate

Audio in streaming

SSN attualmente non esegue la riproduzione progressiva per gli endpoint TTS personalizzati/locali. Attende il blob della risposta o il payload audio JSON, poi lo riproduce. Alcuni server a monte espongono endpoint streaming, ma il percorso attuale compatibile con OpenAI di SSN carica l'audio prima della riproduzione.

Risultato pratico: mantieni brevi i frammenti TTS della chat. Il supporto streaming richiederebbe un percorso di riproduzione separato con blocchi WAV/MP3 in streaming, MediaSource, WebCodecs o un mixer lato server.

Questi motori sono inclusi in Social Stream Ninja e non richiedono installazione. Funzionano nel browser usando WebAssembly (WASM) o ONNX Runtime.

Come attivare

Aggiungi &ttsprovider= e &speech= al tuo Social Stream dock.html URL:

Opzioni Kokoro TTS

SSN elenca attualmente 28 voci Kokoro in inglese, tre in spagnolo e tre in portoghese brasiliano. Specificane una con &voicekokoro=:

Esempio in spagnolo:

Esempio in portoghese:

Opzioni Piper TTS

Specifica un modello vocale con &pipervoice=:

Sono disponibili voci Piper in portoghese e spagnolo:

Opzioni Kitten TTS

Opzioni eSpeak-NG

L'estensione Chrome, la sorgente browser OBS e l'app desktop autonoma Social Stream Ninja usano tutti gli stessi dock.html parametri URL per la sintesi vocale. La differenza importante è dove viene prodotto il suono.

Se vuoi più opzioni vocali, clonazione vocale o un server dedicato da riutilizzare con più strumenti, puoi eseguire un server TTS locale. Social Stream Ninja vi si connette usando la funzione integrata Endpoint TTS compatibile con OpenAI senza bisogno di chiave API per i server locali.

Tre opzioni consigliate:

Quale pacchetto è adatto?

La clonazione vocale non è una modalità SSN separata. È una funzionalità di alcuni server TTS locali. SSN invia il testo della chat a un endpoint locale; il server sceglie la voce clonata da un file audio di riferimento salvato, un profilo vocale o la configurazione del bridge.

Flusso tipico

1. Registra una clip di riferimento pulita, in genere da 3 a 30 secondi di una sola persona con poco rumore di fondo.
2. Alcuni motori richiedono anche la trascrizione esatta di quella clip di riferimento.
3. Il server locale converte il riferimento in un prompt del parlante, un embedding o un profilo vocale.
4. SSN invia il testo della chat dal vivo all'endpoint usando ttsprovider=customtts.
5. Il server restituisce un file audio riproducibile, di solito WAV o MP3, e SSN lo riproduce nel dock/nella sorgente browser.

Con 6 GB di VRAM o meno, punta prima su piccoli modelli di clonazione zero-shot e server compatibili con OpenAI. I modelli più grandi possono comunque funzionare tramite lo stesso endpoint SSN se l'utente li ospita altrove.

Sono punti di partenza pratici, non garanzie assolute. Versione del modello, quantizzazione, lunghezza del testo, immagine Docker e app in background possono cambiare l'uso della memoria.

Queste sono le soluzioni di clonazione vocale ospitate autonomamente controllate per la compatibilità SSN. Il percorso dell'endpoint locale è stato testato con entrambi dock.html e featured.html.

SSN accetta risposte audio binarie dirette, risposte JSON con audio base64 e risposte JSON con URL audio. L'attuale riproduzione personalizzata/locale carica in memoria l'audio restituito prima di riprodurlo; la riproduzione progressiva in streaming non è ancora supportata.

Kokoro-FastAPI esegue il modello Kokoro 82M come server locale con API compatibile con OpenAI. Funziona sulla CPU (nessuna GPU richiesta) e offre un'eccellente qualità vocale.

Installa con Docker

Apri un terminale (Prompt dei comandi, PowerShell o Terminale) ed esegui uno dei seguenti comandi:

CPU (funziona su qualsiasi computer):

GPU (solo NVIDIA — sintesi più veloce):

Verifica che sia in esecuzione

Apri il browser e vai a http://localhost:8880/web/— dovresti vedere un'interfaccia web in cui provare le voci.

Voci disponibili

Oltre 67 voci disponibili. Alcune in evidenza:

Esplora e prova tutte le voci su http://localhost:8880/web/ una volta avviato il server.

URL SSN

Se Kokoro-FastAPI è sullo stesso computer di OBS:

Se Kokoro-FastAPI è su un altro computer, sostituisci 192.168.x.x con l'indirizzo IP LAN di quel computer:

Mantieni il server in esecuzione

Per mantenere Kokoro-FastAPI in esecuzione automatica in background, usa il parametro di riavvio di Docker:

Ora partirà automaticamente con Docker Desktop a ogni riavvio.

openedai-speech espone l'endpoint compatibile con OpenAI /v1/audio/speech richiesto da Social Stream. L'immagine piccola esegue Piper sulla CPU; l'immagine completa può eseguire la clonazione vocale XTTS-v2 su una GPU supportata.

Opzione A: Piper leggero

Usa questa opzione per un server TTS solo CPU sotto 1 GB. Non include XTTS-v2 o clonazione vocale.

Installa con Docker Compose

Nota sull'installazione dai sorgenti in Windows

Se esegui openedai-speech da un checkout locale anziché da Docker, aggiungi la cartella degli script del suo ambiente virtuale a PATH prima di avviare il server. In sua assenza, le richieste possono restituire HTTP 500 perché il server non trova piper.exe oppure ffmpeg.exe.

Voci disponibili

openedai-speech usa nomi vocali in stile OpenAI associati alle voci Piper:

URL SSN

Opzione B: clonazione vocale XTTS-v2

XTTS-v2 è un modello, non un'API web. Usa il server openedai-speech completo per caricare il modello, selezionare una voce di riferimento salvata, accettare il testo chat da SSN e restituire audio riproducibile. Il server indica un obiettivo pratico di circa 4 GB di VRAM GPU; l'inferenza su CPU è possibile ma lenta.

Su macOS o Linux, usa cp sample.env speech.env invece di Copy-Item. Docker deve avere accesso a una GPU supportata. Il modello viene scaricato al primo utilizzo.

Mantieni le eventuali voci già elencate sotto tts-1-hd. Modifica me nel nome voce che vuoi far inviare a SSN, e usa il codice lingua XTTS corretto quando necessario.

Se il browser o OBS blocca la richiesta diretta, esegui il Bridge TTS locale sul computer OBS e mantieni gli stessi parametri di modello e voce mentre cambi openaiendpoint a http://127.0.0.1:8124/v1/audio/speech.

Il bridge è un piccolo strumento locale di supporto. Accetta la richiesta del browser da SSN, comunica con il server TTS e restituisce l'audio a SSN con intestazioni adatte al browser.

La cartella iniziale autonoma è local-tts-bridge/; vedi il README del bridge per tutte le opzioni di avvio.

Proxy compatibile con OpenAI

Windows PowerShell, quando il server TTS è su questo stesso computer:

Windows PowerShell, quando il server TTS è su un altro computer:

Terminale macOS/Linux:

Poi indirizza l'URL OBS dock.html verso il bridge:

Modalità proxy GPT-SoVITS

GPT-SoVITS usa la propria struttura JSON per /tts , quindi il bridge può tradurre la richiesta compatibile con OpenAI di SSN nel corpo di richiesta GPT-SoVITS.

Modalità proxy server F5-TTS

Alcuni wrapper server F5-TTS espongono /synthesize_speech/?text=...&voice=... invece di un endpoint compatibile con OpenAI. Il bridge può tradurre la richiesta SSN in quel formato di query.

Tutti i server ospitati autonomamente sopra usano lo stesso metodo di connessione: la funzione integrata di Social Stream Endpoint TTS OpenAI con un URL locale personalizzato.

Parametri URL

Esempi di URL completi

Kokoro-FastAPI:

openedai-speech:

kokoro-web:

Altre opzioni TTS

Funzionano con qualsiasi provider TTS, inclusi i server locali:

Opzioni integrate nel browser da supportare

SSN supporta già la funzionalità del sistema operativo/browser speechSynthesis, Kokoro integrato, Piper, Kitten ed eSpeak. Le aggiunte future più utili lato browser sarebbero un selettore del dispositivo di uscita audio dove setSinkId è disponibile, più scelte di voci Piper e un percorso dedicato di riproduzione progressiva in streaming per i server che possono trasmettere blocchi audio.

Il modo di acquisire l'audio TTS in OBS dipende da come esegui Social Stream Ninja.

Metodo 1 — Sorgente browser OBS Consigliato

È il metodo più semplice e funziona per tutti i provider TTS (integrato e server ospitato autonomamente).

Metodo 2 — App desktop SSN + audio desktop

Se usi l'app desktop autonoma Social Stream Ninja (non una sorgente browser OBS):

Link sull'instradamento audio Windows

Instradamento per app in Windows 10

Instradamento per app in Windows 11

Software Audio Router

Audio Router può instradare un'app verso un cavo virtuale, ma è un software datato. Preferisci l'instradamento per app di Windows quando funziona.

Instradamento avanzato con Voicemeeter

Voicemeeter è la scelta migliore quando devi sentire il TTS localmente, instradarlo verso OBS e mantenerlo separato dall'audio di musica/giochi.

* La sintesi vocale di sistema richiede l'instradamento tramite cavo audio virtuale per l'acquisizione in OBS.

Il test nell'app SSN funziona, ma OBS non ha audio

Il test nell'app dimostra solo che l'app può raggiungere il server. La sorgente browser OBS deve comunque raggiungere l'endpoint e riprodurre l'audio.

• Se OBS e il server TTS sono su computer diversi, sostituisci 127.0.0.1 con l'IP LAN del computer del server TTS.
• Assicurati che la sorgente browser OBS abbia Controlla l'audio tramite OBS selezionato.
• Prova il bridge TTS locale SSN sul computer OBS se il browser blocca la richiesta.

Vengono lette solo la prima lettera o le prime parole

• Controlla nell'URL effettivo di OBS la presenza di ttsquick. Quell'opzione accorcia intenzionalmente il testo pronunciato.
• Se vedi &ttsquick=14 oppure un altro numero piccolo, rimuovilo e aggiorna la sorgente browser OBS.
• Se usi typewriter=, rimuovilo temporaneamente durante i test. La sintesi vocale usa normalmente il messaggio originale, ma rimuovere gli effetti visivi è un modo rapido per escludere problemi di temporizzazione.

Il server locale non risponde

• Conferma che Docker sia in esecuzione e che il container sia ancora avviato.
• Sul computer del server TTS, apri http://127.0.0.1:8880/web/ per Kokoro-FastAPI, oppure la porta corrispondente del tuo server.
• Dal computer OBS, apri http://SERVER_LAN_IP:8880/web/. Se non si carica, neppure OBS potrà usare quel server.
• Controlla il firewall del computer server se l'IP LAN non si carica.

CORS o rete locale bloccati

Se il browser dice che la richiesta è stata bloccata da CORS, accesso alla rete locale, accesso alla rete privata o failed fetch, il server TTS potrebbe non ricevere mai la richiesta.

• Esegui npm run local-tts-bridge sul computer OBS e indirizza SSN a http://127.0.0.1:8124/v1/audio/speech.
• Se usi la pagina dock beta ospitata, è più probabile che il browser blocchi gli endpoint HTTP locali. Il bridge o una finestra locale dell'app sono in genere più semplici.

Voce errata o non trovata

• Kokoro-FastAPI: prova af_bella, af_sarah, am_adam, oppure un'altra voce dall'interfaccia web di Kokoro.
• openedai-speech: voci come nova, echo, e alloy possono essere valide.
• I nomi delle voci distinguono tra maiuscole e minuscole su alcuni server.

L'audio viene riprodotto ma OBS non lo acquisisce

• Assicurati che Controlla l'audio tramite OBS sia selezionato nelle proprietà della sorgente browser.
• Osserva il mixer audio OBS mentre viene riprodotto un messaggio di test. L'indicatore della sorgente browser dovrebbe muoversi.
• Assicurati di non usare solo la sintesi vocale di sistema (?speech=en-US senza &ttsprovider=). La sintesi vocale di sistema potrebbe richiedere l'acquisizione dell'audio desktop o di un cavo virtuale.

Immagine Docker non trovata

I tag delle immagini Docker possono cambiare. Se un comando di questa guida smette di funzionare, controlla il tag attuale nella pagina del progetto:

• Kokoro-FastAPI: github.com/remsky/Kokoro-FastAPI
• openedai-speech: github.com/matatonic/openedai-speech