Guide de synthèse vocale IA locale

En ai-je besoin ?

« Local » désigne l'une de ces deux choses : une voix intégrée à SSN qui fonctionne dans votre navigateur, ou un serveur vocal que vous faites fonctionner vous-même.

Voix intégrées (rien à installer)

Ces voix fonctionnent dans SSN, dans votre navigateur. Sans serveur, Docker ni clé API.

Configurer en 4 étapes

1. Ajouter &speech=en-US&ttsprovider=kokoro à votre dock.html (lien). (Ou piper, kitten, espeak.)
2. Ajoutez ce lien dans OBS comme Source navigateur. C'est cette page qui produit le son.
3. Dans ses propriétés, activez Contrôler l’audio via OBS.
4. Envoyez un court message de test dans le chat, par exemple Testing local TTS.

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=kokoro

Voix, vitesse et autres langues : paramètres du fournisseur. Vous préférez cliquer ? Utilisez le guide de configuration.

Connecter votre serveur TTS

Un serveur offre plus de voix, le clonage ou une voix réutilisable entre outils. SSN lui parle comme à un serveur vocal Compatible OpenAI . Aucune clé API nécessaire.

1. Démarrez votre serveur. Kokoro-FastAPI est le plus simple.
2. Dans SSN, ouvrez la liste des fournisseurs TTS et choisissez Point de terminaison de synthèse vocale personnalisé / local.
3. Dans Adresse API personnalisée/locale, saisissez l'adresse du serveur, comme http://127.0.0.1:8880/v1/audio/speech.
4. Laissez la clé API vide.
5. Choisissez une voix reconnue par votre serveur : af_bella pour Kokoro, nova pour openedai-speech.
6. Copiez le lien dans OBS et envoyez un message de test.

Ils nécessitent Docker Desktop installé et en cours d'exécution. Il est gratuit pour un usage personnel.

La règle de localhost

C'est l'erreur la plus courante.

Vérifiez aussi que le pare-feu autorise le port et que Docker l'a publié (-p 8880:8880).

Kokoro-FastAPI

Kokoro-FastAPI exécute Kokoro comme serveur local. Fonctionne sur processeur ; aucune carte graphique nécessaire.

1. Ouvrez un terminal (Invite de commandes, PowerShell ou Terminal) et exécutez l'une de ces commandes :

   docker run -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-cpu:v0.2.2

   Carte graphique NVIDIA (plus rapide) :

   docker run --gpus all -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-gpu:v0.2.0post4

   La première exécution télécharge environ 1,5 à 2 Go, une seule fois.
2. Ouvrir http://localhost:8880/web/. Une page de test des voix devrait s'afficher (plus de 67 disponibles).
3. Utilisez ce lien (changez l'adresse si le serveur est sur un autre ordinateur) :

   dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8880/v1/audio/speech&voiceopenai=af_bella

Démarrez-le automatiquement avec Docker :

docker run -d --restart unless-stopped -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-cpu:v0.2.2

openedai-speech (Piper et XTTS-v2)

Option A : serveur Piper léger (processeur)

Moins de 1 Go. Sans clonage vocal.

docker run -d --restart unless-stopped -p 8000:8000 ghcr.io/matatonic/openedai-speech-min

Voix : alloy, echo, fable, onyx, nova, shimmer.

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=openai&openaiendpoint=http://localhost:8000/v1/audio/speech&voiceopenai=nova

cd openedai-speech
$env:Path = "$PWD\.venv\Scripts;$env:Path"
.\.venv\Scripts\python.exe speech.py --xtts_device none -H 127.0.0.1 -P 8000

Option B : clonage vocal XTTS-v2 (carte graphique)

Nécessite le serveur complet, pas openedai-speech-min. Prévoyez environ 4 Go de mémoire GPU. Le processeur fonctionne, mais lentement.

Le pont TTS local

Un petit utilitaire SSN. Il reçoit la requête SSN, la transmet au serveur vocal et renvoie l'audio sous une forme acceptée par les navigateurs. Node.js requis.

1. Indiquez au pont où se trouve votre serveur. PowerShell :

   $env:SSN_TTS_TARGET="http://127.0.0.1:8880/v1/audio/speech"

   Le serveur est sur un autre ordinateur ? Utilisez son adresse IP locale, par exemple http://192.168.x.x:8880/v1/audio/speech.
2. Dans le dossier SSN, exécutez node scripts/local-tts-bridge.cjs. Laissez-le fonctionner.
3. Connectez SSN au pont :

   dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&voiceopenai=af_bella

macOS/Linux, en une seule ligne : SSN_TTS_TARGET="http://127.0.0.1:8880/v1/audio/speech" node scripts/local-tts-bridge.cjs. Dans le dossier local-tts-bridge , node server.cjs fait la même chose. Changez le port avec SSN_TTS_BRIDGE_PORT=8125. Toutes les options : README de la passerelle.

$env:SSN_TTS_REF_AUDIO_PATH="C:\voices\speaker.wav"
$env:SSN_TTS_REF_TEXT="Reference audio transcript here."
$env:SSN_TTS_TARGET="http://127.0.0.1:9880/tts"
node scripts/local-tts-bridge.cjs --mode gptsovits

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&openaiformat=wav

$env:SSN_TTS_TARGET="http://127.0.0.1:7860/synthesize_speech/"
node scripts/local-tts-bridge.cjs --mode f5

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&voiceopenai=default_en&openaiformat=wav

Clonage vocal

Le clonage n'est pas un réglage SSN, mais une fonction de certains serveurs vocaux. SSN envoie le texte du chat ; le serveur choisit la voix clonée.

1. Enregistrez un extrait propre d'une seule personne, généralement de 3 à 30 secondes, avec peu de bruit de fond.
2. Certains serveurs ont aussi besoin des mots exacts prononcés dans l'extrait.
3. Le serveur transforme l'extrait en profil vocal.
4. SSN envoie le texte du chat avec ttsprovider=customtts.
5. Le serveur renvoie de l'audio (généralement WAV ou MP3) et SSN le lit.

Avec 6 Go de mémoire graphique ou moins, commencez par de petits modèles sur des serveurs compatibles avec OpenAI. Les modèles plus volumineux fonctionnent aussi s'ils sont hébergés ailleurs.

Kokoro intégré et Kokoro-FastAPI ne clonent pas les voix.

Quel ordinateur me faut-il ?

Ces indications donnent un point de départ, pas une garantie. La taille du modèle, la longueur du texte et les autres applications influent sur l'utilisation de la mémoire.

Faire parvenir le son à OBS

Source navigateur OBS (recommandée)

Fonctionne avec les voix intégrées et votre propre serveur.

1. Ajoutez un Source navigateur avec votre lien dock.html de TTS.
2. Activez Contrôler l’audio via OBS.
3. Cliquez sur OK. Le TTS apparaît maintenant dans le mixeur OBS.

Application de bureau SSN

L'application de bureau utilise les mêmes paramètres de lien. Mais le son est lu par l'application, pas par OBS. Capturez-le avec Audio du bureau ou Capture d'entrée audio. Pour séparer le TTS des autres sons, dirigez l'application vers un câble virtuel : étapes du routage audio.

Comparatif

Résoudre les problèmes

Pour les développeurs de serveurs

Comment SSN communique avec un serveur personnalisé. Cette section ne vous concerne que si vous en développez ou en déboguez un.

chat text -> SSN -> your endpoint (or the bridge) -> TTS server -> audio -> SSN plays it

POST /v1/audio/speech
{
  "model": "tts-1",
  "input": "Chat message text",
  "voice": "af_bella",
  "response_format": "mp3",
  "speed": 1.0
}

Kokoro-FastAPI:  dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:8880/v1/audio/speech&voiceopenai=af_bella&openaispeed=1.1
openedai-speech: dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:8000/v1/audio/speech&voiceopenai=nova
kokoro-web:      dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:3000/api/v1/audio/speech&voiceopenai=af_bella