Kohalik AI TTS-juhend

Kas mul on seda vaja?

„Kohalik” tähendab kas SSN-i sisseehitatud häält, mis töötab brauseris, või teie enda käitatavat kõneserverit.

Sisseehitatud hääled (ei ole vaja installida)

Need töötavad SSN-is teie brauseris. Serverit, Dockerit ega API-võtit pole vaja.

Seadistage see neljas etapis

1. Lisa &speech=en-US&ttsprovider=kokoro oma dock.html link. (Või piper, kitten, espeak.)
2. Lisage see link OBS-i allikana Brauseri allikas. See on leht, mis teeb häält.
3. Selle omadustes lülitage sisse Heli juhtimine OBS-i kaudu.
4. Saatke lühike testvestlussõnum, näiteks Testing local TTS.

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=kokoro

Hääled, kiirus ja muud keeled: pakkuja seaded. Kas eelistate klõpsamist? Kasutage seadistusjuhend.

Ühendage oma TTS-server

Server pakub rohkem hääli, häälte kloonimist või üht häält, mida saate eri tööriistades kasutada. SSN suhtleb sellega nagu OpenAI-ga ühilduv kõneserver. API-võtit pole vaja.

1. Käivitage oma server. Kokoro-FastAPI on kõige lihtsam.
2. Avage SSN-is TTS-i pakkujate loend ja valige Kohandatud / Kohalik TTS-i lõpp-punkt.
3. sisse Kohandatud / kohaliku API lõpp-punkt, sisestage oma serveri aadress, näiteks http://127.0.0.1:8880/v1/audio/speech.
4. Jätke API võti tühjaks.
5. Valige hääl, mida teie server tunneb: af_bella Kokoro jaoks, nova openedai-speechi jaoks.
6. Kopeerige link OBS-i ja saatke testvestlussõnum.

Need vajavad Docker Desktop olema installitud ja töötama. See on isiklikuks kasutamiseks tasuta.

localhost-aadressi reegel

See on kõige levinum viga.

Kontrollige ka, kas tulemüür lubab porti ja kas Docker on selle avaldanud (-p 8880:8880).

Kokoro-FastAPI

Kokoro-FastAPI käitab Kokorot kohaliku serverina. Töötab protsessoril; GPU-d pole vaja.

1. Avage terminal (käsuviip, PowerShell või terminal) ja käivitage üks järgmistest:

   docker run -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-cpu:v0.2.2

   NVIDIA GPU (kiirem):

   docker run --gpus all -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-gpu:v0.2.0post4

   Esimesel käivitamisel laaditakse ühekordselt alla umbes 1,5–2 GB.
2. Avatud http://localhost:8880/web/. Peaksite nägema häälte testimise lehte (saadaval 67+).
3. Kasutage seda linki (muutke aadressi, kui server asub teises arvutis):

   dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8880/v1/audio/speech&voiceopenai=af_bella

Käivitage see automaatselt Dockeriga:

docker run -d --restart unless-stopped -p 8880:8880 ghcr.io/remsky/kokoro-fastapi-cpu:v0.2.2

openedai-speech (Piper ja XTTS-v2)

Valik A: kerge Piper-server (CPU)

Alla 1 GB. Hääli ei klooni.

docker run -d --restart unless-stopped -p 8000:8000 ghcr.io/matatonic/openedai-speech-min

Hääled: alloy, echo, fable, onyx, nova, shimmer.

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=openai&openaiendpoint=http://localhost:8000/v1/audio/speech&voiceopenai=nova

cd openedai-speech
$env:Path = "$PWD\.venv\Scripts;$env:Path"
.\.venv\Scripts\python.exe speech.py --xtts_device none -H 127.0.0.1 -P 8000

Valik B: XTTS-v2 hääle kloonimine (GPU)

Vajab täisserverit, mitte openedai-speech-min. Planeerige umbes 4 GB GPU-mälu. CPU töötab, kuid on aeglane.

Kohalik TTS-sild

Väike SSN-i abitööriist. See võtab vastu SSN-i päringu, edastab selle teie kõneserverile ja tagastab heli brauseritele sobival viisil. Vajab Node.js-i.

1. Öelge sillale, kus teie server asub. PowerShell:

   $env:SSN_TTS_TARGET="http://127.0.0.1:8880/v1/audio/speech"

   Server teises arvutis? Kasutage selle kohalikku IP-d, näiteks http://192.168.x.x:8880/v1/audio/speech.
2. SSN-kaustas käivitage node scripts/local-tts-bridge.cjs. Jätke see tööle.
3. Suunake SSN sillale:

   dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&voiceopenai=af_bella

macOS/Linux, ühel real: SSN_TTS_TARGET="http://127.0.0.1:8880/v1/audio/speech" node scripts/local-tts-bridge.cjs. Jaotises local-tts-bridge kaust, node server.cjs teeb sama. Muutke porti kasutades SSN_TTS_BRIDGE_PORT=8125. Kõik valikud: silla README.

$env:SSN_TTS_REF_AUDIO_PATH="C:\voices\speaker.wav"
$env:SSN_TTS_REF_TEXT="Reference audio transcript here."
$env:SSN_TTS_TARGET="http://127.0.0.1:9880/tts"
node scripts/local-tts-bridge.cjs --mode gptsovits

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&openaiformat=wav

$env:SSN_TTS_TARGET="http://127.0.0.1:7860/synthesize_speech/"
node scripts/local-tts-bridge.cjs --mode f5

dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://127.0.0.1:8124/v1/audio/speech&voiceopenai=default_en&openaiformat=wav

Hääle kloonimine

Kloonimine ei ole SSN-i seade. See on mõne kõneserveri funktsioon. SSN saadab vestlusteksti; server valib kloonitud hääle.

1. Salvestage ühe kõneleja puhas, tavaliselt 3–30 sekundi pikkune klipp vähese taustamüraga.
2. Mõned serverid vajavad ka klipis öeldud täpseid sõnu.
3. Server muudab klipi hääleprofiiliks.
4. SSN saadab vestlusteksti koos ttsprovider=customtts.
5. Server tagastab heli (tavaliselt WAV või MP3) ja SSN esitab selle.

Kui GPU-mälu on 6 GB või vähem, alustage OpenAI-ga ühilduvate serverite väikeste mudelitega. Suuremad mudelid töötavad ka siis, kui neid majutatakse mujal.

Sisseehitatud Kokoro ja Kokoro-FastAPI ei klooni hääli.

Millist arvutit ma vajan?

Ligikaudsed lähtekohad, mitte lubadused. Mälukasutust mõjutavad mudeli suurus, teksti pikkus ja muud rakendused.

Viige heli OBS-i

OBS-i brauseriallikas (soovitatav)

Töötab sisseehitatud häälte ja teie enda serveriga.

1. Lisage a Brauseri allikas oma dock.html TTS link.
2. Lülitage sisse Heli juhtimine OBS-i kaudu.
3. Klõpsake OK. TTS kuvatakse nüüd OBS-mikseris.

SSN-i töölauarakendus

Töölauarakendus kasutab samu lingiseadeid, kuid heli tuleb rakendusest, mitte OBS-ist. Jäädvustage see, kasutades Töölauaheli või Helisisendi jäädvustamine. TTS-i muudest helidest eraldamiseks suunake rakenduse heli virtuaalkaablisse: heli suunamise juhised.

Kõrvuti

Probleemide lahendamine

Serveriehitajatele

Kuidas SSN suhtleb kohandatud serveriga. Teil on seda vaja ainult siis, kui ehitate või silute seda.

chat text -> SSN -> your endpoint (or the bridge) -> TTS server -> audio -> SSN plays it

POST /v1/audio/speech
{
  "model": "tts-1",
  "input": "Chat message text",
  "voice": "af_bella",
  "response_format": "mp3",
  "speed": 1.0
}

Kokoro-FastAPI:  dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:8880/v1/audio/speech&voiceopenai=af_bella&openaispeed=1.1
openedai-speech: dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:8000/v1/audio/speech&voiceopenai=nova
kokoro-web:      dock.html?session=YOUR_SESSION&speech=en-US&ttsprovider=customtts&openaiendpoint=http://localhost:3000/api/v1/audio/speech&voiceopenai=af_bella