İki kullanım yolu
AI ile sesli konuşun: cohost.html. Size yanıt verir ve sorduğunuzda sohbetinizi konuşabilir.
Dock'ta bir sohbet mesajına sağ tıklayın. AI avatarı mesajı okur veya önce onayınıza sunulan bir yanıt ya da hafif takılma taslağı hazırlar.
İkisi de OBS'de avatar ve konuşma balonunu şu araçla gösterir: AI sahne katmanı, cohost-overlay.html.
8 adımda sesli yardımcı sunucu
Bu özellik şunu kullanır: OpenAI Realtime, bu nedenle OpenAI API anahtarı gerekir. Diğer seçenekler: aşağıdadır.
- Social Stream açılır penceresinde şunu seçin: ChatGPT API, OpenAI proje API anahtarınızı yapıştırın ve şuna tıklayın: Seçili sohbet botunu test et.
- Şunu açın:
cohost.htmlbağlantısını açılır pencereden alın. Bu bağlantıyı gizli tutun. - Seçin: OpenAI Realtime.
- Konuştuğunuz mikrofonu seçin. Şu ayarı koruyun: Sesli yanıt seçili olsun.
- Basın Yardımcı sunucuyu başlat.
- Bırakın: Canlı Sohbet üzerinde Yalnızca bağlam. İstediğiniz zaman “Sohbet ne diyor?” diye sorun.
- OBS'de yardımcı sunucu sayfasının veya uygulamasının sesini yakalayın. AI sesi yalnızca orada çalınır.
- Ekleyin:
cohost-overlay.html?session=YOUR_SESSION_IDOBS'ye avatar ve konuşma balonu için Tarayıcı Kaynağı olarak ekleyin.
OpenAI Realtime hakkında daha fazla bilgi
- Ücret OpenAI API hesabınıza yansıtılır. chatgpt.com'dan ayrıdır ve ChatGPT web sitesi veya uygulamasındaki bir konuşmaya katılmaz.
- Standart anahtarınız Social Stream'de kalır. Yardımcı sunucu sayfası yalnızca kısa ömürlü bir erişim izni alır.
- Bunun için Özel Sohbet Botu seçeneğini açmanız gerekmez.
- Yanıtlar en fazla 512 çıktı jetonuyla sınırlıdır. Tanılama toplam jeton kullanımını ve yanıtların ne kadar hızlı başladığını gösterir.
- Sözünü keserseniz durur ve henüz çalınmamış sesi atar.
- Bağışlar, üyelikler, moderatör, etkinlik ve kanal bilgileri dahil en fazla 20 son sohbet mesajını 90 saniyeye kadar tutar. Sonra bunları unutur.
- Bağlantı koparsa kendiliğinden yeniden bağlanır ve OpenAI'nin 60 dakikalık sınırından önce yeni bir oturum başlatır. Talimatlarınız ve hız ayarlarınız korunur ancak sesli konuşulanları unutur.
Sohbetinizi nasıl kullanır?
Yardımcı sunucu sayfasını aynı session değeriyle açarsanız Social Stream canlı sohbetinizi görebilir. Nasıl kullanacağını şu bölümden seçin: Canlı Sohbet.
| Canlı Sohbet ayarı | Ne yapar |
|---|---|
| Yalnızca bağlam – sorulduğunda yanıtla (varsayılan) | Son mesajları hatırlar ve siz sohbeti sorana kadar sessiz kalır. |
| Soruları ve bahsetmeleri sesli yanıtla | Soruları ve bahsetmeleri kendiliğinden sesli yanıtlar. |
| Her mesaja sesli yanıt ver | Her mesajı sesli yanıtlar. |
Bunların hiçbiri YouTube, Twitch veya Kick sohbetine yanıt göndermez. Yalnızca bağlam sohbeti yalnızca OpenAI Realtime ile AI'ya aktarır. Diğer sağlayıcılar sohbeti izler ancak AI'ya iletmez.
OpenAI olmadan ses
| Nerede çalıştırılır? | Sizi nasıl duyar? |
|---|---|
| SSN masaüstü uygulaması | Kendi bilgisayarınızda Whisper. İlk kullanımda yaklaşık 42 MB indirilir. Sonrasında çevrimdışı çalışır. |
| Chrome (uzantı bağlantısı) | Chrome konuşma tanıma. İnternet gerektirebilir. |
| Diğer tarayıcılar | Ses çalışmayabilir. Yazma, canlı sohbet, kamera veya ekran ve AI yanıtları yine de çalışabilir. |
Sizi duyduğunu kontrol etmek için şunu açın: Tanılama. Şunu söylemelidir: Dinleniyor (Masaüstü Whisper) veya Dinleniyor (OpenAI WebRTC)ve sözleriniz şurada görünmelidir: Duyulan.
Test için ücretsiz AI
- Açın: Sohbet Botları ve AI hizmetleri → LLM Hizmet Sağlayıcısını Yapılandır.
- Seçin: SSN Barındırılan Deneme LLM'si (deneysel).
- Uç nokta, jeton ve model alanlarını boş bırakın.
Deneme süresince ücretsizdir; kapatılabilir veya istek sınırı uygulanabilir. Uzun süreli kullanım için kendi jetonunuzu ekleyin veya yerel AI kullanın.
5 adımda Dock düğmeleri
- Dock'u açın:
dock.html?session=YOUR_SESSION_ID. - Sahne katmanını OBS'ye ekleyin:
cohost-overlay.html?session=YOUR_SESSION_ID. Şunu ekleyin:&ttskonuşması gerekiyorsa. - Açılır pencerede bir AI sağlayıcısı ayarlayın. Hızlı bir test için şunu kullanın: SSN Barındırılan Deneme LLM'si.
- Açın: Sohbet Botları ve AI hizmetleri → Sohbet Botu – Özel Arayüz → Özel sohbet botunu etkinleştir.
- Dock'ta bir mesaja sağ tıklayın ve şunu seçin: Yardımcı sunucu.
| Düğme | Ne yapar | Gerekenler |
|---|---|---|
| Yardımcı sunucuda oku | Avatar mesajı okur. | Sahne katmanı bağlı. AI gerekmez. |
| Yanıtla | Onayınız için kısa yanıt hazırlar. | Özel Sohbet Botu açık ve bir AI sağlayıcısı ayarlanmış olmalı. |
| Hafifçe takıl | Onayınız için kısa, eğlenceli ve hafif bir takılma hazırlar. | Özel Sohbet Botu açık ve bir AI sağlayıcısı ayarlanmış olmalı. |
| Seslendir | Onayladığınız taslağı katmana gönderir. | Taslak. |
| Kopyala | Taslağı göndermeden kopyalar. | Taslak. |
Şuna tıklayana kadar AI taslakları seslendirilmez: Seslendir. Onay, yayın dışında Dock'ta verilir.
Sağ tıklama menüsü henüz klavyeyle çalışmıyor. Klavye kullanıcıları şu sayfada yazabilir veya konuşabilir: cohost.html bunun yerine.
Hız, kalite ve maliyet (OpenAI)
| Ayar | Daha hızlı ve ucuz | Daha akıllı, daha yavaş |
|---|---|---|
| Model | Mini | Tam kalite (daha pahalı) |
| Akıl yürütme düzeyi | En Az veya Düşük | Yüksek veya Çok yüksek (daha pahalı) |
| Konuşma sırası hızı | Hızlı: siz durduktan sonra yaklaşık 2 saniye bekler. Duraklamada araya girebilir. | Dengeli: yaklaşık 4 saniye. Sabırlı: yaklaşık 8. |
Akıl yürütme değişiklikleri bağlantı sırasında da uygulanır. Tanılama yanıtların ne kadar sürede başladığını gösterir. Ağ ve OpenAI yükü yine değişebilir.
Yayınınızı kontrol etmesine izin verin
Yardımcı sunucu Spotify çalabilir, OBS sahnelerini değiştirebilir veya bir sohbet mesajını öne çıkarabilir. Tümü varsayılan olarak kapalıdır. OpenAI Realtime üçünü de destekler. SSN Configured LLM yalnızca Spotify'ı destekler. Diğer sağlayıcılar henüz bunları desteklemiyor.
- Social Stream açılır penceresinde yalnızca istediğiniz araçları açın.
- OBS için geçebileceği sahnelerin tam adlarını virgülle ayırarak girin. Şunu koruyun:
actions.htmlOBS'ye bağlı kalsın veya Tam İzinler verilmiş bir OBS Tarayıcı Kaynağı kullanın. - Şu sayfada:
cohost.htmlüzerinde şunu açın: Yardımcı sunucu yayın kontrolleri ve aynı araçları açın. - Sesli isteyin; örneğin “BRB'ye geç”, “son mesajı öne çıkar” veya “öne çıkan sohbeti temizle”.
Sorunları giderme
| Sorun | Şunu deneyin |
|---|---|
| Dock'ta yardımcı sunucu menüsü yok | Sahne katmanı aynı oturumda açık değil. Birincil sohbet botu katmanı anahtarı bunu etkilemez. |
| Yanıt veya Hafif Takılma devre dışı | Özel Sohbet Botu seçeneğini açın ve Social Stream'in çalıştığını kontrol edin. |
| Yanıt, Hafif Takılma veya SSN'de Yapılandırılan LLM zaman aşımına uğruyor | Social Stream'in açık, oturumun aynı, Özel Sohbet Botunun açık ve AI sağlayıcısının erişilebilir olduğunu kontrol edin. |
| Yardımcı sunucu sayfası sohbeti görmüyor | Aynı session değerini açılır penceredekiyle aynı yapın. Canlı Sohbet'i Kapalı dışında bir seçeneğe ayarlayın. |
| Sohbeti biliyor ama sessiz kalıyor | Yalnızca Bağlam modunda bu normaldir. Sohbetin ne dediğini sorun veya başka bir mod seçin. |
| OBS'de hiçbir şey görünmüyor | Tıklayın: Katmanı test et yardımcı sunucu sayfasında ve satırın göründüğünü kontrol edin. |
| Metin görünüyor ama ses yok (OpenAI) | Kontrol edin: Sesli yanıt, tarayıcı ses iznini ve OBS'nin yardımcı sunucu sayfasının sesini yakaladığını kontrol edin. Şunu kullanmayın: &tts bu amaçla kullanmayın. |
| Aynı anda iki ses | Kaldır &forcetts katman bağlantısından. |
| Duyulan boş kalıyor (masaüstü) | Mikrofonun sessizde olmadığını kontrol edin ve ilk indirmenin bitmesini bekleyin. |
| Duyulan boş kalıyor (Chrome) | Mikrofona izin verin; bilgisayarın varsayılan mikrofonunu, interneti ve Chrome konuşma tanımanın kullanılabildiğini kontrol edin. |
| Yanıtlar yavaş | Mini, Düşük akıl yürütme ve Hızlı konuşma sırası ayarlarını deneyin. Tanılama'daki Gecikme satırını karşılaştırın. |
| OpenAI bağlantısı sürekli kopuyor | Yeniden denerken çalışır durumda bırakın. Tanılama neyin başarısız olduğunu gösterir. |
| Yayın kontrol aracı eksik | Hem açılır pencerede hem de Yardımcı Sunucu Yayın Kontrolleri'nde açın. OBS için en az bir sahne adı gerekir. |
| Ücretsiz deneme AI yanıt vermeyi bıraktı | Kapalı olabilir veya istek sınırı uygulanıyor olabilir. Kendi jetonunuzu, Ollama'yı veya Custom API'yi kullanın. |
| Yerel Gemma indirilemiyor | Varlık sunucusunu kendi Gemma dosyalarınıza yönlendirin. |
| Birden çok katman açık | Katman etiketinin Dock hedefiyle eşleştiğinden emin olun. Varsayılan değer: cohost-overlay. |
Sessize alma ve ses düzeyi düğmeleri
- Mikrofonu sessize al sesinizin yardımcı sunucuya gönderilmesini durdurur.
- Yardımcı sunucunun sesini kapat, ses düzeyi kaydırıcısı, çıkış seçici ve Konuşmayı durdur duyduğunuz sesi kontrol eder.
- Paylaşılan sistem sesini kapat ayrıdır ve yalnızca ekranınızı kullanabilen sağlayıcılarda görünür.
Katman bağlantısı seçenekleri
Bunları şunun sonuna ekleyin: cohost-overlay.html bağlantısını.
| Şunu yapmak istiyorum… | Bağlantıya ekleyin |
|---|---|
| Social Stream'ime bağlan (gerekli) | ?session=YOUR_SESSION_ID |
| Katmanı seslendir (Dock iş akışı) | &tts veya &speak=1 |
| Yardımcı sunucu sayfası konuşurken katman sesini zorla (ikinci ses ekler) | &forcetts |
| Katmanın etiketini ayarlayın | &label=cohost-overlay |
| Gösterilen adı değiştir | &name=NinjaBot |
| Kendi avatarımı kullan | &avatar=https://… |
| Taşıyın | &position=bottom-right |
| Büyütün veya küçültün | &scale=1.2 |
| Bağlantı durumunu göster | &status |
Yardımcı sunucu sayfası sesi zaten çalıyorsa katman kendi konuşmasını atlar; böylece aynı sesi iki kez duymazsınız. &forcetts bunu kapatır.
Sayfalar nasıl iletişim kurar? (geliştiriciler için)
Mesaj biçimi ve tasarım notları
Dock ve katman normal Social Stream oturum köprüsünü kullanır. Mesajlar şu biçimde gönderilir: overlayNinja veri yükleri olarak; etiketle hedeflenirler.
Yardımcı sunucuda oku: Dock seçilen mesajı doğrudan şuraya gönderir: cohost-overlay.html.
Yanıtla / Hafifçe takıl: Dock arka planda özel sohbet botuna sorar, taslağı Dock'ta gösterir ve ancak Konuş'a tıkladığınızda katmana gönderir.
{
"action": "cohostOverlay",
"target": "cohost-overlay",
"meta": {
"command": "say",
"text": "The line the avatar should say",
"speak": true,
"emotion": "happy"
}
}
- Dock metin iş akışlarında katman, görseli ve isteğe bağlı TTS sesini sağlar. OpenAI sesi için şunu yakalayın:
cohost.htmlsesini ayrı yakalayın. Katman bu WebRTC sesini yeniden çalmaz. - Ek komut ayrıntıları şuraya girer:
meta, böylece veriler katmanlar ve otomasyonlar için öngörülebilir kalır.