Yapay zekâ yardımcı sunucusu kılavuzu

Ne yapar?

İki yardımcı sunucu iş akışı vardır: biri sürekli sesli yardımcıdır ve şu sayfada çalışır: cohost.html; diğeri ise onaylanan satırları şu adrese gönderen elle panel işlemleridir: cohost-overlay.html.

Panelde sağ tıklamayla yardımcı sunucu kurulumu

1. Yayın Sohbeti panelini kendi oturumunuzla açın: dock.html?session=YOUR_SESSION_ID.
2. Yapay zekâ sahne katmanını OBS'ye ekleyin: cohost-overlay.html?session=YOUR_SESSION_ID. Şunu ekleyin: &tts yalnızca metin yanıtı iş akışı için.
3. Yapay zekâ yanıtları için açılır menüde bir LLM sağlayıcısı yapılandırın. Hızlı bir deneme için şunu seçin: SSN Barındırılan Deneme LLM'si; bunun kullandığı hizmet: llm.socialstream.ninja.
4. Şunu etkinleştirin: Sohbet Botları ve Yapay Zekâ Hizmetleri > Sohbet Botu - Özel Arayüz > Özel sohbet botu seçeneğini etkinleştir.
5. Panelde bir mesaja sağ tıklayın ve şunu seçin: Yardımcı sunucu. Sahne katmanı algılanana kadar menü gizli kalır. Paneldeki mesaj satırlarında bu bağlam menüsüne henüz klavyeyle erişilemez; klavye kullanıcıları yazılı mesaj alanını veya ses kontrollerini şu sayfada kullanabilir: cohost.html.

Basit yapay zekâ seçeneği

llm.socialstream.ninja şu seçenek SSN Barındırılan Deneme LLM'si üzerinden, deneme sunulduğu sürece test için ücretsiz ve basit bir seçenek olarak kullanılabilir.

• Açın: Sohbet Botları ve Yapay Zekâ Hizmetleri > LLM Hizmet Sağlayıcısını Yapılandır.
• Seçin: SSN Barındırılan Deneme LLM'si (deneysel).
• Varsayılan deneme kurulumu için uç noktayı, tokeni ve modeli boş bırakın.
• Uzun süreli kullanımda, deneme hizmeti devre dışı bırakılır veya hız sınırına takılırsa kendi tokeninizi ya da yerel sağlayıcınızı kullanın.

Sesli konuşma desteği

• OpenAI Realtime: Şu sayfada seçili mikrofonu aktarır: cohost.html . Tek bir yerel sesten sese konuşma için doğrudan OpenAI'ya gönderir. Sesli konuşma ve canlı sohbet bağlamı aynı yardımcı sunucu oturumunda kalır.
• SSN Masaüstü: Yerel Whisper'ı, şu sayfada seçilen mikrofonla kullanır: cohost.html. İlk kullanımda yaklaşık 42 MB indirilir; sonraki metne dönüştürme işlemleri çevrimdışı çalışır.
• Chrome / Chrome uzantısı bağlantısı: Uzantı, barındırılan yardımcı sunucu sayfasını bir Chrome sekmesinde açar. OpenAI Realtime, kısa ömürlü bir istemci sırrıyla WebRTC kullanır; metin yanıtı sağlayıcıları Chrome Konuşma Tanıma'yı kullanır ve internet gerektirebilir.
• Diğer tarayıcılar: Konuşma tanıma garantili değildir. Yazılı yardımcı sunucu sohbeti, canlı sohbet girdisi, kamera/ekran girdisi ve yapılandırılmış LLM yanıtları, konuşma tanıma olmadan da çalışabilir.

OpenAI Realtime kurulumu

1. SSN açılır menüsünde şunu seçin: ChatGPT API, OpenAI projenizin API anahtarını ekleyin ve şunu kullanın: Seçili sohbet botunu test et.
2. Açılır menüde oluşturulan şu bağlantıyı açın: cohost.html?session=YOUR_SESSION_ID . Bağlantının özel ve süreli yardımcı sunucu yetkisi, ayrı Özel Sohbet Botu seçeneğini etkinleştirmeden Realtime'a izin verir.
3. Seçin: OpenAI Realtime. Standart anahtar, SSN uzantısının veya masaüstü uygulamasının arka planında kalır; yardımcı sunucu sayfasına yalnızca kısa ömürlü bir Realtime istemci sırrı verilir.
4. Konuştuğunuz mikrofonu açıkça seçin; Sesli yanıt seçili kalsın ve şu düğmeye basın: Yardımcı sunucuyu başlat.
5. İsteğe bağlı: Video kaynağını Video yok (varsayılan) olarak bırakın veya açıkça şunu seçin: Ekran paylaşımı veya bir kamera seçin. OpenAI sürekli video yerine her doğrudan sesli ya da yazılı istekte bir güncel görüntü alır; bu, API maliyetini ve gecikmeyi artırabilir.
6. Canlı Sohbet'i şu ayarda bırakın: Yalnızca bağlam - sorulduğunda yanıtla. Aynı sesli yapay zekânın son izleyici mesajlarından söz etmesi için “Sohbette neler konuşuluyor?” diye sorun.
7. Yardımcı sunucu tarayıcısının veya uygulamasının sesini OBS'de yakalayın. Yerel OpenAI sesi yalnızca şu sayfadan çalınır: cohost.html; cohost-overlay.html aynı ses akışını değil, avatarı ve metni alır. Destekleniyorsa Yardımcı sunucu çıkışı altından sanal bir kablo seçerek OBS'ye ayrı ses yönlendirmesi yapın.
8. Yapay zekâ yanıtının yalnızca sesle sunulmaması için sahne katmanının konuşma balonunu görünür tutun veya altyazı sağlayın.

OpenAI hız, kalite ve maliyet

• Model: Mini genellikle daha hızlıdır ve daha az maliyetlidir. Tam kalite daha yeteneklidir ve daha pahalıdır.
• Akıl yürütme düzeyi: En az veya Düşük ayarı genellikle yanıt gecikmesini ve faturalandırılan çıktı kullanımını azaltır. Yüksek veya Çok yüksek, karmaşık yanıtları iyileştirebilir, ancak daha yavaş yanıt verebilir ve daha pahalı olabilir. Değişiklikler bağlantı açıkken uygulanır.
• Konuşma sırası hızı: Hızlı modu, bir düşüncenin bitmesini yaklaşık 2 saniyeye kadar bekler; Dengeli yaklaşık 4 saniye, Sabırlı yaklaşık 8 saniye bekler. Hızlı modu daha çabuk tepki verir, ancak doğal bir duraklamayı bölebilir.
• Tanılama: Gecikme, konuşma sırasının bitişinden ilk metin veya sese kadar geçen süreyi bildirir ve mümkün olduğunda model gecikmesini ayrı gösterir. Benzer isteklerde bile ağ koşulları ve sağlayıcı yükü değişebilir.

İsteğe bağlı yayın kontrolleri

OpenAI Realtime, aşağıdaki Spotify, OBS sahnesi ve öne çıkan sohbet araçlarını destekler. SSN Yapılandırılmış LLM şu anda yalnızca Spotify'ı destekler; diğer yardımcı sunucu sağlayıcıları henüz bu araçları sunmaz.

1. SSN açılır menüsünde yalnızca istediğiniz yardımcı sunucu araçlarını etkinleştirin: Spotify, OBS sahneleri veya öne çıkan sohbet.
2. OBS için izin verilen sahne adlarını virgülle ayrılmış bir liste olarak tam yazın ve actions.html sayfasını OBS'ye bağlı tutun ya da Tam İzinler verilmiş bir OBS tarayıcı kaynağı kullanın.
3. Şu sayfada: cohost.htmlüzerinde şunu açın: Yardımcı sunucu yayın kontrolleri ve bu kontrol sayfası için aynı araçları hazır duruma getirin.
4. Örneğin “BRB'ye geç”, “son mesajı öne çıkar” veya “öne çıkan sohbeti temizle” diyerek doğrudan istekte bulunun. İzleyici mesajları araç kullanımına yetki veremez ve yayıncının her doğrudan isteğinde yayını değiştiren yalnızca bir araç çalışır.

Sayfalar nasıl iletişim kurar?

Panel ve katman mevcut Social Stream oturum köprüsünü kullanır. Mesajlar şu türde gönderilir: overlayNinja veri yükleri olarak; etiketle hedeflenirler.

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}

Kullanılabilir işlemler

Durum ve sorun giderme

• Yardımcı sunucu menüsü yoksa yardımcı sunucu katmanı aynı oturumda algılanmıyordur.
• Yanıtla veya Hafifçe takıl devre dışıysa SSN köprüsü ya da Özel Sohbet Botu kullanılamıyordur.
• Ana sohbet botu katmanı anahtarı isteğe bağlıdır ve paneldeki sağ tıklama yardımcı sunucu işlemlerini etkinleştirmez.
• Eğer cohost.html sohbeti görmüyorsa URL'deki session değerinin açılır menüyle aynı olduğunu ve Canlı Sohbet'in Bağlam, Sorular veya Tümü olarak ayarlandığını doğrulayın.
• Yalnızca bağlam şu anda sohbeti yalnızca OpenAI Realtime için yapay zekâyla paylaşır. Diğer sağlayıcılar akışı izler, ancak modele eklemez.
• Mikrofonu sessize al yardımcı sunucuya gönderilen sesi durdurur. Yardımcı sunucunun sesini kapat, ses kaydırıcısı, çıkış aygıtı seçicisi ve Konuşmayı durdur oynatmayı kontrol eder. Paylaşılan sistem sesini kapat ayrıdır ve ekranı destekleyen sağlayıcılarda görünür.
• Bir yayın kontrol aracı kullanılamıyorsa hem SSN açılır menüsünde hem de şu sayfada etkinleştirin: Yardımcı sunucu yayın kontrolleri. OBS'nin izin listesinde de en az bir sahne adının tam olarak yazılması gerekir.
• Kullanın: Katmanı test et ile zararsız, görünür bir test satırı gönderin; ardından bunun OBS'deki Yapay Zekâ Sahne Katmanında göründüğünü doğrulayın.
• Yardımcı sunucu sohbeti biliyor ama sessiz kalıyorsa bu, şu modda beklenen davranıştır: Yalnızca bağlam: sohbette neler konuşulduğunu sorun. Sorular veya Tümü modları, yardımcı sunucu sayfasından otomatik yanıtları seslendirir; bu yanıtları YouTube, Twitch veya Kick sohbetine göndermez.
• Masaüstünde şu görünüyorsa: Dinleniyor (Masaüstü Whisper) ancak şu alan hiç dolmuyorsa: Duyulan, seçili mikrofonun sessize alınmadığından emin olun ve ilk model indirmesinin tamamlanmasını bekleyin.
• Chrome şu alanı hiç doldurmuyorsa: Duyulan, mikrofon iznini verin, işletim sisteminin varsayılan mikrofonunu kontrol edin, internet erişimini doğrulayın ve Chrome Konuşma Tanıma'nın kullanılabilir olduğundan emin olun.
• OpenAI Realtime metni görünmesine rağmen ses çalmıyorsa şunları doğrulayın: Sesli yanıt, tarayıcı ses izinlerini ve OBS tarayıcı/uygulama sesi yakalamayı kontrol edin. Şunu kullanın: &tts yalnızca ayrı metin katmanı iş akışı için.
• OpenAI Realtime yanıtları yavaşsa Mini, Düşük akıl yürütme ve Hızlı konuşma sırası ayarlarını deneyin; ardından Tanılama'daki Gecikme satırını karşılaştırın. Daha yüksek akıl yürütme ve Sabırlı konuşma sırası ayarları, derinlik veya daha uzun duraklamalar için bilerek hızdan ödün verir.
• OpenAI Realtime bağlantısı kesilirse yeniden denerken yardımcı sunucuyu çalışır durumda bırakın. Tanılama, veri, eş, sağlayıcı veya sağlık kontrolü hatasını belirtir. Kurtarılan oturum, seçili sistem yönergelerini ve performans ayarlarını korur, ancak önceki sesli konuşmayı kurtaramaz.
• Yanıtla, Hafifçe takıl veya SSN Yapılandırılmış LLM isteği zaman aşımına uğrarsa Social Stream'in açık, oturumun eşleşmiş, Özel Sohbet Botu'nun etkin ve seçili LLM sağlayıcısının erişilebilir olduğunu kontrol edin. OpenAI Realtime, Özel Sohbet Botu gerektirmez.
• Yerel Gemma, model dosyalarını varsayılan dosya sunucusundan indiremiyorsa dosya sunucusunu kendi yansıttığınız Gemma klasörüne ayarlayın.
• Barındırılan deneme yapay zekâsı yanıt vermeyi bırakırsa devre dışı bırakılmış veya hız sınırına takılmış olabilir; kendi tokeninize, Ollama'ya ya da Özel API'ye geçin.
• Birden fazla katman açıksa katman etiketinin panel hedefiyle eşleştiğinden emin olun. Varsayılan etiket: cohost-overlay.

Yararlı URL parametreleri

• session=YOUR_SESSION_ID - panel ve katmanın aynı odayı paylaşması için gereklidir.
• tts veya speak=1 - katmanın tarayıcı TTS'siyle konuşmasını sağlar.
• forcetts - yardımcı sunucu kontrol sayfası zaten ses çalarken bile katman TTS'sine izin verir; bu, bilerek ikinci bir ses oluşturur.
• label=cohost-overlay - katmanın hedef etiketini ayarlar.
• name=NinjaBot - katmanda gösterilen adı ayarlar.
• avatar=https://... - özel bir avatar resmi kullanır.
• position=bottom-right - sahnedeki yerleşimi kontrol eder.
• scale=1.2 - katmanı ölçeklendirir.
• status - katmanda bağlantı/durum metnini gösterir.

Tasarım notları

• Panel veya elle metin girişi iş akışlarında katman, görsel çıktı ve isteğe bağlı TTS oynatma kaynağıdır. Yerel OpenAI sesi için şu sayfanın cohost.html sesini ayrı yakalayın; sahne katmanı aynı WebRTC sesini yeniden çalmaz.
• Panel kontrol arayüzüdür; dolayısıyla yayıncı onayı yayında görünmez.
• Oluşturulan yanıtlar otomatik olarak seslendirilmez; önce yayıncının onaylaması gerekir.
• Standart dışı komut ayrıntıları şu alanın içinde bulunur: meta; böylece katmanlar ve otomasyonlar için veri yapıları öngörülebilir kalır.