AI yardımcı sunucu

Yayında konuşabileceğiniz AI yardımcısı. Sohbetinizi de okuyabilir.

İki kullanım yolu

Sesli yardımcı sunucu

AI ile sesli konuşun: cohost.html. Size yanıt verir ve sorduğunuzda sohbetinizi konuşabilir.

Kurulum

Dock düğmeleri

Dock'ta bir sohbet mesajına sağ tıklayın. AI avatarı mesajı okur veya önce onayınıza sunulan bir yanıt ya da hafif takılma taslağı hazırlar.

Kurulum

İkisi de OBS'de avatar ve konuşma balonunu şu araçla gösterir: AI sahne katmanı, cohost-overlay.html.

8 adımda sesli yardımcı sunucu

Bu özellik şunu kullanır: OpenAI Realtime, bu nedenle OpenAI API anahtarı gerekir. Diğer seçenekler: aşağıdadır.

  1. Social Stream açılır penceresinde şunu seçin: ChatGPT API, OpenAI proje API anahtarınızı yapıştırın ve şuna tıklayın: Seçili sohbet botunu test et.
  2. Şunu açın: cohost.html bağlantısını açılır pencereden alın. Bu bağlantıyı gizli tutun.
  3. Seçin: OpenAI Realtime.
  4. Konuştuğunuz mikrofonu seçin. Şu ayarı koruyun: Sesli yanıt seçili olsun.
  5. Basın Yardımcı sunucuyu başlat.
  6. Bırakın: Canlı Sohbet üzerinde Yalnızca bağlam. İstediğiniz zaman “Sohbet ne diyor?” diye sorun.
  7. OBS'de yardımcı sunucu sayfasının veya uygulamasının sesini yakalayın. AI sesi yalnızca orada çalınır.
  8. Ekleyin: cohost-overlay.html?session=YOUR_SESSION_ID OBS'ye avatar ve konuşma balonu için Tarayıcı Kaynağı olarak ekleyin.
Medya aygıtlarını, yapay zekâ sağlayıcı ayarlarını, sistem yönergelerini ve canlı sohbet durumunu gösteren cohost.html kontrol sayfası
Yardımcı sunucu sayfası: mikrofon, AI sağlayıcısı, talimatlar ve canlı sohbet durumu.
OBS'de ayrı bir ses kanalı ister misiniz? Şu bölümden sanal ses kablosu seçin: Yardımcı sunucu çıkışı, kurulumunuz destekliyorsa. Duyamayan izleyicilerin okuyabilmesi için konuşma balonunu da görünür tutun.
Ekranınızı veya kameranızı görsün mü? İsteğe bağlı. Video başlangıç ayarı: Video yok. Şunu seçerseniz: Ekran paylaşımı veya kamera seçerseniz OpenAI, her konuştuğunuzda veya yazdığınızda canlı video yerine bir görüntü alır. Bu, maliyeti ve gecikmeyi artırabilir.
Gizlilik: mikrofonunuz, seçtiğiniz ekran veya kamera ve paylaştığınız sohbet mesajları OpenAI'ya gider. İzleyiciler sohbet yoluyla yardımcı sunucuya araç çalıştıramaz. Yardımcı sunucu bağlantısı 12 saat sonra sona erer, yalnızca sizin oturumunuzda çalışır ve sayfa yüklendiğinde adres çubuğundan kaldırılır.
OpenAI Realtime hakkında daha fazla bilgi
  • Ücret OpenAI API hesabınıza yansıtılır. chatgpt.com'dan ayrıdır ve ChatGPT web sitesi veya uygulamasındaki bir konuşmaya katılmaz.
  • Standart anahtarınız Social Stream'de kalır. Yardımcı sunucu sayfası yalnızca kısa ömürlü bir erişim izni alır.
  • Bunun için Özel Sohbet Botu seçeneğini açmanız gerekmez.
  • Yanıtlar en fazla 512 çıktı jetonuyla sınırlıdır. Tanılama toplam jeton kullanımını ve yanıtların ne kadar hızlı başladığını gösterir.
  • Sözünü keserseniz durur ve henüz çalınmamış sesi atar.
  • Bağışlar, üyelikler, moderatör, etkinlik ve kanal bilgileri dahil en fazla 20 son sohbet mesajını 90 saniyeye kadar tutar. Sonra bunları unutur.
  • Bağlantı koparsa kendiliğinden yeniden bağlanır ve OpenAI'nin 60 dakikalık sınırından önce yeni bir oturum başlatır. Talimatlarınız ve hız ayarlarınız korunur ancak sesli konuşulanları unutur.

Sohbetinizi nasıl kullanır?

Yardımcı sunucu sayfasını aynı session değeriyle açarsanız Social Stream canlı sohbetinizi görebilir. Nasıl kullanacağını şu bölümden seçin: Canlı Sohbet.

Canlı Sohbet ayarıNe yapar
Yalnızca bağlam – sorulduğunda yanıtla (varsayılan)Son mesajları hatırlar ve siz sohbeti sorana kadar sessiz kalır.
Soruları ve bahsetmeleri sesli yanıtlaSoruları ve bahsetmeleri kendiliğinden sesli yanıtlar.
Her mesaja sesli yanıt verHer mesajı sesli yanıtlar.

Bunların hiçbiri YouTube, Twitch veya Kick sohbetine yanıt göndermez. Yalnızca bağlam sohbeti yalnızca OpenAI Realtime ile AI'ya aktarır. Diğer sağlayıcılar sohbeti izler ancak AI'ya iletmez.

OpenAI olmadan ses

Nerede çalıştırılır?Sizi nasıl duyar?
SSN masaüstü uygulamasıKendi bilgisayarınızda Whisper. İlk kullanımda yaklaşık 42 MB indirilir. Sonrasında çevrimdışı çalışır.
Chrome (uzantı bağlantısı)Chrome konuşma tanıma. İnternet gerektirebilir.
Diğer tarayıcılarSes çalışmayabilir. Yazma, canlı sohbet, kamera veya ekran ve AI yanıtları yine de çalışabilir.

Sizi duyduğunu kontrol etmek için şunu açın: Tanılama. Şunu söylemelidir: Dinleniyor (Masaüstü Whisper) veya Dinleniyor (OpenAI WebRTC)ve sözleriniz şurada görünmelidir: Duyulan.

Test için ücretsiz AI

  1. Açın: Sohbet Botları ve AI hizmetleri → LLM Hizmet Sağlayıcısını Yapılandır.
  2. Seçin: SSN Barındırılan Deneme LLM'si (deneysel).
  3. Uç nokta, jeton ve model alanlarını boş bırakın.

Deneme süresince ücretsizdir; kapatılabilir veya istek sınırı uygulanabilir. Uzun süreli kullanım için kendi jetonunuzu ekleyin veya yerel AI kullanın.

5 adımda Dock düğmeleri

  1. Dock'u açın: dock.html?session=YOUR_SESSION_ID.
  2. Sahne katmanını OBS'ye ekleyin: cohost-overlay.html?session=YOUR_SESSION_ID. Şunu ekleyin: &tts konuşması gerekiyorsa.
  3. Açılır pencerede bir AI sağlayıcısı ayarlayın. Hızlı bir test için şunu kullanın: SSN Barındırılan Deneme LLM'si.
  4. Açın: Sohbet Botları ve AI hizmetleri → Sohbet Botu – Özel Arayüz → Özel sohbet botunu etkinleştir.
  5. Dock'ta bir mesaja sağ tıklayın ve şunu seçin: Yardımcı sunucu.
Yardımcı sunucu menüsü yok mu? Yalnızca Dock aynı oturumdaki sahne katmanını gördüğünde görünür.
DüğmeNe yaparGerekenler
Yardımcı sunucuda okuAvatar mesajı okur.Sahne katmanı bağlı. AI gerekmez.
YanıtlaOnayınız için kısa yanıt hazırlar.Özel Sohbet Botu açık ve bir AI sağlayıcısı ayarlanmış olmalı.
Hafifçe takılOnayınız için kısa, eğlenceli ve hafif bir takılma hazırlar.Özel Sohbet Botu açık ve bir AI sağlayıcısı ayarlanmış olmalı.
SeslendirOnayladığınız taslağı katmana gönderir.Taslak.
KopyalaTaslağı göndermeden kopyalar.Taslak.

Şuna tıklayana kadar AI taslakları seslendirilmez: Seslendir. Onay, yayın dışında Dock'ta verilir.

Sağ tıklama menüsü henüz klavyeyle çalışmıyor. Klavye kullanıcıları şu sayfada yazabilir veya konuşabilir: cohost.html bunun yerine.

Hız, kalite ve maliyet (OpenAI)

AyarDaha hızlı ve ucuzDaha akıllı, daha yavaş
ModelMiniTam kalite (daha pahalı)
Akıl yürütme düzeyiEn Az veya DüşükYüksek veya Çok yüksek (daha pahalı)
Konuşma sırası hızıHızlı: siz durduktan sonra yaklaşık 2 saniye bekler. Duraklamada araya girebilir.Dengeli: yaklaşık 4 saniye. Sabırlı: yaklaşık 8.

Akıl yürütme değişiklikleri bağlantı sırasında da uygulanır. Tanılama yanıtların ne kadar sürede başladığını gösterir. Ağ ve OpenAI yükü yine değişebilir.

Yayınınızı kontrol etmesine izin verin

Yardımcı sunucu Spotify çalabilir, OBS sahnelerini değiştirebilir veya bir sohbet mesajını öne çıkarabilir. Tümü varsayılan olarak kapalıdır. OpenAI Realtime üçünü de destekler. SSN Configured LLM yalnızca Spotify'ı destekler. Diğer sağlayıcılar henüz bunları desteklemiyor.

  1. Social Stream açılır penceresinde yalnızca istediğiniz araçları açın.
  2. OBS için geçebileceği sahnelerin tam adlarını virgülle ayırarak girin. Şunu koruyun: actions.html OBS'ye bağlı kalsın veya Tam İzinler verilmiş bir OBS Tarayıcı Kaynağı kullanın.
  3. Şu sayfada: cohost.htmlüzerinde şunu açın: Yardımcı sunucu yayın kontrolleri ve aynı araçları açın.
  4. Sesli isteyin; örneğin “BRB'ye geç”, “son mesajı öne çıkar” veya “öne çıkan sohbeti temizle”.
Araçları yalnızca siz tetikleyebilirsiniz. İzleyiciler bunu yapamaz. Her istekte tek araç çalıştırır ve yalnızca listenizdeki sahneleri seçebilir. Mesajı öne çıkarmak için Dock açık olmalıdır. “Tamamlandı” yanıtı, isteğin gönderildiğini belirtir; OBS'nin veya katmanın işlemi bitirdiğini belirtmez.

Sorunları giderme

SorunŞunu deneyin
Dock'ta yardımcı sunucu menüsü yokSahne katmanı aynı oturumda açık değil. Birincil sohbet botu katmanı anahtarı bunu etkilemez.
Yanıt veya Hafif Takılma devre dışıÖzel Sohbet Botu seçeneğini açın ve Social Stream'in çalıştığını kontrol edin.
Yanıt, Hafif Takılma veya SSN'de Yapılandırılan LLM zaman aşımına uğruyorSocial Stream'in açık, oturumun aynı, Özel Sohbet Botunun açık ve AI sağlayıcısının erişilebilir olduğunu kontrol edin.
Yardımcı sunucu sayfası sohbeti görmüyorAynı session değerini açılır penceredekiyle aynı yapın. Canlı Sohbet'i Kapalı dışında bir seçeneğe ayarlayın.
Sohbeti biliyor ama sessiz kalıyorYalnızca Bağlam modunda bu normaldir. Sohbetin ne dediğini sorun veya başka bir mod seçin.
OBS'de hiçbir şey görünmüyorTıklayın: Katmanı test et yardımcı sunucu sayfasında ve satırın göründüğünü kontrol edin.
Metin görünüyor ama ses yok (OpenAI)Kontrol edin: Sesli yanıt, tarayıcı ses iznini ve OBS'nin yardımcı sunucu sayfasının sesini yakaladığını kontrol edin. Şunu kullanmayın: &tts bu amaçla kullanmayın.
Aynı anda iki sesKaldır &forcetts katman bağlantısından.
Duyulan boş kalıyor (masaüstü)Mikrofonun sessizde olmadığını kontrol edin ve ilk indirmenin bitmesini bekleyin.
Duyulan boş kalıyor (Chrome)Mikrofona izin verin; bilgisayarın varsayılan mikrofonunu, interneti ve Chrome konuşma tanımanın kullanılabildiğini kontrol edin.
Yanıtlar yavaşMini, Düşük akıl yürütme ve Hızlı konuşma sırası ayarlarını deneyin. Tanılama'daki Gecikme satırını karşılaştırın.
OpenAI bağlantısı sürekli kopuyorYeniden denerken çalışır durumda bırakın. Tanılama neyin başarısız olduğunu gösterir.
Yayın kontrol aracı eksikHem açılır pencerede hem de Yardımcı Sunucu Yayın Kontrolleri'nde açın. OBS için en az bir sahne adı gerekir.
Ücretsiz deneme AI yanıt vermeyi bıraktıKapalı olabilir veya istek sınırı uygulanıyor olabilir. Kendi jetonunuzu, Ollama'yı veya Custom API'yi kullanın.
Yerel Gemma indirilemiyorVarlık sunucusunu kendi Gemma dosyalarınıza yönlendirin.
Birden çok katman açıkKatman etiketinin Dock hedefiyle eşleştiğinden emin olun. Varsayılan değer: cohost-overlay.
Sessize alma ve ses düzeyi düğmeleri
  • Mikrofonu sessize al sesinizin yardımcı sunucuya gönderilmesini durdurur.
  • Yardımcı sunucunun sesini kapat, ses düzeyi kaydırıcısı, çıkış seçici ve Konuşmayı durdur duyduğunuz sesi kontrol eder.
  • Paylaşılan sistem sesini kapat ayrıdır ve yalnızca ekranınızı kullanabilen sağlayıcılarda görünür.

Bunları şunun sonuna ekleyin: cohost-overlay.html bağlantısını.

Şunu yapmak istiyorum…Bağlantıya ekleyin
Social Stream'ime bağlan (gerekli)?session=YOUR_SESSION_ID
Katmanı seslendir (Dock iş akışı)&tts veya &speak=1
Yardımcı sunucu sayfası konuşurken katman sesini zorla (ikinci ses ekler)&forcetts
Katmanın etiketini ayarlayın&label=cohost-overlay
Gösterilen adı değiştir&name=NinjaBot
Kendi avatarımı kullan&avatar=https://…
Taşıyın&position=bottom-right
Büyütün veya küçültün&scale=1.2
Bağlantı durumunu göster&status

Yardımcı sunucu sayfası sesi zaten çalıyorsa katman kendi konuşmasını atlar; böylece aynı sesi iki kez duymazsınız. &forcetts bunu kapatır.

Sayfalar nasıl iletişim kurar? (geliştiriciler için)

Mesaj biçimi ve tasarım notları

Dock ve katman normal Social Stream oturum köprüsünü kullanır. Mesajlar şu biçimde gönderilir: overlayNinja veri yükleri olarak; etiketle hedeflenirler.

Yardımcı sunucuda oku: Dock seçilen mesajı doğrudan şuraya gönderir: cohost-overlay.html.

Yanıtla / Hafifçe takıl: Dock arka planda özel sohbet botuna sorar, taslağı Dock'ta gösterir ve ancak Konuş'a tıkladığınızda katmana gönderir.

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}
  • Dock metin iş akışlarında katman, görseli ve isteğe bağlı TTS sesini sağlar. OpenAI sesi için şunu yakalayın: cohost.html sesini ayrı yakalayın. Katman bu WebRTC sesini yeniden çalmaz.
  • Ek komut ayrıntıları şuraya girer: meta, böylece veriler katmanlar ve otomasyonlar için öngörülebilir kalır.