ШІ-співведучий

ШІ-помічник для розмови в ефірі. Він також може читати чат.

Два способи використання

Голосовий співведучий

Говоріть із ШІ вголос на cohost.html. Він відповідає вам і може обговорити чат на прохання.

Налаштуйте

Кнопки доку

Натисніть правою кнопкою на повідомлення в Dock. ШІ-аватар прочитає його або підготує відповідь чи легкий жарт, який ви спочатку схвалите.

Налаштуйте

Обидва показують аватар і мовну бульбашку в OBS через Сценічна накладка ШІ, cohost-overlay.html.

Голосовий співведучий за 8 кроків

Тут використовується OpenAI Realtimeтож потрібен ключ OpenAI API. Інші варіанти: нижче.

  1. У спливному вікні Social Stream виберіть ChatGPT API, вставте ключ API проєкту OpenAI й натисніть Перевірити вибраний чат-бот.
  2. Відкрийте cohost.html зі спливного вікна. Не розголошуйте це посилання.
  3. Виберіть OpenAI Realtime.
  4. Виберіть мікрофон, у який говорите. Залиште Голосова відповідь увімкненим.
  5. Преса Запустити співведучого.
  6. Залиште Живий чат на Лише контекст. Будь-коли запитайте: «Що пише чат?»
  7. В OBS захоплюйте звук зі сторінки або застосунку співведучого. Голос ШІ відтворюється лише там.
  8. Додайте cohost-overlay.html?session=YOUR_SESSION_ID до OBS як браузерне джерело для аватара та бульбашки мовлення.
Сторінка керування cohost.html із медіапристроями, налаштуваннями постачальника ШІ, системними інструкціями та станом живого чату
Сторінка співведучого: мікрофон, провайдер ШІ, інструкції та стан живого чату.
Потрібна окрема аудіодоріжка в OBS? Виберіть віртуальний аудіокабель у полі Вивід співведучого, якщо ваша система підтримує. Залиште мовну бульбашку видимою, щоб глядачі без звуку могли читати.
Надати йому доступ до екрана чи камери? Необов'язково. Відео запускається в режимі Без відео. Якщо вибрати Демонстрація екрана або камеру, OpenAI отримує один знімок за кожної вашої голосової чи текстової репліки, а не живе відео. Це може збільшити вартість і затримку.
Приватність: ваш мікрофон, вибрані екран чи камера та повідомлення чату, якими ви ділитеся, передаються OpenAI. Глядачі не можуть через чат змусити співведучого запускати інструменти. Посилання співведучого спливає через 12 годин, працює лише у вашій сесії й видаляється з адресного рядка після завантаження сторінки.
Докладніше про OpenAI Realtime
  • Оплата стягується з вашого облікового запису OpenAI API. Це окремий сервіс від chatgpt.com, який не долучається до розмов на сайті чи в застосунку ChatGPT.
  • Ваш звичайний ключ залишається в Social Stream. Сторінка співведучого отримує лише короткочасну перепустку.
  • Для цього не потрібно вмикати приватного чат-бота.
  • Відповіді обмежені 512 вихідними токенами. Діагностика показує загальне використання токенів і швидкість початку відповідей.
  • Якщо ви його переб'єте, він зупиниться й відкине ще не відтворене аудіо.
  • Він зберігає до 20 останніх повідомлень щонайбільше 90 секунд, зокрема відомості про пожертви, спонсорство, модераторів, події та канал. Потім забуває їх.
  • Після розриву з'єднання він підключається знову й починає нову сесію до досягнення 60-хвилинного ліміту OpenAI. Інструкції та налаштування швидкості зберігаються, але сказане вголос забувається.

Як використовує ваш чат

Відкрийте сторінку співведучого з тим самим session що й у Social Stream, щоб він бачив ваш живий чат. Виберіть режим у розділі Живий чат.

Налаштування живого чатуЩо робить
Лише контекст — відповідати на запит (типово)Пам'ятає останні повідомлення й мовчить, доки ви не запитаєте про чат.
Озвучувати відповіді на запитання й згадкиСамостійно відповідає вголос на запитання й згадки.
Озвучувати відповідь на кожне повідомленняВідповідає вголос на кожне повідомлення.

Жоден із цих варіантів не надсилає відповіді в чат YouTube, Twitch чи Kick. Лише контекст передає чат ШІ лише за використання OpenAI Realtime. Інші провайдери відстежують чат, але не передають його ШІ.

Голос без OpenAI

Де запускаєтьсяЯк він вас чує
Настільний застосунок SSNWhisper на вашому комп'ютері. Під час першого використання завантажується близько 42 МБ. Потім працює офлайн.
Chrome (посилання розширення)Розпізнавання мовлення Chrome. Може потребувати інтернет.
Інші браузериГолос може не працювати. Введення тексту, живий чат, камера чи екран і відповіді ШІ можуть і далі працювати.

Щоб перевірити, чи він вас чує, відкрийте Діагностика. Має бути вказано Слухає (Desktop Whisper) або Слухає (OpenAI WebRTC)і ваші слова мають з'явитися в Почуто.

Безкоштовний ШІ для перевірки

  1. Відкрити Чат-боти й служби ШІ → Налаштувати постачальника LLM.
  2. Виберіть Розміщена пробна LLM SSN (експериментально).
  3. Залиште поля кінцевої точки, токена та моделі порожніми.

Упродовж пробного періоду це безкоштовно; сервіс можуть вимкнути або обмежити частоту запитів. Для постійного використання додайте власний токен або використовуйте локальний ШІ.

Кнопки доку за 5 кроків

  1. Відкрийте Dock: dock.html?session=YOUR_SESSION_ID.
  2. Додайте сценічну накладку в OBS: cohost-overlay.html?session=YOUR_SESSION_ID. Додайте &tts якщо він має говорити.
  3. Налаштуйте провайдера ШІ у спливному вікні. Для швидкої перевірки використовуйте Розміщена пробна LLM SSN.
  4. Увімкніть Чат-боти й служби ШІ → Чат-бот — Приватний інтерфейс → Увімкнути приватного чат-бота.
  5. Натисніть правою кнопкою на повідомлення в Dock і виберіть Співведучий.
Немає меню співведучого? Воно з'являється лише тоді, коли Dock виявить сценічний оверлей у тій самій сесії.
КнопкаЩо робитьПотрібно
Прочитати через співведучогоАватар читає повідомлення.Сценічний оверлей підключений. ШІ не потрібен.
ВідповідьГотує коротку відповідь для вашого схвалення.Увімкнений приватний чат-бот і провайдер ШІ.
Легкий жартГотує короткий безневинний жарт-підкол для схвалення.Увімкнений приватний чат-бот і провайдер ШІ.
ОзвучитиНадсилає схвалену чернетку до оверлею.Чернетка.
КопіюватиКопіює чернетку без надсилання.Чернетка.

Чернетки ШІ озвучуються лише після натискання Озвучити. Підтвердження відбувається в доку поза ефіром.

Контекстне меню поки що не працює з клавіатури. Користувачі клавіатури можуть писати або говорити на cohost.html натомість.

Швидкість, якість і вартість (OpenAI)

НалаштуванняШвидше й дешевшеРозумніше, повільніше
МодельMiniПовна якість (дорожче)
Глибина міркуванняМінімальний або НизькийВисокий або дуже високий (дорожче)
Швидкість перемикання реплікШвидкий: чекає близько 2 секунд після завершення мовлення. Може перебити на паузі.Збалансований: близько 4 секунд. Терплячий: близько 8.

Зміни глибини міркування застосовуються навіть за активного з'єднання. Діагностика показує, скільки часу минає до початку відповіді. Стан мережі та навантаження OpenAI однаково можуть змінюватися.

Дозвольте йому керувати трансляцією

Співведучий може відтворювати Spotify, перемикати сцени OBS або виводити повідомлення чату на екран. Усе за замовчуванням вимкнено. OpenAI Realtime підтримує всі три функції. SSN Configured LLM підтримує лише Spotify. Інші провайдери поки що їх не підтримують.

  1. У спливному вікні Social Stream увімкніть лише потрібні інструменти.
  2. Для OBS уведіть точні дозволені назви сцен через кому. Залиште actions.html підключеним до OBS або використовуйте браузерне джерело OBS з повними дозволами.
  3. На cohost.html, відкрийте Керування трансляцією через співведучого і ввімкніть ті самі інструменти.
  4. Попросіть уголос, наприклад: «перемкнись на BRB», «виділи останнє повідомлення» або «очисти виділений чат».
Лише ви можете запускати інструменти. Глядачі цього робити не можуть. На один запит запускається один інструмент; доступні лише сцени з вашого списку. Для виведення повідомлення потрібен відкритий Dock. Відповідь «готово» означає, що запит надіслано, а не що OBS чи оверлей завершили дію.

Усунення несправностей

ПроблемаЩо спробувати
У Dock немає меню співведучогоСценічний оверлей не відкритий у тій самій сесії. Перемикач основного оверлею чат-бота на це не впливає.
Відповідь або легкий жарт недоступніУвімкніть приватного чат-бота й переконайтеся, що Social Stream працює.
Тайм-аут відповіді, легкого жарту або налаштованої LLM SSNПеревірте, що Social Stream увімкнено, сеанс збігається, приватний чат-бот увімкнений і постачальник ШІ доступний.
Сторінка співведучого не бачить чатВикористовуйте те саме значення session що й у спливному вікні. Для живого чату виберіть будь-яке значення, крім «Вимкнено».
Він знає вміст чату, але мовчитьУ режимі «Лише контекст» це нормально. Запитайте, про що говорять у чаті, або виберіть інший режим.
В OBS нічого не видноНатисніть Перевірити оверлей на сторінці співведучого й перевірте, чи з'явився рядок.
Текст є, але голосу немає (OpenAI)Перевірте Голосова відповідь, дозвіл браузера на звук і захоплення аудіо сторінки співведучого в OBS. Не використовуйте &tts для цього.
Два голоси одночасноВидалити &forcetts із посилання оверлею.
Почуто залишається порожнім (настільний застосунок)Перевірте, що мікрофон не вимкнено, і дочекайтеся першого завантаження.
Почуто залишається порожнім (Chrome)Дозвольте мікрофон, перевірте типовий мікрофон, інтернет і доступність розпізнавання мовлення Chrome.
Відповіді надходять повільноСпробуйте Mini, низьку глибину міркування та швидке перемикання реплік. Порівняйте рядок затримки в Діагностиці.
OpenAI постійно відключаєтьсяЗалиште його працювати, поки він повторює спроби. Діагностика покаже причину збою.
Немає інструмента керування ефіромУвімкніть це і в спливному вікні, і в керуванні трансляцією співведучого. Для OBS потрібна хоча б одна назва сцени.
Пробний безкоштовний ШІ перестав відповідатиСервіс може бути вимкнений або обмежувати частоту запитів. Використовуйте власний токен, Ollama чи Custom API.
Локальна Gemma не завантажуєтьсяУкажіть як хост ресурсів власну копію файлів Gemma.
Відкрито кілька оверлеївПереконайтеся, що мітка оверлею збігається з ціллю в Dock. За замовчуванням це cohost-overlay.
Кнопки вимкнення звуку та гучності
  • Вимкнути мікрофон зупиняє передавання вашого голосу співведучому.
  • Вимкнути голос співведучого, повзунок гучності, вибір виходу й Припинити мовлення керують тим, що ви чуєте.
  • Вимкнути спільне системне аудіо працює окремо й показується лише для провайдерів, які можуть використовувати ваш екран.

Додайте це в кінець cohost-overlay.html посилання.

Я хочу…Додати до посилання
Підключити до мого Social Stream (обов'язково)?session=YOUR_SESSION_ID
Озвучувати накладку (сценарій доку)&tts або &speak=1
Примусово озвучувати накладку, коли говорить сторінка співведучого (додає другий голос)&forcetts
Задайте мітку оверлею&label=cohost-overlay
Змінити відображуване ім'я&name=NinjaBot
Використовувати власний аватар&avatar=https://…
Перемістити&position=bottom-right
Збільшити чи зменшити&scale=1.2
Показати стан з'єднання&status

Якщо сторінка співведучого вже відтворює голос, оверлей пропускає власне озвучення, щоб звук не дублювався. &forcetts вимикає це.

Як спілкуються сторінки (для розробників)

Формат повідомлень і будова системи

Dock і оверлей використовують звичайний міст сесії Social Stream. Повідомлення надсилаються як overlayNinja з адресацією за міткою.

Прочитати через співведучого: Dock надсилає вибране повідомлення безпосередньо до cohost-overlay.html.

Відповідь / легкий жарт: Dock звертається до приватного чат-бота у фоні, показує чернетку й надсилає її до оверлею лише після натискання «Промовити».

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}
  • У текстових сценаріях доку накладка дає зображення й необов'язковий голос TTS. Для голосу OpenAI захоплюйте cohost.html захоплюйте окремо. Оверлей не відтворює це аудіо WebRTC повторно.
  • Додаткові деталі команди розміщуються в metaщоб формат даних залишався передбачуваним для накладок і автоматизації.