Coanimateur IA

Un partenaire IA avec qui parler en direct. Il peut aussi lire votre chat.

Deux façons de l'utiliser

Coanimateur vocal

Parlez à l'IA à voix haute sur cohost.html. Elle vous répond et peut commenter le chat sur demande.

Configuration

Boutons du Dock

Faites un clic droit sur un message du Dock. L'avatar IA le lit ou rédige une réponse ou une petite pique que vous approuvez d'abord.

Configuration

Les deux affichent un avatar et une bulle de dialogue dans OBS avec Overlay de scène IA, cohost-overlay.html.

Coanimateur vocal en 8 étapes

Cela utilise OpenAI Realtime, vous aurez donc besoin d'une clé API OpenAI. D'autres options figurent ci-dessous.

  1. Dans le menu Social Stream, choisissez API ChatGPT, collez la clé API de votre projet OpenAI et cliquez sur Tester le bot de chat sélectionné.
  2. Ouvrez : cohost.html depuis le menu. Gardez ce lien privé.
  3. Sélectionnez OpenAI Realtime.
  4. Choisissez le microphone dans lequel vous parlez. Gardez Réponse audio sélectionné.
  5. Appuyez sur Démarrer le coprésentateur.
  6. Laissez Chat en direct sur Contexte uniquement. Demandez « Que dit le chat ? » à tout moment.
  7. Dans OBS, capturez l'audio de la page ou de l'application du coanimateur. La voix IA est lue uniquement à cet endroit.
  8. Ajouter cohost-overlay.html?session=YOUR_SESSION_ID à OBS comme source navigateur pour l'avatar et la bulle de dialogue.
Page de contrôle cohost.html avec périphériques multimédias, paramètres du fournisseur IA, instructions système et état du chat en direct
La page du coanimateur : microphone, fournisseur IA, instructions et état du chat en direct.
Vous voulez une piste audio séparée dans OBS ? Choisissez un câble virtuel dans Sortie du coprésentateur, si votre configuration le permet. Gardez aussi la bulle de dialogue visible pour que les spectateurs qui n'entendent pas puissent suivre.
Lui permettre de voir l'écran ou la caméra ? Facultatif. La vidéo démarre sur Aucune vidéo. Si vous choisissez Partage d’écran ou une caméra, OpenAI reçoit une image à chaque prise de parole ou saisie, pas une vidéo en direct. Cela peut ajouter du coût et du délai.
Confidentialité : votre microphone, l'écran ou la caméra choisis et les messages partagés sont envoyés à OpenAI. Les spectateurs ne peuvent pas utiliser le chat pour faire exécuter des outils au coanimateur. Le lien expire après 12 heures, fonctionne uniquement pour votre session et disparaît de la barre d'adresse au chargement.
En savoir plus sur OpenAI Realtime
  • La facturation passe par votre compte API OpenAI. C'est distinct de chatgpt.com et cela ne rejoint pas une conversation du site ou de l'application ChatGPT.
  • Votre clé standard reste dans Social Stream. La page du coanimateur reçoit seulement un accès de courte durée.
  • Il n'est pas nécessaire d'activer le chatbot privé pour cela.
  • Les réponses sont limitées à 512 tokens de sortie. Diagnostics indique le total des tokens utilisés et la vitesse de début des réponses.
  • Si vous parlez pendant sa réponse, il s'arrête et supprime l'audio non encore lu.
  • Il conserve jusqu'à 20 messages récents pendant 90 secondes au maximum, avec les dons, adhésions, modérateurs, événements et informations de chaîne. Il les oublie ensuite.
  • Il se reconnecte si la connexion tombe et ouvre une nouvelle session avant la limite OpenAI de 60 minutes. Vos instructions et réglages de vitesse sont conservés, mais il oublie la conversation orale.

Comment il utilise votre chat

Ouvrez la page du coanimateur avec la même valeur de session que Social Stream pour qu'il voie le chat en direct. Choisissez le mode dans Chat en direct.

Réglage du chat en directFonction
Contexte seul : répondre sur demande (par défaut)Mémorise les messages récents et reste silencieux jusqu'à votre question sur le chat.
Répondre aux questions et mentions à voix hauteRépond automatiquement aux questions et mentions à voix haute.
Répondre à chaque message à voix hauteRépond à chaque message à voix haute.

Aucune de ces options ne publie de réponses dans le chat YouTube, Twitch ou Kick. Contexte uniquement transmet le chat à l'IA uniquement avec OpenAI Realtime. Les autres fournisseurs observent le chat sans le transmettre à l'IA.

Voix sans OpenAI

Où vous l'exécutezComment il vous entend
Application SSN DesktopWhisper, sur votre ordinateur. Le premier lancement télécharge environ 42 Mo. Ensuite, il fonctionne hors ligne.
Chrome (lien de l'extension)Reconnaissance vocale Chrome. Peut nécessiter internet.
Autres navigateursLa voix peut ne pas fonctionner. La saisie, le chat en direct, la caméra ou l'écran et les réponses IA peuvent rester disponibles.

Pour vérifier qu'il vous entend, ouvrez Diagnostics. Il devrait indiquer À l’écoute (Desktop Whisper) ou À l’écoute (OpenAI WebRTC), et vos paroles doivent apparaître sous Entendu (Heard).

IA gratuite pour les tests

  1. Ouvrir Chat Bots et services IA → Configurer le fournisseur LLM.
  2. Sélectionnez SSN Hosted Trial LLM (expérimental).
  3. Laissez l'endpoint, le jeton et le modèle vides.

Elle est gratuite pendant l'essai et peut être désactivée ou limitée. Pour un usage durable, ajoutez votre jeton ou utilisez une IA locale.

Boutons du Dock en 5 étapes

  1. Ouvrez le Dock : dock.html?session=YOUR_SESSION_ID.
  2. Ajoutez l'overlay de scène à OBS : cohost-overlay.html?session=YOUR_SESSION_ID. Ajoutez &tts si l'overlay doit parler.
  3. Configurez un fournisseur IA dans le menu. Pour un test rapide, utilisez SSN Hosted Trial LLM.
  4. Activez Chat Bots et services IA → Chat Bot - Interface privée → Activer le chatbot privé.
  5. Faites un clic droit sur un message du Dock et choisissez Coprésentateur.
Pas de menu Co-host ? Il apparaît seulement quand le Dock détecte l'overlay de scène sur la même session.
BoutonFonctionNécessite
Lire sur le coprésentateur (Read on Co-host)L'avatar lit le message.Overlay de scène connecté. Pas besoin d'IA.
Répondre (Answer)Rédige une réponse courte à approuver.Chatbot privé activé et fournisseur IA.
Petite taquinerie (Light Roast)Rédige une petite pique courte, amusante et tout public à approuver.Chatbot privé activé et fournisseur IA.
Parler (Speak)Envoie le brouillon approuvé à l'overlay.Un brouillon.
CopierCopie le brouillon sans l'envoyer.Un brouillon.

Les brouillons IA ne sont jamais lus avant votre clic sur Parler (Speak). L'approbation se fait dans le Dock, hors diffusion.

Le menu contextuel n'est pas encore accessible au clavier. Les utilisateurs du clavier peuvent écrire ou parler sur cohost.html à la place.

Vitesse, qualité et coût (OpenAI)

ParamètrePlus rapide et moins cherPlus intelligent, plus lent
ModèleMiniPleine qualité (plus cher)
Effort de raisonnementMinimal ou LowHigh ou Extra high (plus cher)
Vitesse des tours de paroleFast : attend environ 2 secondes après votre arrêt. Peut intervenir lors d'une pause.Balanced : environ 4 secondes. Patient : environ 8.

Les changements de raisonnement s'appliquent même pendant la connexion. Diagnostics indique le délai avant le début des réponses. Le réseau et la charge OpenAI peuvent varier.

Laissez-le commander votre direct

Le coanimateur peut lancer Spotify, changer de scène OBS ou mettre un message en avant. Tout est désactivé par défaut. OpenAI Realtime prend en charge les trois fonctions. SSN Configured LLM prend uniquement Spotify en charge. Les autres fournisseurs ne les proposent pas encore.

  1. Dans le menu Social Stream, activez uniquement les outils souhaités.
  2. Pour OBS, saisissez les noms exacts des scènes autorisées, séparés par des virgules. Gardez actions.html connecté à OBS, ou utilisez une source navigateur OBS avec les autorisations complètes.
  3. Sur cohost.html, ouvrez Commandes du direct par le coprésentateur et activez les mêmes outils.
  4. Demandez-le à voix haute, par exemple « passe à BRB », « mets le dernier message en avant » ou « efface le chat mis en avant ».
Vous seul pouvez déclencher les outils. Les spectateurs ne le peuvent pas. Il exécute un outil par demande et choisit uniquement les scènes de votre liste. Mettre un message en avant nécessite le Dock ouvert. Une réponse « terminé » signifie que la demande a été envoyée, pas qu'OBS ou l'overlay l'a exécutée jusqu'au bout.

Résoudre les problèmes

ProblèmeÀ essayer
Pas de menu Co-host dans le DockL'overlay de scène n'est pas ouvert sur la même session. L'option Primary chat bot overlay n'a aucun effet ici.
Answer ou Light Roast est griséActivez l'option de chatbot privé et vérifiez que Social Stream fonctionne.
Answer, Light Roast ou SSN Configured LLM dépasse le délaiVérifiez que Social Stream et le chatbot privé sont actifs, que la session correspond et que le fournisseur IA est accessible.
La page du coanimateur ne voit pas le chatUtilisez la même valeur session que le menu. Réglez Live Chat sur une option autre que Off.
Il connaît le chat mais reste silencieuxC'est normal en Contexte seul. Demandez ce que dit le chat ou choisissez un autre mode.
Rien ne s'affiche dans OBSCliquez sur Tester l’incrustation sur la page du coanimateur et vérifiez que la ligne apparaît.
Le texte s'affiche mais pas la voix (OpenAI)Vérifiez Réponse audio, l'autorisation audio du navigateur et la capture audio de la page du coanimateur dans OBS. N'utilisez pas &tts pour cela.
Deux voix à la foisSupprimer &forcetts du lien de l'overlay.
Entendu (Heard) reste vide (Desktop)Vérifiez que le micro n'est pas coupé et laissez le premier téléchargement finir.
Entendu (Heard) reste vide (Chrome)Autorisez le microphone, vérifiez le micro par défaut de l'ordinateur, internet et la disponibilité de la reconnaissance vocale Chrome.
Les réponses sont lentesEssayez Mini, le raisonnement Low et les tours Fast. Comparez la ligne Latency dans Diagnostics.
OpenAI se déconnecte sans cesseLaissez-le fonctionner pendant les nouvelles tentatives. Diagnostics indique l'échec.
Un outil de commande du direct manqueActivez-le dans le menu et dans Co-host Stream Controls. OBS nécessite au moins un nom de scène.
L'IA d'essai gratuite ne répond plusElle peut être désactivée ou limitée. Utilisez votre propre jeton, Ollama ou Custom API.
Gemma local ne se télécharge pasFaites pointer l'hôte des ressources vers votre propre copie des fichiers Gemma.
Plusieurs overlays ouvertsVérifiez que le libellé de l'overlay correspond à la cible du Dock. La valeur par défaut est cohost-overlay.
Boutons de sourdine et volume
  • Couper le microphone cesse d'envoyer votre voix au coanimateur.
  • Couper la voix du coprésentateur, le volume, le sélecteur de sortie et Arrêter de parler contrôlent ce que vous entendez.
  • Couper l’audio système partagé est distinct et apparaît uniquement pour les fournisseurs pouvant utiliser votre écran.

Ajoutez ces options à la fin de votre cohost-overlay.html lien.

Je souhaite…Ajouter au lien
Connecter à mon Social Stream (obligatoire)?session=YOUR_SESSION_ID
Faire parler l'overlay (flux du Dock)&tts ou &speak=1
Forcer la parole de l'overlay même si la page du coanimateur parle (ajoute une seconde voix)&forcetts
Définir le libellé de l'overlay&label=cohost-overlay
Changer le nom affiché&name=NinjaBot
Utiliser mon propre avatar&avatar=https://…
Déplacer&position=bottom-right
Agrandir ou réduire&scale=1.2
Afficher l'état de connexion&status

Quand la page du coanimateur lit déjà la voix, l'overlay désactive sa propre parole pour éviter de l'entendre deux fois. &forcetts désactive ce comportement.

Communication entre les pages (pour développeurs)

Format des messages et notes de conception

Le Dock et l'overlay utilisent le pont de session habituel de Social Stream. Les messages sont envoyés comme overlayNinja données et ciblés par étiquette.

Lire sur le coprésentateur : le Dock envoie le message choisi directement à cohost-overlay.html.

Réponse / Petite taquinerie : le Dock interroge le chatbot privé en arrière-plan, affiche le brouillon dans le Dock et l'envoie à l'overlay uniquement après un clic sur Speak.

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}
  • Pour les flux textuels du Dock, l'overlay fournit l'image et la voix TTS facultative. Pour la voix OpenAI, capturez l'audio de cohost.html séparément. L'overlay ne rejoue pas cet audio WebRTC.
  • Les détails supplémentaires de commande vont dans meta, pour que les données restent prévisibles pour les overlays et automatisations.