Guía del copresentador con IA

Qué hace

Hay dos formas de usar al copresentador: un compañero de voz continuo en cohost.html, y acciones manuales del dock que envían líneas aprobadas al cohost-overlay.html.

Configurar el copresentador con clic derecho en el dock

1. Abre el dock de chat del directo con tu sesión: dock.html?session=YOUR_SESSION_ID.
2. Añade el overlay de escena de IA a OBS: cohost-overlay.html?session=YOUR_SESSION_ID. Añade &tts solo para un flujo de respuestas de texto.
3. Para respuestas de IA, configura un proveedor LLM en el panel. Para una prueba rápida, elige LLM de prueba alojado de SSN (SSN Hosted Trial LLM), que usa llm.socialstream.ninja.
4. Activa Bots de chat y servicios de IA > Chatbot - Interfaz privada > Activar opción de chatbot privado (Chat Bots and AI services > Chat Bot - Private Interface > Enable private chat bot option).
5. Haz clic derecho en un mensaje del dock y selecciona Copresentador (Co-host). El menú permanece oculto hasta que se detecta el overlay de escena. Las filas de mensajes del dock aún no ofrecen este menú contextual mediante teclado; quienes usan teclado pueden utilizar el campo de texto o los controles de voz de cohost.html.

Opción sencilla de IA

llm.socialstream.ninja está disponible mediante LLM de prueba alojado de SSN (SSN Hosted Trial LLM) como opción gratuita sencilla para probar mientras la prueba esté disponible.

• Abrir Bots de chat y servicios de IA > Configurar proveedor de servicio LLM (Chat Bots and AI services > Configure LLM Service Provider).
• Selecciona LLM de prueba alojado de SSN, experimental (SSN Hosted Trial LLM (experimental)).
• Deja endpoint, token y modelo vacíos para la configuración de prueba predeterminada.
• Para un uso prolongado, usa tu propio token o un proveedor local si el servicio de prueba está desactivado o limitado.

Compatibilidad con conversación por voz

• OpenAI Realtime: Transmite el micrófono seleccionado en cohost.html directamente a OpenAI para una conversación nativa de voz a voz. La conversación hablada y el contexto del chat en directo permanecen en la misma sesión del copresentador.
• SSN Desktop: Usa Whisper local con el micrófono seleccionado en cohost.html. El primer uso descarga unos 42 MB; las transcripciones posteriores se ejecutan sin conexión.
• Enlace de Chrome / extensión de Chrome: La extensión abre la página alojada del copresentador en una pestaña de Chrome. OpenAI Realtime usa WebRTC con un secreto de cliente de corta duración; los proveedores de respuestas de texto usan reconocimiento de voz de Chrome y pueden requerir internet.
• Otros navegadores: El reconocimiento de voz no está garantizado. El chat escrito del copresentador, la entrada del chat en directo, la cámara o pantalla y las respuestas del LLM configurado pueden funcionar sin reconocimiento de voz.

Configuración de OpenAI Realtime

1. En el panel de SSN, elige API de ChatGPT, añade la clave de API de tu proyecto de OpenAI y usa Probar chatbot seleccionado (Test selected chat bot).
2. Abre el enlace generado de cohost.html?session=YOUR_SESSION_ID desde el panel. Su autorización privada y temporal de copresentador permite usar Realtime sin activar la opción separada Private Chat Bot.
3. Selecciona OpenAI Realtime. La clave estándar permanece en el proceso de fondo de la extensión o aplicación de SSN; la página del copresentador solo recibe un secreto de cliente Realtime de corta duración.
4. Elige expresamente el micrófono en el que hablas, mantén Respuesta de audio (Audio Response) seleccionado y pulsa Iniciar copresentador (Start Co-host).
5. Opcional: deja Video source en Sin vídeo (No Video) (la opción predeterminada), o elige expresamente Compartir pantalla (Screen Share) o una cámara. OpenAI recibe una imagen actual con cada petición directa hablada o escrita, en lugar de vídeo continuo; esto puede añadir coste de API y latencia.
6. Deja Live Chat en Solo contexto: responder cuando se pregunte (Context only - answer when asked). Pregunta «¿Qué dice el chat?» para que la misma IA hablada comente los mensajes recientes de los espectadores.
7. Captura en OBS el audio del navegador o de la aplicación del copresentador. La voz nativa de OpenAI solo se reproduce desde cohost.html; cohost-overlay.html recibe el avatar y el texto, no ese mismo flujo de audio. Cuando sea compatible, elige un cable virtual en Salida del copresentador para enrutarlo por separado en OBS.
8. Mantén visible la burbuja de texto del overlay de escena o proporciona subtítulos para que la respuesta de la IA no esté disponible solo por audio.

Velocidad, calidad y coste de OpenAI

• Modelo: Mini suele ser más rápido y cuesta menos. Full quality tiene más capacidad y cuesta más.
• Esfuerzo de razonamiento: Minimal o Low suelen reducir el retraso y el uso facturado de salida. High o Extra high pueden mejorar respuestas complejas, pero responder más despacio y costar más. Los cambios se aplican mientras está conectado.
• Velocidad de turnos: Fast espera hasta unos 2 segundos al final de una idea; Balanced, unos 4; Patient, unos 8. Fast responde con más rapidez, pero puede interrumpir una pausa natural.
• Diagnósticos (Diagnostics): Latencia indica el tiempo desde el final del turno hasta el primer texto o audio y separa el retraso del modelo cuando es posible. Las condiciones de red y la carga del proveedor pueden variar entre peticiones similares.

Controles opcionales del directo

OpenAI Realtime admite las herramientas de Spotify, escenas de OBS y chat destacado descritas abajo. SSN Configured LLM actualmente solo admite Spotify; los demás proveedores del copresentador aún no ofrecen estas herramientas.

1. En el panel de SSN, activa solo las herramientas del copresentador que quieras: Spotify, escenas de OBS o chat destacado.
2. Para OBS, introduce los nombres exactos de las escenas permitidas como lista separada por comas y mantén actions.html conectado a OBS, o usa una fuente de navegador de OBS con permisos completos (Full Permissions).
3. Activado (On) cohost.html, abre Controles del directo del copresentador y habilita las mismas herramientas para ese controlador.
4. Pídelo directamente, por ejemplo: «cambia a BRB», «destaca ese último mensaje» o «borra el chat destacado». Los mensajes de espectadores no pueden autorizar herramientas, y solo se ejecuta una herramienta que cambie el directo por cada petición directa del streamer.

Cómo se comunican las páginas

El dock y el overlay usan el puente de sesión existente de Social Stream. Los mensajes se envían como datos de overlayNinja y se dirigen mediante una etiqueta.

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}

Acciones disponibles

Estado y resolución de problemas

• Si falta el menú Co-host, no se ha detectado el overlay del copresentador en la misma sesión.
• Si Answer o Light Roast están desactivados, el puente de SSN o el chatbot privado no están disponibles.
• La opción principal de overlay del chatbot es opcional y no activa las acciones del copresentador mediante clic derecho en el dock.
• Si cohost.html no ve el chat, comprueba que la URL tenga el mismo session que el panel y que Live Chat esté en Context, Questions o All.
• Solo contexto (Context only) actualmente comparte el chat con la IA solo para OpenAI Realtime. Los otros proveedores supervisan el flujo sin introducirlo en el modelo.
• Silenciar micrófono (Mute microphone) detiene el audio enviado al copresentador. Silenciar voz del copresentador (Mute co-host voice), el control de volumen, el selector de dispositivo de salida y Dejar de hablar (Stop speaking) controlan la reproducción. Silenciar audio del sistema compartido (Mute shared system audio) es independiente y aparece con proveedores que admiten pantalla.
• Si una herramienta de control del directo no está disponible, actívala tanto en el panel de SSN como en Controles del directo del copresentador. OBS también necesita al menos un nombre exacto de escena en su lista de permitidos.
• Usa Probar overlay (Test overlay) para enviar una línea visible de prueba inocua y confirma que aparezca en AI Stage Overlay en OBS.
• Si el copresentador conoce el chat pero no habla, es lo esperado en Solo contexto (Context only): pregúntale qué dice el chat. Questions o All pronuncian respuestas automáticas desde la página del copresentador; no publican esas respuestas en el chat de YouTube, Twitch o Kick.
• Si Desktop muestra Escuchando (Desktop Whisper) pero nunca rellena Oído (Heard), comprueba que el micrófono seleccionado no esté silenciado y deja que termine la primera descarga del modelo.
• Si Chrome nunca rellena Oído (Heard), concede permiso de micrófono, comprueba el micrófono predeterminado del sistema operativo, confirma el acceso a internet y verifica que el reconocimiento de voz de Chrome esté disponible.
• Si aparece texto de OpenAI Realtime pero no se reproduce audio, comprueba Respuesta de audio (Audio Response), los permisos de audio del navegador y la captura de audio de navegador o aplicación en OBS. Usa &tts solo para el flujo separado de overlay de texto.
• Si OpenAI Realtime responde despacio, prueba Mini, razonamiento Low y turnos Fast, y compara la línea Latency en Diagnósticos. Un razonamiento mayor y turnos Patient cambian intencionadamente velocidad por profundidad o pausas más largas.
• Si OpenAI Realtime se desconecta, deja el copresentador en ejecución mientras reintenta. Diagnósticos identifica el fallo de datos, conexión entre pares, proveedor o comprobación de estado. Una sesión recuperada conserva las instrucciones del sistema y los ajustes de rendimiento seleccionados, pero no puede recuperar la conversación hablada anterior.
• Si una petición de Answer, Light Roast o SSN Configured LLM agota el tiempo de espera, comprueba que Social Stream esté encendido, la sesión coincida, Private Chat Bot esté activado y el proveedor LLM seleccionado sea accesible. OpenAI Realtime no requiere Private Chat Bot.
• Si Local Gemma no puede descargar los archivos del modelo desde el servidor predeterminado, configura como servidor tu propia carpeta espejo de Gemma.
• Si la IA de prueba alojada deja de responder, puede estar desactivada o limitada; cambia a tu propio token, Ollama o Custom API.
• Si hay varios overlays abiertos, comprueba que la etiqueta del overlay coincida con el destino del dock. La etiqueta predeterminada es cohost-overlay.

Parámetros útiles de URL

• session=YOUR_SESSION_ID - necesario para que el dock y el overlay compartan una sala.
• tts o speak=1 - permite que el overlay hable con el TTS del navegador.
• forcetts - permite el TTS del overlay aunque el controlador del copresentador ya esté reproduciendo audio; esto crea intencionadamente una segunda voz.
• label=cohost-overlay - establece la etiqueta de destino del overlay.
• name=NinjaBot - establece el nombre visible en el overlay.
• avatar=https://... - usa una imagen de avatar personalizada.
• position=bottom-right - controla la posición en escena.
• scale=1.2 - cambia la escala del overlay.
• status - muestra texto de conexión y estado en el overlay.

Notas de diseño

• En los flujos de texto manual o del dock, el overlay es la fuente visual y opcionalmente de voz TTS. Para la voz nativa de OpenAI, captura cohost.html por separado; el overlay de escena no vuelve a reproducir ese mismo audio WebRTC.
• El dock es la superficie de control, así que la aprobación del streamer queda fuera del directo.
• Las respuestas generadas no se pronuncian automáticamente; el streamer debe aprobarlas primero.
• Los detalles no estándar de comandos van dentro de meta, manteniendo los datos predecibles para overlays y automatizaciones.