คู่มือผู้ช่วยดำเนินรายการ AI

ทำอะไรได้บ้าง

ผู้ช่วยดำเนินรายการมีสองรูปแบบการทำงาน: ผู้ร่วมสนทนาด้วยเสียงอย่างต่อเนื่องใน cohost.html, และการสั่งงานด้วยตนเองในแผงด็อกเพื่อส่งข้อความที่อนุมัติแล้วไปยัง cohost-overlay.html.

ตั้งค่าผู้ช่วยดำเนินรายการผ่านคลิกขวาในแผงด็อก

1. เปิดแผงด็อก Streaming Chat ด้วยเซสชันของคุณ: dock.html?session=YOUR_SESSION_ID.
2. เพิ่มโอเวอร์เลย์เวที AI ลงใน OBS: cohost-overlay.html?session=YOUR_SESSION_ID เพิ่ม &tts เฉพาะสำหรับขั้นตอนที่ตอบเป็นข้อความ
3. หากต้องการคำตอบจาก AI ให้ตั้งค่าผู้ให้บริการ LLM ในป๊อปอัป หากต้องการทดสอบอย่างรวดเร็ว ให้เลือก LLM ทดลองที่ SSN โฮสต์ไว้ ซึ่งใช้ llm.socialstream.ninja.
4. เปิดใช้ แชตบอตและบริการ AI (Chat Bots and AI services) > แชตบอต - อินเทอร์เฟซส่วนตัว (Chat Bot - Private Interface) > เปิดใช้แชตบอตส่วนตัว (Enable private chat bot option).
5. คลิกขวาที่ข้อความในแผงด็อกและเลือก ผู้ช่วยดำเนินรายการ เมนูจะซ่อนอยู่จนกว่าจะตรวจพบโอเวอร์เลย์เวที ขณะนี้แถวข้อความในแผงด็อกยังเปิดเมนูนี้ด้วยแป้นพิมพ์ไม่ได้ ผู้ใช้แป้นพิมพ์สามารถใช้ช่องพิมพ์ข้อความหรือปุ่มควบคุมเสียงบน cohost.html.

ตัวเลือก AI แบบง่าย

llm.socialstream.ninja ใช้ได้ผ่าน LLM ทดลองที่ SSN โฮสต์ไว้ เป็นตัวเลือกง่าย ๆ ที่ใช้ฟรีเพื่อทดสอบในช่วงที่เปิดบริการทดลอง

• เปิด แชตบอตและบริการ AI (Chat Bots and AI services) > ตั้งค่าผู้ให้บริการ LLM (Configure LLM Service Provider).
• เลือก LLM ทดลองที่ SSN โฮสต์ไว้ (รุ่นทดลอง).
• เว้น endpoint, token และ model ว่างไว้เพื่อใช้การตั้งค่าทดลองเริ่มต้น
• หากใช้ระยะยาว ให้ใช้โทเค็นของคุณเองหรือผู้ให้บริการในเครื่องเมื่อบริการทดลองถูกปิดหรือจำกัดอัตราการใช้งาน

การรองรับบทสนทนาด้วยเสียง

• OpenAI Realtime: สตรีมเสียงจากไมโครโฟนที่เลือกบน cohost.html ส่งตรงไปยัง OpenAI สำหรับบทสนทนาเสียงต่อเสียงโดยตรงหนึ่งรายการ บทสนทนาเสียงและบริบทแชตสดอยู่ในเซสชันผู้ช่วยดำเนินรายการเดียวกัน
• SSN Desktop: ใช้ Whisper ในเครื่องกับไมโครโฟนที่เลือกบน cohost.html การใช้ครั้งแรกจะดาวน์โหลดประมาณ 42 MB หลังจากนั้นการถอดเสียงทำงานแบบออฟไลน์
• ลิงก์ Chrome / ส่วนขยาย Chrome: ส่วนขยายเปิดหน้าผู้ช่วยดำเนินรายการที่โฮสต์ไว้ในแท็บ Chrome โดย OpenAI Realtime ใช้ WebRTC พร้อม client secret อายุสั้น ผู้ให้บริการคำตอบข้อความใช้ Chrome Speech Recognition และอาจต้องเชื่อมต่ออินเทอร์เน็ต
• เบราว์เซอร์อื่น: ไม่รับประกันว่าการรู้จำเสียงจะใช้ได้ การพิมพ์แชตกับผู้ช่วยดำเนินรายการ อินพุตแชตสด อินพุตกล้อง/หน้าจอ และคำตอบจาก LLM ที่ตั้งค่าไว้อาจยังทำงานได้โดยไม่ใช้การรู้จำเสียง

ตั้งค่า OpenAI Realtime

1. ในป๊อปอัป SSN ให้เลือก ChatGPT API, เพิ่มคีย์ API ของโปรเจกต์ OpenAI และใช้ ทดสอบแชตบอตที่เลือก.
2. เปิดลิงก์ที่สร้างขึ้นสำหรับ cohost.html?session=YOUR_SESSION_ID จากป๊อปอัป สิทธิ์ผู้ช่วยดำเนินรายการส่วนตัวที่มีวันหมดอายุนี้อนุญาตให้ใช้ Realtime โดยไม่ต้องเปิดตัวเลือก Private Chat Bot ที่แยกต่างหาก
3. เลือก OpenAI Realtime คีย์มาตรฐานจะอยู่ในระบบเบื้องหลังของส่วนขยาย/แอปเดสก์ท็อป SSN หน้าผู้ช่วยดำเนินรายการได้รับเฉพาะ client secret ของ Realtime ที่มีอายุสั้น
4. เลือกไมโครโฟนที่คุณใช้พูดโดยตรง คงค่า คำตอบเสียง ไว้ แล้วกด เริ่มผู้ช่วยดำเนินรายการ.
5. ตัวเลือกเพิ่มเติม: คง Video source ไว้ที่ ไม่มีวิดีโอ (ค่าเริ่มต้น) หรือเลือกอย่างชัดเจนเป็น แชร์หน้าจอ หรือกล้อง OpenAI ได้รับภาพปัจจุบันหนึ่งภาพต่อคำขอโดยตรงด้วยเสียงหรือข้อความ แทนการรับวิดีโอต่อเนื่อง ซึ่งอาจเพิ่มค่าใช้จ่าย API และเวลาแฝง
6. คง Live Chat ไว้ที่ ใช้เป็นบริบทเท่านั้น - ตอบเมื่อถาม ถามว่า “แชตกำลังพูดอะไรกัน?” เพื่อให้ AI เสียงตัวเดียวกันพูดคุยเกี่ยวกับข้อความล่าสุดของผู้ชม
7. จับเสียงจากเบราว์เซอร์/แอปผู้ช่วยดำเนินรายการใน OBS เสียงต้นฉบับของ OpenAI จะเล่นจาก cohost.html; cohost-overlay.html รับอวาตาร์และข้อความ แต่ไม่ได้รับสตรีมเสียงเดียวกันนั้น หากรองรับ ให้เลือกสายเสียงเสมือนใน เอาต์พุตผู้ช่วยดำเนินรายการ เพื่อแยกเส้นทางเสียงเข้า OBS
8. แสดงกรอบคำพูดของโอเวอร์เลย์เวทีไว้ หรือจัดให้มีคำบรรยาย เพื่อให้รับคำตอบจาก AI ได้โดยไม่ต้องฟังเสียงเพียงอย่างเดียว

ความเร็ว คุณภาพ และค่าใช้จ่ายของ OpenAI

• โมเดล: ปกติ Mini เร็วกว่าและมีค่าใช้จ่ายน้อยกว่า ส่วน Full quality มีความสามารถมากกว่าและมีค่าใช้จ่ายสูงกว่า
• ระดับการให้เหตุผล: ปกติ Minimal หรือ Low ลดความล่าช้าในการตอบและการใช้เอาต์พุตที่คิดค่าบริการ High หรือ Extra high อาจให้คำตอบที่ซับซ้อนดีขึ้น แต่ตอบช้าลงและแพงขึ้น เปลี่ยนค่าได้ขณะเชื่อมต่ออยู่
• ความเร็วในการผลัดกันพูด: Fast รอให้พูดจบความคิดได้นานประมาณ 2 วินาที Balanced ประมาณ 4 วินาที และ Patient ประมาณ 8 วินาที Fast รู้สึกตอบสนองได้เร็วกว่า แต่อาจแทรกในช่วงหยุดพูดตามธรรมชาติ
• ข้อมูลวินิจฉัย: Latency รายงานเวลาตั้งแต่จบช่วงพูดจนถึงข้อความหรือเสียงแรก และแยกความล่าช้าของโมเดลเมื่อทำได้ สภาพเครือข่ายและภาระงานของผู้ให้บริการอาจต่างกันแม้คำขออื่น ๆ จะคล้ายกัน

การควบคุมสตรีมเพิ่มเติม

OpenAI Realtime รองรับเครื่องมือ Spotify, ฉาก OBS และแชตที่นำมาแสดงตามด้านล่าง ขณะนี้ SSN Configured LLM รองรับเฉพาะ Spotify ผู้ให้บริการผู้ช่วยดำเนินรายการอื่นยังไม่มีเครื่องมือเหล่านี้

1. ในป๊อปอัป SSN ให้เปิดเฉพาะเครื่องมือผู้ช่วยดำเนินรายการที่ต้องการ: Spotify, ฉาก OBS หรือแชตที่นำมาแสดง
2. สำหรับ OBS ให้ป้อนชื่อฉากที่อนุญาตให้ตรงทุกตัว คั่นแต่ละชื่อด้วยจุลภาค และคงค่า actions.html ที่เชื่อมต่อกับ OBS หรือใช้แหล่งเบราว์เซอร์ OBS ที่ให้สิทธิ์เต็ม (Full Permissions)
3. บน cohost.html, เปิด การควบคุมสตรีมของผู้ช่วยดำเนินรายการ และเปิดให้หน้าควบคุมนั้นใช้เครื่องมือเดียวกัน
4. ขอโดยตรง เช่น “สลับไป BRB” “แสดงข้อความล่าสุดนั้น” หรือ “ล้างแชตที่แสดง” ข้อความของผู้ชมไม่มีสิทธิ์อนุญาตให้ใช้เครื่องมือ และคำขอโดยตรงจากสตรีมเมอร์แต่ละครั้งจะเรียกใช้เครื่องมือที่เปลี่ยนสตรีมได้เพียงหนึ่งรายการ

หน้าต่าง ๆ สื่อสารกันอย่างไร

แผงด็อกและโอเวอร์เลย์ใช้สะพานเชื่อมเซสชัน Social Stream ที่มีอยู่ โดยส่งข้อความเป็น overlayNinja และระบุเป้าหมายด้วยป้ายกำกับ

{
  "action": "cohostOverlay",
  "target": "cohost-overlay",
  "meta": {
    "command": "say",
    "text": "The line the avatar should say",
    "speak": true,
    "emotion": "happy"
  }
}

การดำเนินการที่ใช้ได้

สถานะและการแก้ปัญหา

• หากไม่มีเมนู Co-host แสดงว่ายังตรวจไม่พบโอเวอร์เลย์ผู้ช่วยดำเนินรายการในเซสชันเดียวกัน
• หาก Answer หรือ Light Roast ใช้ไม่ได้ แสดงว่าสะพานเชื่อม SSN หรือ Private Chat Bot ไม่พร้อมใช้งาน
• สวิตช์โอเวอร์เลย์แชตบอตหลักเป็นตัวเลือกเพิ่มเติม และไม่ได้เปิดการสั่งงานผู้ช่วยดำเนินรายการผ่านคลิกขวาในแผงด็อก
• หาก cohost.html ไม่เห็นแชต ให้ยืนยันว่า URL มีค่าเดียวกันของ session กับป๊อปอัป และตั้ง Live Chat เป็น Context, Questions หรือ All
• ใช้เป็นบริบทเท่านั้น ขณะนี้แชร์แชตกับ AI เฉพาะเมื่อใช้ OpenAI Realtime ผู้ให้บริการอื่นจะติดตามฟีดโดยไม่ป้อนเข้าโมเดล
• ปิดเสียงไมโครโฟน หยุดส่งเสียงไปยังผู้ช่วยดำเนินรายการ ปิดเสียงผู้ช่วยดำเนินรายการ, แถบปรับระดับเสียง ตัวเลือกอุปกรณ์เอาต์พุต และ หยุดพูด ควบคุมการเล่นเสียง ปิดเสียงระบบที่แชร์ แยกต่างหาก และปรากฏสำหรับผู้ให้บริการที่รองรับหน้าจอ
• หากเครื่องมือควบคุมสตรีมใช้ไม่ได้ ให้เปิดใช้ทั้งในป๊อปอัป SSN และ การควบคุมสตรีมของผู้ช่วยดำเนินรายการ OBS ต้องมีชื่อฉากที่ตรงกันอย่างน้อยหนึ่งชื่อในรายการที่อนุญาตด้วย
• ใช้ ทดสอบโอเวอร์เลย์ เพื่อส่งบรรทัดทดสอบที่มองเห็นได้และไม่มีผลเสีย จากนั้นตรวจสอบว่าปรากฏใน AI Stage Overlay ใน OBS
• หากผู้ช่วยดำเนินรายการรู้ข้อความแชตแต่ไม่พูด ถือเป็นพฤติกรรมปกติในโหมด ใช้เป็นบริบทเท่านั้น: ถามว่าคนในแชตกำลังพูดอะไรกัน โหมด Questions หรือ All จะพูดคำตอบอัตโนมัติจากหน้าผู้ช่วยดำเนินรายการ แต่จะไม่โพสต์คำตอบเหล่านั้นลงแชต YouTube, Twitch หรือ Kick
• หากแอปเดสก์ท็อปแสดง กำลังฟัง (Desktop Whisper) แต่ไม่เคยแสดงข้อความใน ได้ยิน, ตรวจสอบว่าไมโครโฟนที่เลือกไม่ได้ปิดเสียง และรอให้การดาวน์โหลดโมเดลครั้งแรกเสร็จสิ้น
• หาก Chrome ไม่เคยแสดงข้อความใน ได้ยิน, อนุญาตให้ใช้ไมโครโฟน ตรวจสอบไมโครโฟนเริ่มต้นของระบบปฏิบัติการ ยืนยันว่าเชื่อมต่ออินเทอร์เน็ต และตรวจสอบว่าใช้ Chrome Speech Recognition ได้
• หาก OpenAI Realtime แสดงข้อความแต่ไม่มีเสียง ให้ตรวจสอบ คำตอบเสียง, สิทธิ์เสียงของเบราว์เซอร์ และการจับเสียงจากเบราว์เซอร์/แอปใน OBS ใช้ &tts เฉพาะสำหรับขั้นตอนโอเวอร์เลย์ข้อความที่แยกต่างหาก
• หาก OpenAI Realtime ตอบช้า ลองใช้ Mini, การให้เหตุผลระดับ Low และการผลัดกันพูดแบบ Fast แล้วเปรียบเทียบบรรทัด Latency ใน Diagnostics ระดับการให้เหตุผลที่สูงขึ้นและการผลัดกันพูดแบบ Patient ตั้งใจแลกความเร็วกับคำตอบที่ลึกขึ้นหรือช่วงหยุดที่นานขึ้น
• หาก OpenAI Realtime หลุดการเชื่อมต่อ ให้เปิดผู้ช่วยดำเนินรายการทิ้งไว้ขณะพยายามเชื่อมต่อใหม่ Diagnostics จะระบุปัญหาข้อมูล เพียร์ ผู้ให้บริการ หรือการตรวจสอบความพร้อม เซสชันที่กู้คืนจะคงคำสั่งระบบและการตั้งค่าประสิทธิภาพที่เลือกไว้ แต่กู้บทสนทนาเสียงก่อนหน้าไม่ได้
• หากคำขอ Answer, Light Roast หรือ SSN Configured LLM หมดเวลา ให้ตรวจสอบว่าเปิด Social Stream อยู่ เซสชันตรงกัน เปิด Private Chat Bot และเข้าถึงผู้ให้บริการ LLM ที่เลือกได้ OpenAI Realtime ไม่จำเป็นต้องใช้ Private Chat Bot
• หาก Local Gemma ดาวน์โหลดไฟล์โมเดลจากโฮสต์ไฟล์เริ่มต้นไม่ได้ ให้กำหนดโฮสต์ไฟล์เป็นโฟลเดอร์ Gemma ที่คุณทำสำเนาไว้เอง
• หาก AI ทดลองที่โฮสต์ไว้หยุดตอบ อาจถูกปิดหรือจำกัดอัตราการใช้งาน ให้เปลี่ยนไปใช้โทเค็นของคุณเอง Ollama หรือ Custom API
• หากเปิดหลายโอเวอร์เลย์ ให้ตรวจสอบว่าป้ายกำกับโอเวอร์เลย์ตรงกับเป้าหมายในแผงด็อก ป้ายกำกับเริ่มต้นคือ cohost-overlay.

พารามิเตอร์ URL ที่มีประโยชน์

• session=YOUR_SESSION_ID - จำเป็นเพื่อให้แผงด็อกและโอเวอร์เลย์ใช้ห้องเดียวกัน
• tts หรือ speak=1 - ให้โอเวอร์เลย์พูดด้วย TTS ของเบราว์เซอร์
• forcetts - อนุญาตให้โอเวอร์เลย์อ่านออกเสียงด้วย TTS แม้หน้าควบคุมผู้ช่วยดำเนินรายการกำลังเล่นเสียงอยู่ โดยตั้งใจให้เกิดเสียงที่สอง
• label=cohost-overlay - กำหนดป้ายกำกับเป้าหมายของโอเวอร์เลย์
• name=NinjaBot - กำหนดชื่อที่แสดงบนโอเวอร์เลย์
• avatar=https://... - ใช้ภาพอวาตาร์ที่กำหนดเอง
• position=bottom-right - ควบคุมตำแหน่งบนเวที
• scale=1.2 - ปรับขนาดโอเวอร์เลย์
• status - แสดงข้อความการเชื่อมต่อ/สถานะบนโอเวอร์เลย์

หมายเหตุด้านการออกแบบ

• สำหรับขั้นตอนที่ใช้แผงด็อก/ข้อความด้วยตนเอง โอเวอร์เลย์เป็นแหล่งภาพและแหล่งเล่น TTS หากเปิดใช้ สำหรับเสียงต้นฉบับของ OpenAI ให้จับเสียงจาก cohost.html แยกต่างหาก โอเวอร์เลย์เวทีจะไม่เล่นเสียง WebRTC เดียวกันซ้ำ
• แผงด็อกเป็นพื้นที่ควบคุม การอนุมัติของสตรีมเมอร์จึงไม่ปรากฏบนสตรีม
• คำตอบที่สร้างจะไม่ถูกพูดโดยอัตโนมัติ สตรีมเมอร์ต้องอนุมัติก่อน
• รายละเอียดคำสั่งที่ไม่เป็นมาตรฐานอยู่ภายใน meta ทำให้โอเวอร์เลย์และระบบอัตโนมัติได้รับข้อมูลในรูปแบบที่คาดเดาได้