ทดลองวิดีโอคอล Tavus: 26 จาก 54 คนคิดว่าคุยกับมนุษย์

ผู้เข้าร่วมวิดีโอคอล 26 คนจากทั้งหมด 54 คนคิดว่าคู่สนทนาเป็นมนุษย์ ผลมาจากการทดลอง 1 นาทีที่ Tavus เปิดเผย และไม่ได้หมายความว่าอัตราการเข้าใจผิดว่า AI เป็นมนุษย์ในการวิดีโอคอลทั่วไปอยู่ที่ระดับนี้

Tavus เปิดตัวโมเดลสนทนา Griffin เมื่อวันที่ 1 ตุลาคม ส่วน Griffin-Lite ที่ใช้ในการทดลองเป็นโมเดลตัวอย่างสำหรับงานวิจัย ซึ่งรับเสียงและวิดีโอแบบเรียลไทม์ พร้อมสร้างคำพูด สีหน้า การมอง และท่าทาง Decrypt รายงานการประกาศและผลการทดลองของ Tavus

Tavus แจ้งผู้เข้าร่วมว่าจะได้วิดีโอคอลกับผู้เข้าร่วมอีกคนเป็นเวลา 1 นาที เพื่อพูดคุยเกี่ยวกับสิ่งที่ตั้งตารอในปีนี้ หลังจบการโทร บริษัทถามว่าพวกเขาคิดว่าคู่สนทนาเป็นมนุษย์หรือไม่ ในจำนวน 54 คน มี 26 คนตอบว่าใช่ คิดเป็น 48% ตามตัวเลขที่บริษัทระบุ

Tavus ระบุว่า ในการทดลองระบบรุ่นก่อน มีผู้เข้าร่วม 1 คนจาก 41 คน หรือ 2.4% ที่คิดว่าคู่สนทนาเป็นมนุษย์ ระบบก่อนหน้านั้นประกอบด้วยโมเดล 3 ตัวสำหรับสร้างวิดีโอ สนทนา และรับรู้ข้อมูล จำนวนผู้เข้าร่วมของการทดลองทั้งสองครั้งไม่เท่ากัน และจากคำอธิบายที่เปิดเผยยังไม่ทราบว่าเป็นการทดลองแบบควบคุมกับกลุ่มผู้เข้าร่วมเดียวกันหรือไม่

ตัวเลข 48% มาจากการทดลองของบริษัทเอง โดยผู้เข้าร่วมไม่ได้รับแจ้งล่วงหน้าว่าคู่สนทนาอาจเป็น AI และสนทนากันในหัวข้อเดียวเป็นเวลา 1 นาที ยังไม่มีการเปิดเผยข้อมูลที่ตรวจสอบการออกแบบและผลการทดลองโดยอิสระ

Griffin-Lite ถูกออกแบบให้ติดตามเสียงและวิดีโอระหว่างการสนทนา แล้วสร้างการตอบสนองต่อเนื่อง แทนที่จะรอให้คู่สนทนาพูดจบก่อน Tavus ระบุว่าแนวทางนี้ต่างจากการเชื่อมระบบรู้จำเสียง โมเดลภาษา และโมเดลสร้างเสียงกับวิดีโอเข้าด้วยกันเป็นลำดับ จุดเด่นที่บริษัทนำเสนอคือการประมวลผลกระแสการสนทนาและสัญญาณที่ไม่ใช่คำพูดไปพร้อมกับการฟัง

ในการประเมิน VideoFDB ของ NVIDIA นั้น Griffin-Lite ได้ 3.83 จากคะแนนเต็ม 5 ในหมวดการสร้าง ขณะที่คะแนนอ้างอิงของมนุษย์ในตารางที่เผยแพร่คือ 3.92 ส่วนชุด Gemini 2.5 กับ Anam ซึ่งได้คะแนนรองลงมาอยู่ที่ 2.80 คะแนนหมวดการรับรู้ของ Griffin-Lite อยู่ที่ 3.73 ต่ำกว่าคะแนนอ้างอิงของมนุษย์ที่ 4.20

VideoFDB ประเมินการรับรู้และการสร้างของ AI แยกจากกัน โดยอิงคลิปสนทนา 237 คลิปที่คัดจากวิดีโอคอลจริง และปฏิสัมพันธ์ที่ไม่ใช่คำพูด 11 ประเภท คะแนนคำนวณด้วยวิธีให้โมเดลภาษาเป็นผู้ประเมิน การประเมินนี้วัดคนละเรื่องกับการทดลองของ Tavus ซึ่งนับจำนวนผู้เข้าร่วมที่คิดว่าคู่สนทนาเป็นมนุษย์

Tavus ยังไม่เปิด Griffin-Lite ให้ลูกค้าทั่วไป บริษัทระบุว่าจะให้ผู้ทดสอบที่เชื่อถือได้บางส่วนเข้าถึงในรูปแบบตัวอย่างสำหรับงานวิจัย ระหว่างที่จัดทำมาตรการความปลอดภัยและฟังก์ชันเปิดเผยว่าเป็น AI พร้อมประสานงานกับองค์กรด้านความปลอดภัยที่เกี่ยวข้อง