Fable 5.2 ผ่านงานฟรีแลนซ์ 41.25% อีก 58.75% ไม่ถึงเกณฑ์

Fable 5.2 ของแอนโทรปิก (Anthropic) ผ่านเกณฑ์การประเมินงานฟรีแลนซ์ทางไกล 41.25% ขณะที่อีก 58.75% ไม่ผ่านเกณฑ์ที่ลูกค้ายอมรับ ทำให้โมเดลนี้ได้อันดับหนึ่งในการประเมิน

ตารางจัดอันดับดัชนีแรงงานทางไกล (Remote Labor Index: RLI) ที่สเกล AI (Scale AI) เปิดเผย แสดงข้อมูล ณ วันที่ 13 ว่า Fable 5.2 ทำคะแนนได้ 41.25% ส่วน Opus 5.5 ซึ่งอยู่อันดับสองได้ 21.25% ต่างกัน 20 จุดเปอร์เซ็นต์

แอนโทรปิกระบุคะแนน RLI ของ Fable 5.2 ไว้ที่ 41.3% ในเอกสารเปิดตัวโมเดลเมื่อวันที่ 9 บริษัทอธิบายว่าคะแนนนี้มาจากการตั้งค่าความพยายามในการให้เหตุผลระดับสูง ‘High effort’ ร่วมกับมาตรการความปลอดภัย ส่วนต่างจากคะแนนในตารางจัดอันดับเกิดจากการแสดงจำนวนตำแหน่งทศนิยมต่างกัน

RLI วัดว่าโมเดลทำโครงการที่ได้รับมอบหมายจนเสร็จหรือไม่ มากกว่าจะดูเพียงว่าตอบคำถามข้อเดียวได้ถูกต้องแค่ไหน โดยประเมินความสมบูรณ์ของผลงานที่ส่งมอบ

สเกล AI ระบุในเอกสารวิจัย RLI ว่าชุดข้อมูลประเมินประกอบด้วยงานฟรีแลนซ์ 240 รายการ ครอบคลุม 23 สาขาจากหมวดงานทั้งหมด 64 หมวดของอัปเวิร์ก (Upwork)

แต่ละโครงการมีรายละเอียดงาน ไฟล์ที่จำเป็นต่อการทำงาน และผลงานที่ผู้เชี่ยวชาญทำเสร็จแล้ว จากนั้นนำผลงานที่ AI สร้างจากข้อมูลชุดเดียวกันไปเทียบกับผลงานของผู้เชี่ยวชาญ

เกณฑ์ให้คะแนนคือผลงานนั้นเป็นสิ่งที่ ‘ลูกค้าที่มีเหตุผลจะยอมรับตามที่ว่าจ้างหรือไม่’ ผู้ประเมินที่ผ่านการฝึกอบรม 3 คนจะตัดสินแยกกัน แล้วใช้เสียงข้างมากตัดสินว่าผ่านหรือไม่

การที่บางฟังก์ชันทำงานได้หรือร่างผลงานพอใช้อ้างอิงได้ ยังไม่ถือว่าผ่าน หากผลงานสุดท้ายไม่ถึงเกณฑ์ แม้จะทำงานได้บางส่วนก็ไม่ถูกนับในอัตราผ่าน

ดังนั้น คะแนน 41.25% ไม่ได้หมายความว่า AI สามารถทดแทนงานฟรีแลนซ์ทั้งหมดได้ 41.25% แต่เป็นสัดส่วนของโครงการตัวอย่างที่ผ่านเกณฑ์การประเมินที่กำหนด

RLI ใช้โครงการที่ไม่เปิดเผย 230 รายการในการจัดอันดับเชิงปริมาณอย่างเป็นทางการจากทั้งหมด 240 รายการ ส่วนอีก 10 รายการเปิดเผยต่อสาธารณะเพื่อใช้วิเคราะห์เชิงคุณภาพ ตารางจัดอันดับไม่ได้ระบุจำนวนโครงการที่ Fable 5.2 ผ่านแยกต่างหาก

ขอบเขตการประเมินก็มีข้อจำกัด โดยไม่รวมงานที่ต้องสื่อสารกับลูกค้าโดยตรง งานที่ใช้แรงกาย และงานที่ต้องติดตามผลเป็นเวลานาน

คะแนนนี้ยังบอกได้ยากว่าการใช้งานจริงต้องอาศัยความช่วยเหลือจากคนมากน้อยแค่ไหน หรือมีต้นทุนการนำระบบไปใช้งานเท่าใด อันดับสะท้อนคุณภาพผลงานภายใต้เงื่อนไขที่กำหนด แต่ไม่ได้ชี้ว่า AI จะรับช่วงงานของคนในสาขาใดได้ด้วยต้นทุนเท่าไร

การพูดคุยบน Hacker News หลังการเปิดตัวมีทั้งมุมมองที่คาดหวังและความเห็นที่ระมัดระวัง ผู้ใช้รายหนึ่งมองว่า Fable 5.2 ซึ่งทำคะแนนได้สูงกว่าโมเดลอื่นที่อยู่ราว 20% อาจเปิดทางให้ AI agent รับงานรูปแบบใหม่ได้

ผู้ใช้อีกรายชี้ว่าควรพิจารณาผลงานที่สัมผัสได้จากการใช้งานส่วนตัว เงื่อนไขเปรียบเทียบระหว่างโมเดล และค่าใช้จ่ายร่วมกัน ความเห็นเหล่านี้เป็นมุมมองของผู้ใช้ ไม่ใช่ผลตรวจสอบประสิทธิภาพแยกต่างหาก

คะแนนประเมิน AI ควรพิจารณาควบคู่กับองค์ประกอบของงานและเกณฑ์ตัดสิน ตารางสาธารณะแสดงอัตราผ่านของแต่ละโมเดล แต่ไม่ได้แจกแจงสาเหตุที่ Fable 5.2 ไม่ผ่านในแต่ละโครงการ