ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
บริษัท โมทีฟ เทคโนโลยีส์ (Motif Technologies) ที่ทำคะแนนรวมด้านเบนช์มาร์กสูงสุดในการประเมินขั้นที่ 2 ของโครงการพัฒนาโมเดลพื้นฐาน AI สัญชาติเกาหลีของรัฐบาลเกาหลีใต้ กลับตกรอบไม่ผ่านเข้าสู่ขั้นตอนถัดไป โดยคะแนนรวมสุดท้ายอยู่ที่ เอสเค เทเลคอม (SK Telecom) 70.6 คะแนน อัปสเตจ (Upstage) 69.9 คะแนน สถาบันวิจัย AI แอลจี (LG AI Research) 69.0 คะแนน และ โมทีฟ เทคโนโลยีส์ 65.8 คะแนน ตามลำดับ
กระทรวงวิทยาศาสตร์และไอซีทีเกาหลีใต้ (Ministry of Science and ICT) เปิดเผยคะแนนรายละเอียดของการประเมินขั้นที่ 2 ผ่านเอกสารข่าวเมื่อวันที่ 27 (เวลาท้องถิ่น) ระบุว่า 3 ทีมอันดับต้นผ่านเข้าสู่ขั้นตอนถัดไป ขณะที่โมทีฟ เทคโนโลยีส์ซึ่งอยู่อันดับ 4 ต้องออกจากโครงการ
การประเมินขั้นที่ 2 ใช้คะแนนเต็ม 100 คะแนน แบ่งเป็นคะแนนเบนช์มาร์ก 40 คะแนน คะแนนจากผู้เชี่ยวชาญ 35 คะแนน และคะแนนจากผู้ใช้งาน 25 คะแนน
ส่วนคะแนนเบนช์มาร์กประกอบด้วยผลประเมิน AAII จากสถาบันประเมินระดับโลกอย่าง อาร์ทิฟิเชียล อนาไลซิส (Artificial Analysis) 25 คะแนน และเบนช์มาร์กของ สำนักงานส่งเสริมสังคมสารสนเทศอัจฉริยะแห่งเกาหลี (NIA) อีก 15 คะแนน โครงสร้างนี้ออกแบบมาเพื่อดูทั้งประสิทธิภาพพื้นฐานของโมเดล ความสามารถด้านภาษาเกาหลี และความน่าเชื่อถือไปพร้อมกัน
โมทีฟ เทคโนโลยีส์ทำคะแนนเบนช์มาร์กรวมได้ 24.6 คะแนน สูงที่สุดในบรรดา 4 ทีม และยังได้อันดับ 1 ในผล AAII ด้วยคะแนน 11.9
ในส่วนเบนช์มาร์กของ NIA โมทีฟทำได้ 12.7 คะแนน ทำให้คะแนนเบนช์มาร์กรวมของบริษัทนำหน้าอัปสเตจ (22.7 คะแนน) เอสเค เทเลคอม (22.2 คะแนน) และสถาบันวิจัย AI แอลจี (20.6 คะแนน) อย่างชัดเจน
ผลแพ้ชนะกลับมาตัดสินกันที่คะแนนผู้เชี่ยวชาญและคะแนนผู้ใช้งาน โดยคะแนนผู้เชี่ยวชาญ สถาบันวิจัย AI แอลจีทำได้สูงสุด 29.5 คะแนน ตามด้วยเอสเค เทเลคอม 29.3 คะแนน อัปสเตจ 29.1 คะแนน และโมทีฟ เทคโนโลยีส์ 27.1 คะแนน
ส่วนคะแนนผู้ใช้งาน เอสเค เทเลคอมนำด้วย 19.1 คะแนน ตามด้วยสถาบันวิจัย AI แอลจี 18.9 คะแนน อัปสเตจ 18.1 คะแนน และโมทีฟ เทคโนโลยีส์ 14.1 คะแนน คะแนนรวมสุดท้ายของเอสเค เทเลคอมกับโมทีฟ เทคโนโลยีส์ห่างกันเพียง 4.8 คะแนน ขณะที่ช่องว่างในคะแนนผู้ใช้งานอยู่ที่ 5 คะแนน ซึ่งส่งผลโดยตรงต่อผลลัพธ์สุดท้าย
คะแนนผู้ใช้งานเป็นผลรวมจากกลุ่มผู้ใช้ผู้เชี่ยวชาญด้าน AI และกลุ่มประชาชนทั่วไป โดยมีผู้เชี่ยวชาญเข้าร่วมประเมินจริง 49 คน และประชาชนทั่วไปเข้าร่วม 185 คน สำหรับโมทีฟ เทคโนโลยีส์ทำคะแนนได้ 8.4 คะแนนจากกลุ่มผู้เชี่ยวชาญ และ 5.7 คะแนนจากกลุ่มประชาชนทั่วไป
การเปิดเผยคะแนนครั้งนี้ทำให้เหตุผลของการตกรอบชัดเจนขึ้นกว่าเดิม แต่ประเด็นที่ยังเป็นข้อถกเถียงคือโครงการนี้ต้องการคัดเลือกโมเดลแบบใดกันแน่
โมเดลพื้นฐาน (foundation model) คือโมเดลตั้งต้นที่นำไปต่อยอดใช้งานในบริการและอุตสาหกรรมหลากหลายรูปแบบ คะแนนเบนช์มาร์กสะท้อนประสิทธิภาพพื้นฐานของโมเดล ขณะที่คะแนนผู้ใช้งานสะท้อนความสะดวกในการใช้งานจริงและความสมบูรณ์ของผลลัพธ์ในสภาพแวดล้อมจริง
ทางกระทรวงวิทยาศาสตร์ฯ ชี้แจงว่าได้หารือเกณฑ์และวิธีการประเมินร่วมกับทีมที่ผ่านเข้ารอบไว้ล่วงหน้า และไม่มีความเห็นต่างในตอนนั้น พร้อมอธิบายว่าเกณฑ์การประเมินแต่ละขั้นถูกออกแบบเป็นแบบ ‘moving target’ คือปรับเป้าหมายการพัฒนาใหม่ทุก 6 เดือน เพื่อให้สอดคล้องกับความเปลี่ยนแปลงที่รวดเร็วของเทคโนโลยี AI
นี่ไม่ใช่ข้อถกเถียงครั้งแรกเกี่ยวกับการประเมินโครงการโมเดลพื้นฐาน AI สัญชาติเกาหลี ในรอบแรก เนเวอร์ คลาวด์ (Naver Cloud) ตกรอบด้วยเหตุผลว่าโมเดลไม่เข้าเกณฑ์ความเป็นอิสระ (sovereignty) จากนั้นโมทีฟ เทคโนโลยีส์ที่ถูกคัดเลือกเพิ่มเติมภายหลัง ก็ได้ยื่นคัดค้านผลการประเมินขั้นที่ 2 เช่นกัน
ท่ามกลางข้อถกเถียงครั้งนี้ มีเสียงวิจารณ์ว่าการใช้คะแนนเดียวเพื่ออธิบายทั้งประสิทธิภาพและความสามารถในการใช้งานจริงของโมเดล AI นั้นทำได้ยาก หากคะแนนเบนช์มาร์กสูงแต่ใช้งานได้ไม่สะดวก ก็อาจตกรอบในการประเมินภาพรวมได้ ในทางกลับกัน หากใช้งานสะดวกแต่ประสิทธิภาพพื้นฐานยังเป็นที่กังขา ก็ยากจะหลีกเลี่ยงข้อครหาเช่นกัน ทั้งนี้ ทีพีดอทคอมเคยรายงานไว้ก่อนหน้านี้ว่าในการประเมินเบนช์มาร์ก AI โครงสร้างการให้คะแนนและเครื่องมือประเมิน (evaluation harness) ส่งผลโดยตรงต่อการตีความผลลัพธ์เช่นกัน
ด้านกระทรวงวิทยาศาสตร์ฯ ระบุว่ากำลังหารือร่วมกับหน่วยงานที่เกี่ยวข้องเพื่อวางระบบสนับสนุนรูปแบบใหม่ที่ก้าวข้ามวิธีการเดิม และมีแผนจะเตรียมรายละเอียดเพื่อประกาศต่อไป
ความคิดเห็น 0