17% ของเว็บไซต์บล็อกการฝึก AI คลาวด์แฟลร์เปิดการตั้งค่าใหม่

คลาวด์แฟลร์(Cloudflare) เปิดให้ผู้ดูแลเว็บไซต์ทุกคนเลือกปฏิเสธการนำเนื้อหาไปใช้ฝึกปัญญาประดิษฐ์(AI) ขณะยังคงอนุญาตให้เครื่องมือค้นหาจัดทำดัชนีได้

คลาวด์แฟลร์เปิดตัวการตั้งค่า 'Disallow AI Training' เมื่อวันที่ 15 โดยฟังก์ชันนี้จะแยกการทำงานของโปรแกรมรวบรวมข้อมูลแบบผสม ซึ่งใช้ทั้งสำหรับการค้นหาและการฝึกโมเดล AI

คลาวด์แฟลร์ระบุว่า เว็บไซต์ของบริษัทประมาณ 17% บล็อกการรวบรวมข้อมูลเพื่อฝึก AI ในรูปแบบใดรูปแบบหนึ่งแล้ว ขณะที่เว็บไซต์ที่บล็อกโปรแกรมรวบรวมข้อมูลสำหรับการค้นหามีสัดส่วนน้อยกว่า 1%

เมื่อผู้ดูแลเว็บไซต์เลือกปฏิเสธการฝึก AI คลาวด์แฟลร์จะเผยแพร่ความต้องการดังกล่าวในไฟล์ robots.txt โปรแกรมรวบรวมข้อมูลแบบผสมที่เป็นไปตามเกณฑ์จะยังเข้าถึงเว็บไซต์เพื่อจัดทำดัชนีการค้นหาได้ ส่วนโปรแกรมรวบรวมข้อมูลเพื่อการฝึกโดยเฉพาะจะถูกบล็อก

หากเลือก 'Block' เพื่อปิดกั้นการเข้าถึงของโปรแกรมรวบรวมข้อมูลที่เกี่ยวข้องทั้งหมด การเข้าถึงเพื่อการค้นหาจะถูกปิดไปพร้อมกันด้วย โครงสร้างการตั้งค่าจึงขึ้นอยู่กับว่าเว็บไซต์ต้องการแยกการจัดการระหว่างทราฟฟิกจากการค้นหากับการนำเนื้อหาไปฝึก AI หรือไม่

คลาวด์แฟลร์แทนที่ฟังก์ชันเดิม 'Block AI Bots' ด้วยการตั้งค่าแยกสำหรับการค้นหา การฝึก AI และเอเจนต์ โดยเอเจนต์หมายถึงเครื่องมืออัตโนมัติที่เข้าชมหน้าเว็บแทนผู้ใช้

สำหรับเว็บไซต์ที่มีรายได้จากโฆษณา คลาวด์แฟลร์แนะนำให้ปฏิเสธโปรแกรมรวบรวมข้อมูลเพื่อการฝึก AI บล็อกเอเจนต์ในหน้าที่แสดงโฆษณา และยังอนุญาตการค้นหาได้ ส่วนโดเมนใหม่จะได้รับค่าเริ่มต้นที่แตกต่างกันตามโมเดลรายได้

คลาวด์แฟลร์ยังเสนอเกณฑ์ความรับผิดชอบสำหรับผู้ให้บริการโปรแกรมรวบรวมข้อมูล ซึ่งรวมถึงช่องทางปฏิเสธการฝึก AI และการสรุปด้วย AI การเปิดเผยสถานะการใช้เนื้อหาในระดับ URL และการยืนยันว่าการปฏิเสธการฝึกจะไม่ส่งผลต่อผลการค้นหาแบบเดิม

แอปเปิล(Apple) กูเกิล(Google) และไมโครซอฟท์(Microsoft) ถูกจัดอยู่ในกลุ่มผู้ให้บริการที่ปฏิบัติตามเกณฑ์ดังกล่าวแล้ว หรือระบุว่าจะปฏิบัติตามภายในเวลาที่กำหนด ขณะที่อเมซอน(Amazon) แอนโทรปิก(Anthropic) เมตา(Meta) และโอเพนเอไอ(OpenAI) มีโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาและการฝึก AI แยกจากกัน จึงอยู่ในกลุ่มผู้ให้บริการที่มีความรับผิดชอบ

คลาวด์แฟลร์ระบุว่า โปรแกรมรวบรวมข้อมูลแบบผสมที่ทำทั้งการค้นหาและการฝึก AI คิดเป็น 36.6% ของทราฟฟิกโปรแกรมรวบรวมข้อมูลที่ตรวจพบในเครือข่ายของบริษัท จึงเห็นว่าจำเป็นต้องมีนโยบายแยกตามวัตถุประสงค์การใช้เนื้อหา แทนการใช้ปุ่มบล็อกเพียงปุ่มเดียว

มาตรการนี้สอดคล้องกับแนวโน้มที่ผู้ให้บริการ AI แยกขอบเขตการควบคุมของผู้จัดทำเนื้อหา ระหว่างการค้นหา การสรุป และการฝึกโมเดล โดยในประเทศก็มีการประกาศ นโยบายของเนเวอร์ที่จำกัดการนำข้อมูลจาก Search API ไปใช้ฝึก AI และจัดทำคำตอบ

อย่างไรก็ตาม การควบคุมการสรุปด้วย AI ยังต้องตั้งค่าแยกตามผู้ให้บริการโปรแกรมรวบรวมข้อมูลแต่ละราย คลาวด์แฟลร์วางแผนจัดทำฟังก์ชันภายในต้นปีหน้า เพื่อให้ผู้ดูแลเว็บไซต์สามารถกำหนดขอบเขตเนื้อหาที่จะปรากฏในการสรุปด้วย AI ได้จากจุดเดียว