คำขอจากบอตเกือบ 60% ในเดือนพฤษภาคม 2026…คลาวด์แฟลร์เรียกร้องค่าฝึก AI

คำขอเว็บไซต์ที่ผ่านเครือข่ายคลาวด์แฟลร์($NET) มาจากบอตคิดเป็นเกือบ 60% ในเดือนพฤษภาคม 2026 ซึ่งเกิดขึ้นเร็วกว่าช่วงเวลาที่บริษัทคาดว่าทราฟฟิกจากบอตและเอเจนต์ AI จะมีมากกว่าทราฟฟิกจากมนุษย์ราว 1 ปี

แมทธิว พรินซ์(Matthew Prince) ซีอีโอคลาวด์แฟลร์ กล่าวว่า บริษัท AI ควรจ่ายค่าตอบแทนสำหรับเนื้อหาและโครงสร้างพื้นฐานบนเว็บที่ใช้พัฒนาโมเดล ฟอร์จูนรายงานว่า พรินซ์แสดงจุดยืนดังกล่าว เนื่องจากครอลเลอร์ AI อาจดึงเนื้อหาจากเว็บไซต์โดยไม่ส่งผู้เข้าชมจริงกลับไปยังเว็บไซต์ ซึ่งกระทบต่อเว็บไซต์ที่พึ่งพารายได้จากโฆษณาและการสมัครสมาชิก

อย่างไรก็ตาม ตัวเลข 60% หมายถึงสัดส่วนคำขอเว็บไซต์ที่คลาวด์แฟลร์ตรวจวัดได้บนเครือข่าย ไม่ใช่จำนวนผู้ใช้อินเทอร์เน็ตทั้งหมด การจำแนกบอตอาจรวมคำขออัตโนมัติหลายประเภท เช่น ครอลเลอร์ของเครื่องมือค้นหา สแกนเนอร์ความปลอดภัย และคำขอ API นอกเหนือจากครอลเลอร์ที่ใช้ฝึก AI

ดังนั้น การที่คำขอจากบอตมีมากกว่าคำขอจากมนุษย์ไม่ได้หมายความว่าจำนวนผู้เข้าชมจริงหรือผู้ใช้ไม่ซ้ำมีมากกว่ามนุษย์ ความถี่ในการส่งคำขอของโปรแกรมอัตโนมัติแต่ละประเภทก็เป็นปัจจัยที่ต้องนำมาพิจารณาด้วย

เมื่อวันที่ 15 กันยายน คลาวด์แฟลร์เปิดตัวการตั้งค่า ‘Disallow AI Training’ ซึ่งช่วยให้ผู้ดูแลเว็บไซต์อนุญาตการครอลล์เพื่อการค้นหา แต่จำกัดการเข้าถึงเพื่อฝึก AI ได้ ก่อนหน้านี้ ครอลเลอร์บางตัวทำหน้าที่ค้นหาและฝึก AI ไปพร้อมกัน ทำให้การบล็อกการฝึก AI อาจลดการแสดงผลบนเครื่องมือค้นหาด้วย

การตั้งค่าใหม่แยกวัตถุประสงค์ของครอลเลอร์เป็นทราฟฟิกเพื่อการค้นหา(Search) การฝึก(Training) และเอเจนต์(Agent) ผู้ดูแลเว็บไซต์จึงสามารถรักษาการจัดทำดัชนีเพื่อการค้นหาไว้ พร้อมจำกัดเฉพาะการเข้าถึงที่ใช้ฝึกโมเดล

คลาวด์แฟลร์ระบุว่า แอปเปิล กูเกิล และไมโครซอฟท์ตกลงที่จะเคารพการตั้งค่านี้หรือสนับสนุนภายในกรอบเวลาที่กำหนด บริษัทอธิบายว่า ครอลเลอร์ที่ทำทั้งการค้นหาและการฝึก เช่น Applebot, Googlebot และ Bingbot สามารถถูกจำกัดเฉพาะการเข้าถึงเพื่อฝึก AI ได้

คลาวด์แฟลร์ระบุเพิ่มเติมว่า ครอลเลอร์ที่ใช้ฝึก AI โดยเฉพาะของแอมะซอน แอนโทรปิก เมตา และ OpenAI แยกออกจากฟังก์ชันการค้นหาแล้ว ดังนั้นการบล็อกครอลเลอร์เหล่านี้จึงไม่กระทบต่อการแสดงผลบนเครื่องมือค้นหา ไมโครซอฟท์กำลังพัฒนาการสนับสนุนสัญญาณปฏิเสธการฝึก AI ผ่าน robots.txt โดยตั้งเป้าไว้ในช่วงต้นปี 2027

คลาวด์แฟลร์กล่าวว่า เว็บไซต์ที่บล็อกบอตค้นหามีสัดส่วนน้อยกว่า 1% ของเว็บไซต์ทั้งหมด ขณะที่เว็บไซต์ที่เปิดใช้งานฟังก์ชันบล็อกการฝึก AI บางส่วนมีสัดส่วน 17% บริษัทมองว่าผู้ดูแลเว็บไซต์จำนวนมากต้องการรักษาทราฟฟิกจากการค้นหาไว้ พร้อมใช้สิทธิ์ตัดสินใจแยกต่างหากเกี่ยวกับการฝึก AI

คลาวด์แฟลร์ระบุว่า ณ เดือนมิถุนายน 2025 อัตราส่วนการครอลล์ต่อการส่งผู้เข้าชมกลับมายังเว็บไซต์ของ OpenAI อยู่ที่ 1,700 ต่อ 1 ส่วนแอนโทรปิกอยู่ที่ 73,000 ต่อ 1 ตัวเลขดังกล่าวสะท้อนความแตกต่างระหว่างขนาดการรวบรวมเนื้อหาของครอลเลอร์ AI กับจำนวนผู้เข้าชมที่กลับไปยังเว็บไซต์ต้นทาง

โครงสร้างดังกล่าวอาจขัดแย้งกับผลประโยชน์ของเว็บไซต์ที่พึ่งพารายได้จากโฆษณาและการสมัครสมาชิก เครื่องมือค้นหาจะรวบรวมเนื้อหาแล้วส่งผู้ใช้กลับผ่านผลการค้นหา แต่ครอลเลอร์ที่ใช้ฝึก AI อาจนำเนื้อหาไปสะท้อนในโมเดลโดยไม่ส่งผู้อ่านกลับไปยังเว็บไซต์ต้นทาง

คลาวด์แฟลร์เปิดเผยแนวคิด ‘Pay Per Crawl’ เมื่อเดือนกรกฎาคม 2025 โดยให้ผู้ดูแลเว็บไซต์กำหนดราคาการเข้าถึงของครอลเลอร์ AI และให้บริษัท AI จ่ายค่าธรรมเนียมการเข้าถึงเนื้อหา

อย่างไรก็ตาม ยังไม่มีการกำหนดบริษัทที่เข้าร่วม ราคาสำหรับเนื้อหาแต่ละประเภท หรือวิธีแบ่งรายได้อย่างชัดเจน แม้บริษัท AI จะจ่ายค่าธรรมเนียม แต่ไม่ได้หมายความว่าผู้สร้างเนื้อหาทุกคนจะได้รับค่าตอบแทนโดยอัตโนมัติ เงื่อนไขสัญญาและโครงสร้างการแบ่งรายได้ยังต้องหารือแยกต่างหาก

การใช้ robots.txt เพียงอย่างเดียวก็อาจไม่เพียงพอที่จะควบคุมการเข้าถึงของครอลเลอร์ทั้งหมด คลาวด์แฟลร์อธิบายว่า robots.txt ไม่ใช่เครื่องมือสำหรับยืนยันตัวตนหรือวัตถุประสงค์ของครอลเลอร์ และไม่สามารถบังคับให้ครอลเลอร์ปฏิบัติตามคำสั่งได้

ก่อนหน้านี้ กรณี Twitch อนุญาตการฝึก AI เป็นค่าเริ่มต้นจนเผชิญแรงต่อต้านจากครีเอเตอร์ สะท้อนว่าการเปิดให้ผู้ให้บริการเนื้อหาเลือกอนุญาตการฝึก AI ด้วยตนเองกำลังกลายเป็นประเด็นสำคัญในอุตสาหกรรม การตั้งค่าใหม่ของคลาวด์แฟลร์เป็นแนวทางทางเทคนิคที่พยายามแยกการแสดงผลบนการค้นหาออกจากความยินยอมให้ใช้เนื้อหาฝึก AI

คลาวด์แฟลร์กำลังขยายระบบควบคุมที่แยกทราฟฟิกเพื่อการค้นหา การฝึก และเอเจนต์ออกจากกัน ขณะที่ไมโครซอฟท์ตั้งเป้าสนับสนุนสัญญาณปฏิเสธการฝึก AI ผ่าน robots.txt ในช่วงต้นปี 2027 ส่วนขนาดการใช้งานจริงของ ‘Pay Per Crawl’ และวิธีแบ่งค่าธรรมเนียมการใช้เนื้อหายังคงเป็นประเด็นที่ต้องติดตาม