CodeRabbit อ้างว่าในช่วง 6 เดือนที่ใช้ Codex บริษัทปล่อยซอฟต์แวร์ได้มากขึ้นเกือบ 20 เท่า โดยไม่ได้เพิ่มจำนวนวิศวกร
OpenAI (โอเพนเอไอ) นำเสนอตัวเลขนี้ในกรณีศึกษาลูกค้าที่เผยแพร่เมื่อวันที่ 9 โดยตัวเลข “20 เท่า” เป็นคำอธิบายของฮาร์จอต กิลล์ (Harjot Gill) ผู้ร่วมก่อตั้งและ CEO ของ CodeRabbit อย่างไรก็ตาม กรณีศึกษาไม่ได้ระบุหน่วยที่ใช้วัดปริมาณซอฟต์แวร์ที่ปล่อยออกมา ค่าฐานของช่วงเปรียบเทียบ หรือวิธีคำนวณ กรณีศึกษาลูกค้าของ OpenAI
กิลล์กล่าวว่า “คอขวดแรกที่ทุกบริษัทต้องเผชิญเมื่อเริ่มใช้เอเจนต์เขียนโค้ดคือการรีวิวโค้ด” หมายความว่าการตรวจสอบการเปลี่ยนแปลงหลังเขียนโค้ดอาจจำกัดความเร็วในการพัฒนา
CodeRabbit ให้บริการเครื่องมือสำหรับตรวจสอบโค้ดที่ AI สร้างขึ้นและค้นหาปัญหาด้านความปลอดภัย OpenAI ระบุว่าเครื่องมือนี้ถูกใช้ในองค์กรมากกว่า 20,000 แห่ง และโครงการโอเพนซอร์สมากกว่า 150,000 โครงการ
กิลล์ประเมินว่าในช่วง 30 วันก่อนการสัมภาษณ์ เขาส่ง pull request (PR) ด้วยตนเองประมาณ 2,500–3,000 รายการ PR คือคำขอให้ตรวจสอบและรวมการเปลี่ยนแปลงโค้ดเข้าด้วยกัน ตัวเลขที่เขาประเมินเป็นผลงานส่วนบุคคล จึงแยกจากปริมาณซอฟต์แวร์ที่ทีมปล่อยทั้งหมด และจำนวน PR ที่ผ่านการรวมโค้ดหรือการติดตั้งใช้งานแล้ว
เมื่อเปิดใช้เอเจนต์ Codex หลายตัวพร้อมกัน หน่วยความจำและกำลังประมวลผลของแล็ปท็อปกลายเป็นคอขวด ตามคำอธิบายของบริษัท เมื่อมีงานเขียนโค้ดเพิ่มขึ้น ความสามารถในการประมวลผลของสภาพแวดล้อมการพัฒนาก็กลายเป็นข้อจำกัดด้วย
การทดสอบ การ build และจัดแพ็กเกจ รวมถึงการจัดการ dependencies ก็เกิดคอขวดเช่นกัน การตรวจสอบโค้ดที่สร้างขึ้นและเตรียมซอฟต์แวร์สำหรับเผยแพร่ต้องทำให้ทันความเร็วในการทำงานของเอเจนต์
CodeRabbit ออกแบบขั้นตอนการ deploy และจุดที่ต้องให้มนุษย์อนุมัติใหม่ พร้อมเปิดให้ deploy การเปลี่ยนแปลงที่มีความเสี่ยงต่ำโดยอัตโนมัติ บริษัทจึงปรับทั้งขั้นตอนให้ AI เขียนโค้ด ตลอดจนการตรวจสอบและการ deploy
บริษัทยังนำ Codex มาใช้กับบอต Slack ที่จัดประเภทเหตุขัดข้อง ข้อความภายในบริษัท และคำขอรับการสนับสนุนจากลูกค้า ก่อนสร้าง PR สำหรับตรวจสอบ ผู้รับผิดชอบสามารถตรวจทานและรวม PR ที่บอตสร้างขึ้นได้
ก่อนหน้านี้ CodeRabbit เปิดตัว ฟีเจอร์ความปลอดภัย “Deep Scan” ซึ่งตรวจสอบเส้นทางโค้ดและขั้นตอนตรวจสอบสิทธิ์เพื่อค้นหาจุดที่อาจมีช่องโหว่ กรณีศึกษาครั้งนี้กล่าวถึงการนำเครื่องมือ AI มาใช้ในกระบวนการภายใน ทั้งการเขียนโค้ดและการ deploy เพิ่มเติมจากการตรวจสอบโค้ดและความปลอดภัย
กรณีศึกษาอีกฉบับที่ OpenAI เผยแพร่ในเดือนพฤษภาคม 2025 ระบุว่า หลังใช้เครื่องมือตรวจสอบโค้ดของ CodeRabbit รอบการจัดการ PR สั้นลง 25–50% และลูกค้ารายงานว่าบั๊กในผลิตภัณฑ์ที่ใช้งานอยู่ลดลง 50% กรณีศึกษาของ OpenAI ในปี 2025
ตัวเลขรอบการจัดการ PR และการลดลงของบั๊กจากรายงานลูกค้าในกรณีศึกษาก่อนหน้านั้นเป็นข้อมูลเกี่ยวกับประสบการณ์ใช้เครื่องมือตรวจสอบโค้ด จึงวัดคนละเรื่องกับคำกล่าวอ้างเรื่องปริมาณซอฟต์แวร์ที่ปล่อยในกรณีศึกษาครั้งนี้
ทีมวิจัยซึ่งรวมถึงเควิน ชุย (Kevin Chui) จากมหาวิทยาลัยพรินซ์ตัน วิเคราะห์ผลรวมจากการทดลองภาคสนาม 3 ครั้ง มีนักพัฒนา 4,867 คนจาก Microsoft, Accenture และบริษัทหนึ่งใน Fortune 100 เข้าร่วม ในบทความวารสาร Management Science ที่เผยแพร่เมื่อวันที่ 27 กุมภาพันธ์ 2026 ทีมวิจัยรายงานว่ากลุ่มที่ได้รับเครื่องมือ AI ช่วยเติมโค้ดทำงานเสร็จเพิ่มขึ้นเฉลี่ย 26.08% งานวิจัยการทดลองภาคสนาม
การทดลองของ METR ในปี 2025 ให้ผู้พัฒนาโอเพนซอร์สที่มีประสบการณ์ 16 คนทำงาน 246 รายการ ผลพบว่าเมื่อใช้เครื่องมือ AI เวลาที่ใช้ทำงานจนเสร็จเพิ่มขึ้น 19% งานวิจัยการทดลองของ METR
งานวิจัยทั้งสองชิ้นใช้เครื่องมือ ผู้เข้าร่วม งาน และตัวชี้วัดต่างกัน จึงไม่สามารถยืนยันหรือหักล้างตัวเลข “20 เท่า” ที่ CodeRabbit เปิดเผยได้ METR ระบุในการอัปเดตผลการทดลองเมื่อเดือนกุมภาพันธ์ปีนี้ว่า อคติในการเลือกผู้เข้าร่วมและงาน รวมถึงปัญหาการวัดเวลาเมื่อใช้เอเจนต์หลายตัวพร้อมกัน ทำให้ประเมินขนาดผลด้านผลิตภาพได้อย่างน่าเชื่อถือยาก การอัปเดตผลการทดลองของ METR
Comment 0