ทดลองพบคำสั่ง “อย่าเดา” ลดคำกล่าวอ้างที่ AI แต่งจาก 71% เหลือ 20%

การทดลองที่ถูกพูดถึงใน Hacker News รายงานว่า การเพิ่มคำสั่งสั้น ๆ ว่า “อย่าเดา” ช่วยลดคำกล่าวอ้างที่ AI แต่งขึ้นจาก 71% เหลือ 20% ตัวเลขนี้ชวนให้สนใจ เพราะเป็นการปรับคำสั่งที่ดูเรียบง่าย แต่ผลที่รายงานแสดงความแตกต่างชัดเจนระหว่างการใช้คำสั่งกับการไม่ใช้ อย่างไรก็ดี ข้อมูลที่มีระบุเพียงผลลัพธ์ดังกล่าว ไม่ได้บอกว่าทดลองกับระบบ AI ใด ใช้คำถามแบบไหน หรือพิจารณาว่าคำตอบเป็นข้อมูลแต่งขึ้นด้วยเกณฑ์ใด

ประเด็นสำคัญจึงไม่ได้มีแค่คำสั่ง “อย่าเดา” อาจช่วยลดคำตอบที่ไม่มีหลักฐานรองรับ แต่ยังอยู่ที่ว่าเราควรอ่านตัวเลข 71% และ 20% อย่างระมัดระวังเพียงใด เมื่อไม่มีรายละเอียดวิธีทดลองและเงื่อนไขการวัดผล ก็ยังบอกไม่ได้ว่าผลนี้จะเกิดซ้ำกับงานหรือระบบอื่นหรือไม่ บทความนี้ชวนดูสิ่งที่ตัวเลขดังกล่าวบอก และข้อจำกัดของข้อมูลที่มี โดยไม่สรุปว่าการเติมคำสั่งเพียงประโยคเดียวจะแก้ปัญหาการแต่งข้อมูลของ AI ได้ทุกกรณี

คำสั่งสั้น ๆ ที่ถูกนำมาทดลอง

ข่าวที่เผยแพร่ผ่าน Hacker News รายงานว่า การเพิ่มคำสั่ง “อย่าเดา” ในการใช้งาน AI เกี่ยวข้องกับการลดคำกล่าวอ้างที่ AI แต่งขึ้น จาก 71% เหลือ 20% คำสั่งนี้มีต้นฉบับภาษาอังกฤษว่า “Do not guess” เนื้อหาข่าวนำเสนอผลดังกล่าวเป็นข้อค้นพบจากการทดลอง

ประเด็นที่รายงานมุ่งไปที่คำกล่าวอ้างซึ่ง AI แต่งขึ้น ไม่ใช่รายละเอียดของคำตอบหรือวิธีการทำงานของระบบ รายงานระบุว่าตัวเลขลดลงหลังเพิ่มคำสั่ง “อย่าเดา” แต่ไม่ได้ให้ข้อมูลเพิ่มเติมเกี่ยวกับเงื่อนไขการทดลองในรายละเอียดที่มีอยู่

สำหรับผู้ใช้งาน คำสั่งนี้สื่อให้ AI หลีกเลี่ยงการคาดเดาเมื่อให้คำตอบ ข่าวไม่ได้ระบุว่าคำสั่งดังกล่าวทำให้คำตอบถูกต้องทั้งหมด หรือให้ผลเหมือนกันในทุกกรณี ข้อสรุปที่รายงานจึงจำกัดอยู่ที่สัดส่วนคำกล่าวอ้างที่แต่งขึ้น ซึ่งลดจาก 71% เหลือ 20%

ตัวเลขก่อนและหลังเพิ่มคำสั่ง

หัวข้อข่าวรายงานว่า ก่อนเพิ่มคำสั่ง “อย่าเดา” สัดส่วนคำกล่าวอ้างที่ AI แต่งขึ้นอยู่ที่ 71% ตัวเลขนี้เป็นค่าก่อนมีการเพิ่มคำสั่งดังกล่าว จึงใช้เป็นจุดตั้งต้นสำหรับเปรียบเทียบกับค่าที่รายงานภายหลัง เนื้อหาต้นทางระบุการเปลี่ยนแปลงจาก 71% ไปเป็น 20% โดยไม่ได้ให้รายละเอียดเพิ่มเติมเกี่ยวกับตัวเลขก่อนหน้า

หลังเพิ่มคำสั่ง “อย่าเดา” ตัวเลขที่รายงานลดลงเหลือ 20% เมื่อเทียบกับ 71% ก่อนเพิ่มคำสั่ง ความแตกต่างระหว่างตัวเลขทั้งสองเป็นประเด็นหลักที่หัวข้อข่าวนำเสนอ กล่าวคือ ค่าหลังเพิ่มคำสั่งต่ำกว่าค่าก่อนหน้า แต่ข้อมูลต้นทางไม่ได้อธิบายรายละเอียดอื่นประกอบการเปรียบเทียบ

ตัวเลข 71% และ 20% ในส่วนนี้อ้างตามหัวข้อข่าวโดยตรง จึงควรอ่านในฐานะตัวเลขที่มีการรายงานไว้ ไม่ใช่ผลที่สามารถอธิบายที่มาได้จากข้อมูลต้นทางเพียงอย่างเดียว รายละเอียดที่ได้รับไม่ได้บอกว่าตัวเลขเหล่านี้คำนวณอย่างไร และไม่ได้ระบุเกณฑ์ที่ใช้พิจารณาคำกล่าวอ้างที่แต่งขึ้น

ข้อมูลต้นทางยังไม่ได้ให้รายละเอียดเกี่ยวกับชุดทดสอบหรือเงื่อนไขการเปรียบเทียบ จึงไม่ควรเติมคำอธิบายเกี่ยวกับวิธีได้มาของผลลัพธ์เกินกว่าที่มีการระบุไว้ สาระที่ยืนยันได้จากหัวข้อข่าวมีเพียงว่า ตัวเลขก่อนเพิ่มคำสั่งอยู่ที่ 71% และตัวเลขหลังเพิ่มคำสั่งอยู่ที่ 20% การเปรียบเทียบจึงจำกัดอยู่ที่ตัวเลขสองค่านี้

สิ่งที่ผลทดลองบอกได้

พาดหัวข่าวของแหล่งข่าว Hacker News เชื่อมการเพิ่มคำสั่ง “อย่าเดา” เข้ากับการลดลงของคำกล่าวอ้างที่ AI แต่งขึ้น จากร้อยละ 71 เหลือร้อยละ 20 จึงสื่อว่าการเปลี่ยนคำสั่งอาจสัมพันธ์กับผลลัพธ์ที่รายงาน ตัวเลขดังกล่าวเป็นข้อมูลที่ปรากฏในพาดหัว แต่รายละเอียดต้นทางที่ให้มายังไม่มีคำอธิบายเพิ่มเติมว่าคำนวณหรือประเมินผลอย่างไร การอ่านผลจึงควรยึดขอบเขตของข้อความที่มีอยู่ ไม่ขยายความเป็นข้อสรุปที่เกินกว่านั้น

ข้อมูลต้นทางไม่ได้ระบุรุ่นหรือระบบ AI ที่ใช้ทดลอง จึงยังบอกไม่ได้ว่าผลนี้มาจากระบบใดโดยเฉพาะ หรือจะพบผลในลักษณะเดียวกันเมื่อใช้ AI รุ่นอื่นหรือไม่ นอกจากนี้ยังไม่มีรายละเอียดเกี่ยวกับเงื่อนไขของการทดลอง เช่น วิธีตั้งคำถามหรือเกณฑ์ที่ใช้ตัดสินว่าคำกล่าวอ้างใดเป็นข้อมูลที่แต่งขึ้น เมื่อไม่มีข้อมูลเหล่านี้ ก็ยังประเมินไม่ได้ว่าตัวเลขสะท้อนการทดสอบแบบใด

ขอบเขตของการทดลองก็ไม่ได้ปรากฏในข้อมูลที่ได้รับ จึงไม่มีฐานเพียงพอที่จะสรุปว่าคำสั่ง “อย่าเดา” ให้ผลเช่นเดียวกันกับทุกงาน ทุกหัวข้อ หรือทุกสถานการณ์ การเชื่อมโยงในพาดหัวบอกถึงการเปลี่ยนแปลงที่รายงานหลังเพิ่มคำสั่ง แต่เพียงเท่านี้ยังไม่พอจะยืนยันผลทั่วไปสำหรับการใช้งาน AI ทั้งหมด ผู้อ่านจึงควรมองตัวเลขเป็นผลที่มีขอบเขตตามการทดลองซึ่งยังไม่มีรายละเอียดเปิดเผยในข้อมูลชุดนี้

สำหรับผู้ใช้ในองค์กร ประเด็นที่พอรับทราบได้คือมีรายงานว่าการเพิ่มคำสั่งดังกล่าวมาพร้อมกับสัดส่วนคำกล่าวอ้างที่แต่งขึ้นซึ่งลดลง แต่ไม่ควรนำตัวเลขไปใช้คาดการณ์ผลลัพธ์ของระบบอื่นโดยตรง ก่อนสรุปว่าคำสั่งนี้เหมาะกับงานใดหรือให้ผลสม่ำเสมอเพียงใด จำเป็นต้องมีข้อมูลเกี่ยวกับระบบ เงื่อนไข และขอบเขตการทดสอบเพิ่มเติม ตามข้อมูลต้นทางที่มีอยู่ในขณะนี้ ข้อสรุปที่ระมัดระวังคือพาดหัวรายงานการลดลง แต่ยังตอบไม่ได้ว่าผลนั้นครอบคลุม AI ทุกระบบหรือทุกสถานการณ์หรือไม่

ข้อจำกัดของข้อมูลที่มี

ข้อมูลต้นทางที่มีให้ระบุเพียงพาดหัวข่าวว่า การเพิ่มคำสั่ง “อย่าเดา” ทำให้คำกล่าวอ้างที่แต่งขึ้นลดจาก 71% เหลือ 20% และระบุแหล่งข่าวเป็น Hacker News เนื้อหาที่ได้รับไม่มีรายละเอียดประกอบมากกว่าพาดหัวดังกล่าว จึงควรอ่านตัวเลขนี้ในฐานะข้อค้นพบที่ข่าวรายงาน ไม่ใช่ข้อสรุปที่ยืนยันได้จากรายละเอียดการทดลองในข้อมูลชุดนี้

ข้อมูลไม่ได้อธิบายว่าการทดลองดำเนินการอย่างไร หรือใช้เกณฑ์ใดในการตัดสินว่าคำกล่าวอ้างเป็นสิ่งที่ AI แต่งขึ้น นอกจากนี้ยังไม่มีข้อมูลเกี่ยวกับระบบ AI ที่ทดสอบ ชุดคำถาม หรือจำนวนครั้งที่ใช้ในการทดลอง รายละเอียดเหล่านี้จึงไม่เพียงพอให้ประเมินได้ว่าตัวเลขสะท้อนผลจากเงื่อนไขแบบใด

ด้วยเหตุนี้ ควรอ้างผลตามที่พาดหัวข่าวระบุอย่างระมัดระวัง โดยไม่ขยายความว่าเป็นผลที่ใช้ได้กับ AI ทุกประเภท หรือเกิดขึ้นได้เมื่อใช้คำสั่งดังกล่าวในทุกสถานการณ์ ตัวเลข 71% และ 20% เป็นข้อมูลที่ปรากฏในข่าว แต่ข้อมูลต้นทางที่มีไม่ได้ระบุวิธีวัดผลหรือรายละเอียดที่รองรับการนำไปเปรียบเทียบในบริบทอื่น

บทสรุป

รายงานระบุว่า การสั่งให้ AI “อย่าเดา” ทำให้คำกล่าวอ้างที่แต่งขึ้นลดลงจาก 71% เหลือ 20% ตัวเลขนี้ชี้ให้เห็นว่าถ้อยคำที่ใช้กำกับคำตอบอาจสัมพันธ์กับโอกาสที่ AI จะสร้างข้อมูลขึ้นมาเอง และเป็นประเด็นที่ผู้ใช้ควรคำนึงถึงเมื่อต้องการคำตอบที่ระมัดระวังมากขึ้น แต่ผลดังกล่าวยังเป็นข้อมูลจากการทดลองที่มีรายละเอียดจำกัดในข้อมูลที่นำเสนอ

เมื่อไม่มีข้อมูลเกี่ยวกับวิธีทดลอง จึงยังบอกไม่ได้ว่าผลนี้จะเกิดซ้ำกับคำถาม เครื่องมือ หรือสถานการณ์แบบอื่นหรือไม่ และไม่ควรตีความว่าคำสั่ง “อย่าเดา” จะป้องกันข้อมูลแต่งขึ้นได้เสมอ จุดยืนที่เหมาะสมคือมองตัวเลขนี้เป็นสัญญาณว่าการกำหนดคำสั่งอาจช่วยลดปัญหาได้ในบางบริบท ไม่ใช่หลักประกันความถูกต้อง ผู้ใช้ยังควรตรวจสอบคำตอบ โดยเฉพาะเมื่อจะนำไปใช้อ้างอิงหรือประกอบการตัดสินใจ