ปัญหาสามประการของ ChatGPT

ปัญหาส่วนใหญ่ที่คนมักพูดถึงเมื่อใช้ ChatGPT คือปัญหาเรื่องอาการหลอนหรือ hallucination ของ ChatGPT ที่อาจจะตอบคำถามโดยไม่ได้อิงกับข้อเท็จจริง. แต่หากเราใช้งาน ChatGPT อยู่เสมอ เราจะสังเกตเห็นปัญหาอีกสองประการ คือปัญหาความไม่อยู่กับร่องกับรอย (inconsistency) และปัญหาความไม่ครบถ้วนของคำตอบ (recall)

อาการหลอน

อาการหลอนหรือ hullucination เป็นปัญหาที่เห็นชัดเจนจากการคำตอบของ ChatGPT ที่มาจากการให้ข้อมูลที่ไม่ได้มีอยู่จริง. ตัวอย่างข้างล่างแสดงบางส่วนของบทความและรายการอ้างอิงที่ ChatGPT เขียนขึ้น. เมื่อตรวจสอบข้อมูลการอ้างอิงที่ ChatGPT ให้มาก็จะพบว่ามีข้อมูลที่ผิดพลาดหลายรายการ.

รายการอ้างอิงแรกที่ถูกต้องควรเป็น Attali, Y., & Burstein, J. (2006). Automated Essay Scoring With e-rater V.2. The Journal of Technology, Learning and Assessment, 4(3). ในรายการนี้ ChatGPT ให้ชื่อผู้แต่งและปีผิด ส่วนชื่อบทความและวารสารแม้จะถูกต้องแต่ฉบับที่ตีพิมพ์ยังผิด. รายการที่สองเขียนเหมือนซ้ำบทความแรกแต่มีการเพิ่มข้อความขยายชื่อบทความ. บทความชื่อนี้จึงไม่มีอยู่จริง. รายการที่สามให้ข้อมูลไม่ครบและให้ชื่อผู้เขียนผิด. บทความที่มีจริงคือ Koedinger, K. R., & Corbett, A. (2006). Cognitive Tutors: Technology Bringing Learning Sciences to the Classroom. In R. K. Sawyer (Ed.), The Cambridge handbook of: The learning sciences (pp. 61–77). Cambridge University Press. รายการที่สี่บทความที่ใกล้เคียงสุด คือบทความชื่อ The Cognitive Tutor Authoring Tools (CTAT): Preliminary Evaluation…