ChatGPT : Code interpreter กับการอ่านงานวิจัย

ก่อนหน้านี้ เราได้กล่าวถึงการใช้ ChatGPT Plus เป็นเครื่องมือช่วยการวิจัย [1]. เนื่องจาก ChatGPT อาจแต่งเนื้อหาเองจากความเข้าใจที่มีโดยไม่ได้อ้างอิงเนื้อหาหรือบทความที่มีจริง ทางแก้ไขหนึ่ง คือให้ ChatGPT Plus อ่านงานจากต้นฉบับที่เรา upoad ไปให้ ซึ่งจะใช้ plugin ที่ช่วยให้เรา upload และอ่านไฟล์ หรือจะใช้ Code interpreter เพื่อช่วยอ่านไฟล์ที่ upload ก็ได้. ความคาดหวังคือ ChatGPT จะเขียนสรุปเนื้อหาโดยอ้างอิงเนื้อหาจากบทความนั้นจริง ไม่ได้เขียนเอาเอง เมื่อ ChatGPT ใช้ข้อมูลในบทความนั้นมาสรุปจริง การทบทวนวรรณกรรมด้วยการให้ ChatGPT ช่วยอ่านบทความทุกชิ้นที่กำหนดให้ก็จะมีความน่าเชื่อถือมากขึ้น

ChatGPT Plus ช่วยอ่านงานได้จริง?

ในที่นี้ เราจะมาดูในรายละเอียดว่า เมื่อให้อ่านจากไฟล์แล้ว การตอบของ ChatGPT ได้อิงข้อมูลในบทความจริงหรือไม่ เมื่อทดลองใช้ Code interpreter อ่านบทความที่ upload แล้วให้ช่วยบอกเกี่ยวกับบทความนี้. ก็ดูเหมือนจะทำให้ได้. สิ่งที่เขียนมาก็ดูเป็นเรื่องเกี่ยวกับเนื้อหาในบทความนั้น

แต่เมื่อลองถามคำถามที่เจาะจงเกี่ยวกับเรื่องที่มีในบทความ ก็จะเริ่มเห็นว่าคำตอบบางส่วนก็เหมือนเขียนออกมาเองหรือไม่ ในตัวอย่างสองคำถามข้างล่าง คำถามแรกให้อธิบายการเปลี่ยนแปลงของสาขา applied linguistics แม้คำตอบจะไม่ได้ผิด แต่พอดูคำตอบจะเห็นว่ามีการพูดถึง grammar-translation method กับ audiolingual method ซึ่ง audiolingual method มีพูดถึงในบทความจริง แต่ grammar-translation ไม่มีกล่าวถึง

อีกคำถามที่ให้พูดถึงแนวคิดที่มีอิทธิพลต่อการกำหนดสาขานี้ แม้คำตอบส่วนแรก ๆ จะเป็นเรื่องที่บทความก็พูดถึงคือไวยากรณ์โครงสร้าง ความคิดพฤติกรรมนิยม ไวยากรณ์เพิ่มพูน แต่ตอนท้ายที่พูดถึง Technological Advancement ทำให้เห็นเลยว่า ChatGPT น่าจะเขียนจากความรู้ที่มาจากแหล่งอื่นมากกว่าเพราะในบทความไม่มีพูดถึงเรื่องนี้เลย

เมื่อลองถามเรื่องเจาะจงที่มีพูดถึงในบทความคือ “three overarching issues” ที่สำคัญในสาขา คำตอบที่ได้ก็ไม่ได้อิงจากบทความเป็นหลัก จึงต้องบอกว่า ที่ตอบมานี้ไม่ใช่สิ่งที่เขียนไว้ในบทความ. ChatGPT จึงจะทำให้ใหม่ คราวนี้ใช้ Code interpreter เพื่อเข้าไปอ่านบทความจริงก่อนจะตอบคำถาม และจากคำตอบที่ได้ ก็จะเห็นว่า ได้เข้าไปอ่านจริงมีการอ้างถึง section ต่าง ๆ ในบทความได้ถูกต้อง

ซึ่งเมื่ออ่านและสรุปแต่ละส่วน ก็เหมือน ChatGPT ยังหาคำตอบไม่ได้ว่าสามประเด็นหลักนั้นคืออะไร จึงต้องบอกเจาะจงไปให้ลองดูที่ section “The Emergence of a Discipline” คราวนี้ ChatGPT ก็สามารถอ่านและสรุปคำตอบที่เราต้องการมาได้

ดูเหมือนการถามที่ชัดเจนอย่างการระบุ section ที่ต้องการหาคำตอบ จะทำให้ ChatGPT เรียกใช้ Code interpreter เพื่อเข้าไปอ่านข้อมูลส่วนนั้น คำถามข้างล่างเป็นอีกตัวอย่างที่เจาะจงให้หาคำตอบจาก section ที่กำหนด

แต่ถึงแม้ว่า ในคำถามเราจะอ้างถึง section ที่มีอยู่ อ้างถึงข้อความที่ปรากฏและให้ช่วยอธิบายความ หาก ChatGPT คิดว่าตัวเองเข้าใจและอธิบายความได้ ก็จะตอบโดยไม่ได้อิงกับบทความนั้นก็ได้ ดังตัวอย่างข้างล่างนี้ที่เราอยากให้อธิบายข้อความที่ถูกอ้างถึงในบทความและอยู่ใน section ที่บอก คำตอบที่ได้ก็ยังเป็นการอธิบาย quotation นี้แบบกว้าง ๆ จากความเข้าใจของ ChatGPT เอง

จนเมื่อบอกว่าไม่ใช่คำตอบที่อยากได้ ที่อยากรู้คือทำไมผู้เขียนถึงได้ยกคำพูดของ Widdowson มาใช้ในที่นี้ คราวนี้ ChatGPT จึงเรียก Code interpreter เข้าไปอ่านในส่วนนี้ แต่ก็บอกว่าข้อมูลในบทความอย่างเดียวไม่พอที่จะตอบ แต่จากความเข้าใจงานของ Widdowson ที่ ChatGPT มีอยู่ก่อนแล้ว จึงได้พยายามเอาความเข้าใจนั้นมาประกอบคำอธิบายว่าทำไมคำพูด Widdowson จึงถูกนำมาใช้ในที่นี้ ซึ่งก็เป็นคำตอบที่อยากจะได้

บทสรุป

จากการทดลองใช้ Code interpreter กับบทความนี้ ถ้าถามว่า ChatGPT จะช่วยอ่านเนื้อหาในบทความได้ไหม คำตอบคือช่วยอ่านได้. แต่ถ้าถามต่อว่าทุกคำตอบที่เขียนตอบนั้นมาจากข้อมูลที่อ่านในบทความหรือไม่ คำตอบคือไม่เสมอไป หลายครั้งที่ ChatGPT คิดว่าตัวเองเข้าใจคำถามและรู้ว่าจะตอบอะไร ก็จะตอบคำถามนั้นโดยไม่ต้องอิงกับเนื้อหาในบทความ เปรียบเสมือนว่า ChatGPT เป็นคนที่อ่านหนังสือมามากแล้ว เมื่อมีคำถามที่อ่านแล้วคิดว่าสิ่งที่รู้อยู่สามารถตอบคำถามนั้นได้ ก็จะตอบเลย. แต่ถ้าเรายืนยันว่าให้ตอบโดยดูจากเนื้อหาในบทความ ChatGPT ก็สามารถทำแบบที่ต้องการให้ได้. วิธีสังเกตอย่างหนึ่ง คือ ถ้ามีการเรียกใช้ Code interpreter เราจะเห็นการสร้างโปรแกรมเพื่อไปสกัดเนื้อหามาอ่านก่อนจะตอบคำถาม หากไม่เห็นส่วนนี้ปรากฏ ก็ให้สงสัยไว้ก่อนว่า คำตอบนั้นอาจมาจากความเข้าใจที่ไม่ได้มาจากบทความนี้โดยตรงก็ได้

การใช้งาน ChatGPT Plus เพื่อการทบทวนวรรณกรรม แม้ว่าโดยหลักการ ChatGPT จะช่วยทำได้ แต่การใช้งานนั้นจึงต้องใช้ด้วยความรอบคอบ ผู้ใช้ควรอ่านบทความนั้นเองเพื่อให้เข้าใจจริงว่าเนื้อหาคืออะไร ChatGPT Plus ควรเป็นเครื่องมือเพื่อช่วยอ่านและยืนยันความเข้าใจของเรา เป็นเพื่อนคุยและแลกเปลี่ยนความเห็นในเนื้อหาที่เขียนในบทความนั้นมากกว่าจะปล่อยหรือสั่งให้ ChatGPT ไปอ่านและสรุปงานเขียนทบทวนวรรณกรรมมาให้ใช้เลยโดยไม่ตรวจสอบ เพราะ ChatGPT อาจตอบจากความเข้าใจเดิมโดยไม่ได้อิงกับบทความแบบที่เราต้องการได้

สิ่งที่น่ากังวลคือการที่คนเห็นว่าเครื่องมือ generative AI อย่าง ChatGPT Plus มีความสามารถช่วยงานวิจัยได้ และใช้ให้ทำงานแต่ละส่วนให้โดยอาจจะไม่ต้องตรวจสอบความถูกต้อง ก็ยังได้ผลออกมาใช้ได้ เพราะผลที่ได้จาก ChatGPT เป็นการเขียนจากความเข้าใจของตัวมันเองที่ได้มาจากการอ่านงานต่าง ๆ จำนวนมากมาก่อน ข้อสรุปหรือความเห็นที่เสนอแม้ไม่ได้อ้างอิงมาจากบทความที่เรากำหนดไปให้ ก็ยังเป็นข้อสรุปที่ไม่ได้ผิดชัดแจ้ง ส่วนใหญ่ถูกและมีคนเคยพูดหรือมองแบบนั้นหรืออาจมาจากผู้แต่งคนนั้นเองได้ เพียงแต่ไม่ใช่มาจากบทความที่ให้. กรณีเช่นนี้ ภาระจะตกหนักที่ผู้อ่านประเมิน ที่จะต้องรู้ว่าสิ่งที่เขียนมานั้นเกินจากเนื้อหาในบทความที่อ้างอิงมาหรือไม่.

ในอดีต การเขียนเนื้อหาวิชาการจะมาจากความเข้าใจของผู้เขียนซึ่งได้มาจากการอ่านทบทวนงานต่าง ๆ สิ่งที่ต้องระวังคือการนำงานคนอื่นมาใช้โดยไม่ได้อ้างอิงหรือที่เรียกว่า การลักลอกงานวิชาการ ซึ่งตรวจจับได้ง่ายเพราะข้อความจะเหมือนหรือคล้ายต้นฉบับ. แต่เครื่องมืออย่าง generative AI ทำให้แต่ละคนสั่งให้ AI ช่วยเขียนเนื้อหาออกมาโดยไม่ได้ลักลอกงานใคร แต่เขียนจากความเข้าใจของ AI แม้จะให้บทความที่ต้องการใช้อ้างอิงไปประกอบการเขียน AI ก็อาจเขียนโดยไม่ได้อิงเนื้อหาจริงในบทความที่ให้ได้. ผู้ประเมินที่จะรู้ได้จึงต้องมีความคุ้นเคยกับงานที่ถูกอ้างอิงและเห็นว่าเนื้อหาไม่ได้เป็นตามนั้นด้วยตัวเอง. ซึ่งโอกาสที่ผู้ประเมินจะคุ้นเคยหรือเคยอ่านงานทุกชิ้นที่อ้างถึงในบทความนั้นเป็นเรื่องยาก และมีผู้ประเมินน้อยคนที่มีประสบการณ์มากพอ. ในอนาคต เราจึงอาจพบบทความวิจัยที่มีการอ้างอิงบทความถูกต้อง แต่เนื้อหาที่นำมาอ้างใช้นั้นไม่อยู่ในบทความที่อ้างถึง. และเครื่องมือที่ใช้ตรวจจับงานที่เขียนด้วย AI ก็ใช่ว่าจะใช้ได้เสมอ เพราะมีหลากหลายวิธีที่สามารถใช้เลี่ยงการตรวจจับได้ [2]

อ้างอิง

[1] ChatGPT : เครื่องมือเพื่อการวิจัย — Medium.

[2] Aroonmanakun, W. (2023). AI and the Future of Higher Education. NHHE, 1(1), 19–37. Retrieved from https://so09.tci-thaijo.org/index.php/NHHE/article/view/1812