AI และข้อมูลChatbot ที่ตอบจากเอกสารบริษัท (RAG) ทำงานยังไง และพลาดตรงไหนบ้าง
Chatbot ที่ตอบจากเอกสารของบริษัทใช้เทคนิคที่เรียกว่า RAG บทความนี้อธิบายว่ามันทำงานยังไง พลาดตรงไหนบ้าง โดยเฉพาะกับเอกสารภาษาไทย และวัดยังไงว่าตอบถูกจริง

องค์กรจำนวนมากเริ่มโครงการ AI ด้วยคำถามว่า "ควรใช้เครื่องมือตัวไหน" แล้วจบลงที่ระบบซึ่งทำงานได้ตามสาธิตแต่ไม่มีใครใช้จริง ปัญหาไม่ได้อยู่ที่เครื่องมือ แต่อยู่ที่ลำดับการตั้งคำถาม บทความนี้เสนอลำดับที่ใช้ได้จริงกว่า คือเริ่มจากงานที่เจ็บ แล้วค่อยเดินย้อนกลับไปหาว่า AI เข้ามาช่วยตรงไหนได้
การเริ่มจากเครื่องมือทำให้เกิดโครงการที่ตอบคำถามผิด เช่น ติดตั้งแชตบอตตอบลูกค้าทั้งที่ปัญหาจริงคือข้อมูลสินค้าไม่เคยถูกอัปเดตให้ตรงกัน ผลคือได้แชตบอตที่ตอบผิดเร็วขึ้นกว่าเดิม
อีกแบบที่เจอบ่อยคือเลือกงานที่ดูน่าตื่นเต้นแต่เกิดขึ้นเดือนละครั้ง ต่อให้ทำได้ดีก็ประหยัดเวลาได้น้อยจนไม่มีใครจำได้ว่ามีระบบนี้อยู่
งานแรกที่ดีมีลักษณะร่วมกันสี่อย่าง ไม่ต้องครบทุกข้อ แต่ยิ่งครบยิ่งมีโอกาสสำเร็จ
ข้อความที่เข้ามาทางไลน์ อีเมล หรือฟอร์ม ถูกอ่านและจัดกลุ่มให้อัตโนมัติว่าเป็นเรื่องอะไร ควรส่งต่อให้ใคร และเร่งด่วนแค่ไหน รูปแบบนี้ได้ผลเร็วเพราะไม่ต้องเปลี่ยนวิธีทำงานของใคร แค่ลดเวลาที่ใช้ไปกับการคัดของเข้ากล่อง
แทนที่จะต้องเปิดสามระบบเพื่อตอบคำถามเดียว ข้อมูลถูกรวมไว้ที่เดียวและถามด้วยภาษาปกติได้ จุดที่ต้องระวังคือคำตอบต้องอ้างอิงกลับไปยังแหล่งข้อมูลจริงได้เสมอ ไม่งั้นจะกลายเป็นระบบที่ตอบมั่นใจแต่ตรวจสอบไม่ได้
เช่น ร่างรายงานสรุป ร่างอีเมลตอบลูกค้า หรือสรุปประเด็นจากเอกสารยาว โดยยังมีคนตรวจก่อนส่งออกเสมอ รูปแบบนี้ความเสี่ยงต่ำเพราะมีมนุษย์คั่นอยู่ก่อนถึงปลายทาง
คำตอบที่ทำให้หลายองค์กรไม่ได้เริ่มสักทีคือ "ต้องจัดข้อมูลให้เรียบร้อยก่อน" ซึ่งจริงบางส่วนแต่ไม่ทั้งหมด งานคัดแยกข้อความเริ่มได้แม้ข้อมูลเดิมยังไม่เป็นระเบียบ ส่วนงานที่ต้องตอบคำถามจากข้อมูลภายในต้องการความถูกต้องสูงกว่ามาก
แนวทางที่ใช้ได้คืออย่ารอจัดข้อมูลทั้งองค์กรให้เสร็จก่อน แต่จัดเฉพาะชุดที่งานแรกต้องใช้ให้ถูกต้องจริง แล้วขยายจากตรงนั้น การจัดข้อมูลที่ไม่มีงานรออยู่ปลายทางมักถูกพักไว้กลางทางเสมอ
สี่ข้อนี้ตอบยากตอนเริ่ม แต่ตอบยากกว่ามากถ้าปล่อยไว้จนระบบขึ้นใช้งานแล้ว
ก่อนเริ่ม ให้จับเวลาจริงของงานนั้นไว้หนึ่งสัปดาห์ ว่าใช้เวลาคนไปเท่าไหร่ต่อวัน และผิดพลาดกี่ครั้ง ตัวเลขก่อนเริ่มคือสิ่งเดียวที่ทำให้เถียงกันจบตอนประเมินผล
ถ้าผ่านไปหนึ่งเดือนแล้วคนหน้างานยังเลี่ยงไปใช้วิธีเดิม แปลว่าระบบยังไม่พร้อม ไม่ว่าตัวเลขอื่นจะสวยแค่ไหน
เล่าโจทย์มาคร่าว ๆ ได้เลย เราตีกรอบงบและระยะเวลาให้ฟรีตั้งแต่คุยครั้งแรก