ก่อนที่ AI จะช่วยทำงานกับเอกสารสแกนได้ ระบบต้องอ่านข้อความให้ถูกต้อง สำหรับทีมที่ดูแลกฎหมายภาษาไทย ขั้นตอนปฏิบัติงานด้านความปลอดภัย และบันทึกที่เขียนด้วยลายมือ ขั้นตอนแรกนี้มีความสำคัญ เพราะคำที่ตกหล่นหรือตัวเลขที่อ่านผิดอาจเปลี่ยนความหมายของเอกสารได้
Schols จึงเผยแพร่ schols-ocr-bench เพื่อให้การเลือกใช้ระบบเหล่านี้มีข้อมูลประกอบที่ชัดเจนยิ่งขึ้น โครงการวิจัยที่เปิดให้สาธารณชนเข้าถึงนี้เปรียบเทียบความสามารถในการอ่านและทำความเข้าใจเอกสารภาษาไทยของระบบต่าง ๆ เพื่อให้ทีมงานตรวจสอบหลักฐานได้ด้วยตนเอง แทนการพิจารณาจากการสาธิตผลิตภัณฑ์เพียงอย่างเดียว
โครงการนี้ต่อยอดจาก ThaiOCRBench งานวิจัยของ Nonesung และคณะ ซึ่งมุ่งศึกษาการอ่านข้อความและทำความเข้าใจเอกสารภาษาไทย รวมถึงความท้าทายด้านลายมือ โครงสร้างเอกสาร และการสร้างเนื้อหาที่ไม่มีอยู่ในต้นฉบับ
Schols พัฒนา ThaiOCRBench Small โดยคัดเลือกตัวอย่าง 240 รายการ ครอบคลุมงานแปดประเภท ประเภทละ 30 ตัวอย่าง การทดสอบแต่ละครั้งใช้ตัวอย่างชุดเดิมเพื่อให้เปรียบเทียบซ้ำได้สะดวก เราทดสอบระบบเก้าระบบจาก Google, OpenAI, Anthropic, iApp และ Typhoon ครอบคลุมข้อความตัวพิมพ์ เอกสารเต็มหน้า ลายมือ และการตอบคำถามจากข้อมูลในภาพ ดูรายละเอียดโครงการและวิธีการทดสอบ
ผลการทดสอบเมื่อวันที่ 25 กุมภาพันธ์ 2569 พบว่า Gemini 3 Pro ได้คะแนนเฉลี่ยสูงสุดที่ 0.815 ตามด้วย Gemini 3 Flash ที่ 0.813 โดย Flash ได้คะแนนสูงสุดในการอ่านข้อความเต็มหน้าและลายมือที่ 0.978 และ 0.856 ตามลำดับ ตัวเลขเหล่านี้เป็นคะแนนตามเกณฑ์การทดสอบ ไม่ใช่ร้อยละของเอกสารที่อ่านได้ถูกต้องทั้งหมด ดูผลการทดสอบ
ชุดทดสอบขนาดเล็กช่วยให้การประเมินซ้ำเข้าถึงได้ง่ายขึ้น เราเผยแพร่ทั้งโค้ดและผลลัพธ์ที่บันทึกไว้ โดยเครื่องมือสามารถทำงานต่อจากรายการที่ประเมินเสร็จแล้วได้ โค้ดเผยแพร่ภายใต้ สัญญาอนุญาต MIT เพื่อให้ทีมอื่นตรวจสอบและนำไปปรับใช้ได้
ผลลัพธ์นี้สะท้อนการทดสอบ ณ วันที่ระบุ และครอบคลุมงานแปดประเภทจากทั้งหมดสิบสามประเภทในงานวิจัยต้นฉบับ การตีความผลควรคำนึงถึงความแตกต่างในการให้คะแนน ข้อจำกัดด้านขนาดภาพที่ส่งผลต่อ Claude และข้อผิดพลาดในการเชื่อมต่อที่ส่งผลต่อ Typhoon ด้วย อ่านข้อจำกัดของการเปรียบเทียบ
สำหรับ Schols โครงการนี้สะท้อนสิ่งที่เราให้ความสำคัญในการทำงานจริง คือการมีหลักฐานที่ดีขึ้นสำหรับเลือกเครื่องมืออ่านเอกสารภาษาไทย เราขอเชิญนักวิจัยและทีมพัฒนาซอฟต์แวร์ภาษาไทยศึกษาโครงการ ทดสอบซ้ำ และนำผลงานไปต่อยอดร่วมกัน