ข้ามไปยังเนื้อหาหลัก

การประเมินผล iApp ASR Pro บน Mozilla Common Voice 17.0

· อ่าน 3 นาที
Kobkrit Viriyayudhakorn
Kobkrit Viriyayudhakorn
CEO @ iApp Technology

iApp ASR preview

รายงานนี้นำเสนอผลการประเมินระบบการถอดเสียงอัตโนมัติ (iApp ASR Pro) บนชุดข้อมูล Mozilla Common Voice 17.0 โดยวัดสัดส่วนของคำและตัวอักษรที่ถอดได้ถูกต้อง

ชุดข้อมูลและตัวชี้วัดการประเมิน​

การประเมินนี้ดำเนินการบนชุดข้อมูล Mozilla Common Voice 17.0 ซึ่งเป็นชุดข้อมูลที่ได้รับการใช้งานอย่างแพร่หลายและประกอบด้วยตัวอย่างเสียงที่หลากหลาย ใช้ในการทดสอบความแม่นยำของ ASR เราใช้ Word Error Rate (WER) และ Character Error Rate (CER) เป็นตัวชี้วัดหลักในการประเมินบริการ ASR แต่ละตัว

การคำนวณ WER และ CER​

เราใช้ไลบรารี jiwer ในการคำนวณ WER และ CER ซึ่งเป็นเครื่องมือมาตรฐานสำหรับการประเมิน ASR โดยอธิบายตัวชี้วัดแต่ละตัวดังนี้:

  • Word Error Rate (WER): วัดอัตราข้อผิดพลาดในระดับคำ โดยคำนวณจากผลรวมของการแทนที่ ลบ และเพิ่มคำ หารด้วยจำนวนคำทั้งหมดในทรานสคริปต์อ้างอิง

  • Character Error Rate (CER): วัดอัตราข้อผิดพลาดในระดับอักขระ โดยคำนวณแบบเดียวกับ WER แต่ในระดับอักขระ ซึ่งให้การวัดความแม่นยำที่ละเอียดขึ้น

การคำนวณ WER และ CER ดำเนินการด้วย jiwer ตามขั้นตอนดังนี้:

  1. ปรับแต่งทรานสคริปต์อ้างอิงและทรานสคริปต์ที่ได้รับจาก ASR เพื่อให้เป็นรูปแบบเดียวกัน (เช่น ตัวพิมพ์เล็ก, ลบเครื่องหมายวรรคตอน)

  2. คำนวณ WER และ CER โดยเปรียบเทียบผลลัพธ์จาก ASR แต่ละตัวกับทรานสคริปต์อ้างอิง

ตารางการประเมินผลความแม่นยำ​

วัดผลบนชุดทดสอบ Common Voice 17.0 ภาษาไทย จำนวน 11,042 ตัวอย่างที่โมเดลไม่เคยเห็นมาก่อน ผู้พูดมีทั้งผู้ชาย ผู้หญิง และเด็ก

ตัวชี้วัดiApp ASR BaseiApp ASR Pro
อัตราผิดพลาดระดับคำ14.52% คือถูก 85.48% ของคำ8.01% คือถูก 91.99% ของคำ
อัตราผิดพลาดระดับตัวอักษร5.87% คือถูก 94.13% ของตัวอักษร2.19% คือถูก 97.81% ของตัวอักษร
เวลาตอบ โดยทั่วไป0.3 วินาทีช้ากว่า Base แลกกับความแม่นยำที่สูงกว่า

ข้อมูลสำคัญ:

  • iApp ASR Pro ถอดคำได้ถูกต้อง 91.99% (อัตราผิดพลาดระดับคำ 8.01%) และตัวอักษรถูกต้อง 97.81% (อัตราผิดพลาดระดับตัวอักษร 2.19%)

  • iApp ASR Base ถอดคำได้ถูกต้อง 85.48% (อัตราผิดพลาดระดับคำ 14.52%) และตัวอักษรถูกต้อง 94.13% โดยตอบกลับใน 0.3 วินาทีโดยทั่วไป

สรุปผล​

iApp ASR Pro แลกความเร็วกับความแม่นยำ และถอดคำภาษาไทยได้ถูกต้อง 91.99% บนชุดทดสอบนี้ ส่วน iApp ASR Base ตอบกลับใน 0.3 วินาทีโดยทั่วไป และถอดคำได้ถูกต้อง 85.48% ทั้งสองระดับรับ request แบบเดียวกันและตอบ response แบบเดียวกัน จึงเลือกใช้ได้ในแต่ละครั้งที่เรียก

ท่านสามารถทดสอบ iApp ASR PRO ได้ที่ https://iapp.co.th/docs/speech/speech-to-text/thai