Skip to main content

การประเมินผล iApp ASR Pro บน Mozilla Common Voice 17.0

· One min read
Kobkrit Viriyayudhakorn
Kobkrit Viriyayudhakorn
CEO @ iApp Technology

iApp ASR preview

รายงานนี้นำเสนอผลการประเมินระบบการถอดเสียงอัตโนมัติ (iApp ASR Pro) บนชุดข้อมูล Mozilla Common Voice 17.0 เพื่อเปรียบเทียบประสิทธิภาพของบริการ ASR ต่าง ๆ ทั้งของต่างประเทศและผู้ให้บริการภายในประเทศ

ชุดข้อมูลและตัวชี้วัดการประเมิน​

การประเมินนี้ดำเนินการบนชุดข้อมูล Mozilla Common Voice 17.0 ซึ่งเป็นชุดข้อมูลที่ได้รับการใช้งานอย่างแพร่หลายและประกอบด้วยตัวอย่างเสียงที่หลากหลาย ใช้ในการทดสอบความแม่นยำของ ASR เราใช้ Word Error Rate (WER) และ Character Error Rate (CER) เป็นตัวชี้วัดหลักในการประเมินบริการ ASR แต่ละตัว

การคำนวณ WER และ CER​

เราใช้ไลบรารี jiwer ในการคำนวณ WER และ CER ซึ่งเป็นเครื่องมือมาตรฐานสำหรับการประเมิน ASR โดยอธิบายตัวชี้วัดแต่ละตัวดังนี้:

  • Word Error Rate (WER): วัดอัตราข้อผิดพลาดในระดับคำ โดยคำนวณจากผลรวมของการแทนที่ ลบ และเพิ่มคำ หารด้วยจำนวนคำทั้งหมดในทรานสคริปต์อ้างอิง

  • Character Error Rate (CER): วัดอัตราข้อผิดพลาดในระดับอักขระ โดยคำนวณแบบเดียวกับ WER แต่ในระดับอักขระ ซึ่งให้การวัดความแม่นยำที่ละเอียดขึ้น

การคำนวณ WER และ CER ดำเนินการด้วย jiwer ตามขั้นตอนดังนี้:

  1. ปรับแต่งทรานสคริปต์อ้างอิงและทรานสคริปต์ที่ได้รับจาก ASR เพื่อให้เป็นรูปแบบเดียวกัน (เช่น ตัวพิมพ์เล็ก, ลบเครื่องหมายวรรคตอน)

  2. คำนวณ WER และ CER โดยเปรียบเทียบผลลัพธ์จาก ASR แต่ละตัวกับทรานสคริปต์อ้างอิง

ตารางการประเมินผลความแม่นยำ​

ตารางด้านล่างสรุปอัตราความผิดพลาดของคำ (WER) อัตราความผิดพลาดของอักขระ (CER) และความแม่นยำของบริการ ASR แต่ละตัว

iApp ASR evaluation

ข้อมูลสำคัญ:

  • iApp ASR PRO มีความแม่นยำสูงสุด ด้วยค่า WER ที่ 92.41% และค่า CER ที่ 97.81%

  • Google ASR และ Thai Local Competitor แสดงระดับความแม่นยำที่ใกล้เคียงกัน โดยมีค่า WER 88.11% และ 88.64% ตามลำดับ

  • iApp ASR Base แสดงประสิทธิภาพที่น่าเชื่อถือ ด้วยค่า WER 85.48% ซึ่งเป็นตัวเลือกที่ดีคู่กับ iApp ASR PRO ที่มีความแม่นยำสูง

การประเมิน CER​

แผนภูมิด้านล่างแสดงการเปรียบเทียบอัตราความผิดพลาดของอักขระ (CER) ระหว่าง iApp ASR Pro และบริการ ASR อื่น ๆ

iApp ASR CER evaluation with th

สรุป:

  • iApp ASR Pro vs Thai Local Competitor: iApp ASR Pro มีอัตราชนะใน CER ที่ 47.3% แสดงถึงความเหนือชั้นในหลายกรณี โดยเสมอ 29.2% และแพ้ 23.6%

  • iApp ASR Pro vs Google ASR: iApp ASR Pro แสดงอัตราชนะ 44.9% เสมอ 31.0% และแพ้ 24.1%

  • มีการเปรียบเทียบเพิ่มเติม แสดงถึงความสามารถในการแข่งขันระหว่างบริการ ASR เหล่านี้

การประเมิน WER​

แผนภูมินี้แสดงการเปรียบเทียบอัตราความผิดพลาดของคำ (WER) ระหว่าง iApp ASR Pro และบริการ ASR อื่น ๆ

iApp ASR WER evaluation th

ข้อสังเกต:

  • iApp ASR Pro vs Thai Local Competitor: iApp ASR Pro มีอัตราชนะใน WER ที่ 38.2% โดยมีอัตราเสมอที่ 38.5% และอัตราแพ้ที่ 23.3%

  • iApp ASR Pro vs Google ASR: iApp ASR Pro มีอัตราชนะที่ 35.5% และเสมอที่ 41.1% โดยมีอัตราแพ้ที่ 23.5%

  • ผลลัพธ์นี้แสดงถึงระดับประสิทธิภาพที่แตกต่างกันของบริการ ASR ต่าง ๆ

สรุปผล​

การประเมินนี้แสดงให้เห็นว่า iApp ASR PRO มีระดับความแม่นยำที่สูงสุด Google ASR และ Thai Local Competitor มีความสามารถที่สมดุลและมีความแม่นยำที่ดี ในขณะที่ iApp ASR Base มีความแม่นยำที่ใกล้เคียงกัน ข้อมูลเหล่านี้สามารถช่วยให้ผู้ใช้เลือกบริการ ASR ที่เหมาะสมตามความต้องการเฉพาะด้านของตนเอง

ท่านสามารถทดสอบ iApp ASR PRO ได้ที่ https://ai.iapp.co.th/product/speech_to_text_asr