跳到主要内容

艾艾普科技 艾艾普ASR Pro 在 Mozilla Common Voice 17.0 上的评估

· 4 分钟阅读
Kobkrit Viriyayudhakorn
Kobkrit Viriyayudhakorn
CEO @ iApp Technology

iApp ASR preview

本报告展示了在Mozilla Common Voice 17.0 数据集上对自动语音识别系统（艾艾普ASR Pro）的评估结果，旨在比较国内外各种ASR服务的性能。

数据集与评估指标​

本次评估基于Mozilla Common Voice 17.0 数据集进行，这是一个广泛使用且包含多种语音样本的数据集，用于测试ASR的准确性。我们使用词错误率 (WER) 和字符错误率 (CER) 作为评估每个ASR服务的关键指标。

WER 和 CER 的计算​

我们使用 jiwer 库来计算 WER 和 CER，这是一个标准的ASR评估工具。各项指标的解释如下：

  • 词错误率 (WER): 在词级别衡量错误率。计算方法为替换、删除和插入的词数之和除以参考转录本中的总词数。

  • 字符错误率 (CER): 在字符级别衡量错误率。计算方法与 WER 类似，但针对的是字符，提供了更精细的准确性度量。

使用 jiwer 计算 WER 和 CER 的步骤如下：

  1. 对参考转录本和ASR生成的转录本进行预处理，使其格式一致（例如，转为小写，去除标点符号）。

  2. 通过将每个ASR结果与参考转录本进行比较来计算 WER 和 CER。

准确性评估表格​

下表总结了每个ASR服务的词错误率 (WER)、字符错误率 (CER) 和准确性。

iApp ASR evaluation

关键数据：

  • 艾艾普ASR PRO 具有最高的准确性，WER 达到 92.41%，CER 达到 97.81%。

  • Google ASR 和 Thai Local Competitor 的准确性水平接近，WER 分别为 88.11% 和 88.64%。

  • 艾艾普ASR Base 表现可靠，WER 为 85.48%，与高精度 艾艾普ASR PRO 相辅相成。

CER 评估​

下图展示了艾艾普ASR Pro 与其他ASR服务之间的字符错误率 (CER) 比较。

iApp ASR CER evaluation with th

总结：

  • 艾艾普ASR Pro vs Thai Local Competitor： 艾艾普ASR Pro 在 CER 上获胜率为 47.3%，在许多情况下表现更优，平局率为 29.2%，落败率为 23.6%。

  • 艾艾普ASR Pro vs Google ASR： 艾艾普ASR Pro 的获胜率为 44.9%，平局率为 31.0%，落败率为 24.1%。

  • 其他比较 也显示了这些ASR服务之间的竞争力。

WER 评估​

下图展示了艾艾普ASR Pro 与其他ASR服务之间的词错误率 (WER) 比较。

iApp ASR WER evaluation th

观察：

  • 艾艾普ASR Pro vs Thai Local Competitor： 艾艾普ASR Pro 在 WER 上获胜率为 38.2%，平局率为 38.5%，落败率为 23.3%。

  • 艾艾普ASR Pro vs Google ASR： 艾艾普ASR Pro 获胜率为 35.5%，平局率为 41.1%，落败率为 23.5%。

  • 这些结果表明了不同ASR服务在性能上的差异。

结论​

本次评估表明，艾艾普ASR PRO 具有最高的准确性。Google ASR 和 Thai Local Competitor 具有均衡的能力和良好的准确性。而 艾艾普ASR Base 的准确性也相当接近。这些信息可以帮助用户根据自身具体需求选择合适的 ASR 服务。

您可以在 https://iapp.co.th/product/speech_to_text_asr 试用 艾艾普ASR PRO。