艾艾普科技 艾艾普ASR Pro 在 Mozilla Common Voice 17.0 上的评估

本报告呈现了自动语音识别系统（艾艾普 ASR Pro）在 Mozilla Common Voice 17.0 数据集上的评估结果，以正确转写的词和字符所占比例衡量。

数据集与评估指标

本次评估基于Mozilla Common Voice 17.0 数据集进行，这是一个广泛使用且包含多种语音样本的数据集，用于测试ASR的准确性。我们使用词错误率 (WER) 和字符错误率 (CER) 作为评估每个ASR服务的关键指标。

WER 和 CER 的计算

我们使用 jiwer 库来计算 WER 和 CER，这是一个标准的ASR评估工具。各项指标的解释如下：

• 词错误率 (WER): 在词级别衡量错误率。计算方法为替换、删除和插入的词数之和除以参考转录本中的总词数。

• 字符错误率 (CER): 在字符级别衡量错误率。计算方法与 WER 类似，但针对的是字符，提供了更精细的准确性度量。

使用 jiwer 计算 WER 和 CER 的步骤如下：

1. 对参考转录本和ASR生成的转录本进行预处理，使其格式一致（例如，转为小写，去除标点符号）。

2. 通过将每个ASR结果与参考转录本进行比较来计算 WER 和 CER。

准确性评估表

在 Common Voice 17.0 泰语测试集上测得：共 11,042 个模型未见过的样本，说话人包括男性、女性和儿童。

指标	艾艾普 ASR Base	艾艾普 ASR Pro
词错误率	14.52%，即 85.48% 的词正确	8.01%，即 91.99% 的词正确
字符错误率	5.87%，即 94.13% 的字符正确	2.19%，即 97.81% 的字符正确
响应时间，典型	0.3 秒	慢于 Base，换来更高的准确率

重要信息：

• 艾艾普 ASR Pro 的词正确率为 91.99%（词错误率 8.01%），字符正确率为 97.81%（字符错误率 2.19%）。

• 艾艾普 ASR Base 的词正确率为 85.48%（词错误率 14.52%），字符正确率为 94.13%，典型响应时间为 0.3 秒。

结论

艾艾普 ASR Pro 以速度换取准确率，在该测试集上泰语词正确率为 91.99%。艾艾普 ASR Base 典型响应时间为 0.3 秒，词正确率为 85.48%。两个档位接受同样的请求、返回同样的响应，可按每次调用选择。

您可以在 https://iapp.co.th/docs/speech/speech-to-text/thai 测试艾艾普 ASR PRO。