艾艾普科技在 Mozilla Common Voice 17.0 上的 ASR Pro 评估

本报告呈现了自动语音识别系统（艾艾普 ASR Pro）在 Mozilla Common Voice 17.0 数据集上的评估结果，以正确转写的词和字符所占比例衡量。

数据集和评估指标

本次评估在 Mozilla Common Voice 17.0 数据集上进行，这是一个广泛使用且包含多样化音频样本的数据集，用于测试 ASR 准确性。我们使用词错误率 (WER) 和字符错误率 (CER) 作为评估各项 ASR 服务的主要指标。

WER 和 CER 计算

我们使用 jiwer 库来计算 WER 和 CER，这是 ASR 评估的标准工具。各项指标描述如下：

• 词错误率 (WER): 在词级别衡量错误率，通过词替换、删除和插入的总数除以参考文本中的总词数来计算。

• 字符错误率 (CER): 在字符级别衡量错误率，计算方式与 WER 相同，但以字符为单位，提供更详细的准确性测量。

使用 jiwer 按照以下步骤执行了 WER 和 CER 计算：

1. 将参考文本和从 ASR 获取的文本调整为相同的格式（例如，小写，去除标点符号）。

2. 通过将每个 ASR 的结果与参考文本进行比较来计算 WER 和 CER。

准确性评估表

在 Common Voice 17.0 泰语测试集上测得：共 11,042 个模型未见过的样本，说话人包括男性、女性和儿童。

指标	艾艾普 ASR Base	艾艾普 ASR Pro
词错误率	14.52%，即 85.48% 的词正确	8.01%，即 91.99% 的词正确
字符错误率	5.87%，即 94.13% 的字符正确	2.19%，即 97.81% 的字符正确
响应时间，典型	0.3 秒	慢于 Base，换来更高的准确率

重要信息：

• 艾艾普 ASR Pro 的词正确率为 91.99%（词错误率 8.01%），字符正确率为 97.81%（字符错误率 2.19%）。

• 艾艾普 ASR Base 的词正确率为 85.48%（词错误率 14.52%），字符正确率为 94.13%，典型响应时间为 0.3 秒。

结论

艾艾普 ASR Pro 以速度换取准确率，在该测试集上泰语词正确率为 91.99%。艾艾普 ASR Base 典型响应时间为 0.3 秒，词正确率为 85.48%。两个档位接受同样的请求、返回同样的响应，可按每次调用选择。

您可以在 https://iapp.co.th/docs/speech/speech-to-text/thai 测试艾艾普 ASR PRO。