LLM 评测

服务内容​

• 推理数学、逻辑与多步骤问题：GSM8K、MATH、ARC 以及您自己的任务。
• 语言理解阅读理解、文本分类、命名实体识别与摘要：MMLU、HellaSwag 及领域数据集。
• 代码代码补全、Bug 修复与测试编写：HumanEval、MBPP 及真实编程任务。
• 安全毒性、偏见、拒答与越狱抵抗：TruthfulQA、BBQ 及红队测试。
• 泰语阅读理解、泰国知识、翻译与文风，包括我们整理的泰国国家考试题集 OpenThaiEval。

合作流程​

1. 确定范围。 选择标准测试集，加入来自您业务场景的任务，并确定基线模型。
2. 运行。 在您的模型和基线模型上运行全部测试集。
3. 专家评审。 专家从流畅度和有用性两方面为回答打分。

交付成果​

• 各维度得分与基线模型的对比报告，附图表。
• 针对模型或数据的改进建议。

如何开始​

请告诉我们要评测的模型、对比的基线模型以及重要的任务，我们会回复工作范围与报价。邮件 sale@iapp.co.th，电话 02-124-4041。