师生模型蒸馏

服务内容​

• 从教师到学生小模型学习大模型完整的输出分布，而不只是最终答案。
• 更低的推理成本参数更少，生成 token 更快，每块 GPU 可服务更多用户。
• 边缘部署体积适合手机、边缘服务器等教师模型无法运行的硬件。

合作流程​

1. 设定目标。 选择或训练教师模型，并按您的硬件确定学生模型的规模。
2. 蒸馏。 教师模型生成软标签和推理轨迹，学生模型学习与之匹配。
3. 验证。 学生模型与教师模型回答同一评估集。

交付成果​

• 规模适合您部署环境的学生模型。
• 学生模型与教师模型在您评估集上的对比结果。

如何开始​

请告诉我们您目前使用的模型以及它需要适配的硬件，我们会回复工作范围与报价。邮件 sale@iapp.co.th，电话 02-124-4041。