服务
同策略上下文蒸馏(OPCD)
把冗长的系统提示词写进模型权重,每次调用都更短。
服务内容
- 提示词写进权重无需发送系统提示词,模型也能像带着完整提示词时那样回答。
- 更少的输入 token请求不再附带系统提示词和少样本示例,也省去它们占用的 token。
- 提示词不外泄您的指令存在于权重中,而不在发出的请求里。
合作流程
- 编写上下文。 确定能让模型表现出目标行为的系统提示词、示例和指令。
- 生成并训练。 模型先在完整上下文下回答多样的提示,再学习在没有上下文时给出同样的回答。
- 对比。 蒸馏后的模型与使用提示词的模型回答同一测试集。
交付成果
- 蒸馏后的模型,无需系统提示词即可使用。
- 两个模型的对比测试结果。
如何开始
请发送您目前使用的系统提示词和一批真实请求样本,我们会回复工作范围与报价。邮件 sale@iapp.co.th,电话 02-124-4041。