跳到主要内容

服务

同策略上下文蒸馏(OPCD)

把冗长的系统提示词写进模型权重,每次调用都更短。

联系我们

服务内容​

  • 提示词写进权重无需发送系统提示词,模型也能像带着完整提示词时那样回答。
  • 更少的输入 token请求不再附带系统提示词和少样本示例,也省去它们占用的 token。
  • 提示词不外泄您的指令存在于权重中,而不在发出的请求里。

合作流程​

  1. 编写上下文。 确定能让模型表现出目标行为的系统提示词、示例和指令。
  2. 生成并训练。 模型先在完整上下文下回答多样的提示,再学习在没有上下文时给出同样的回答。
  3. 对比。 蒸馏后的模型与使用提示词的模型回答同一测试集。

交付成果​

  • 蒸馏后的模型,无需系统提示词即可使用。
  • 两个模型的对比测试结果。

如何开始​

请发送您目前使用的系统提示词和一批真实请求样本,我们会回复工作范围与报价。邮件 sale@iapp.co.th,电话 02-124-4041。