On-Policy Context Distillation (OPCD)

งานที่เราทำให้​

• ฝัง Prompt ไว้ในโมเดลโมเดลตอบได้เหมือนตอนมี System Prompt เต็ม โดยไม่ต้องส่ง Prompt นั้นไปอีก
• Input token น้อยลงทุก Request ไม่ต้องแนบ System Prompt และตัวอย่าง Few-shot จึงไม่เสีย Token ส่วนนี้อีก
• Prompt ไม่หลุดออกไปคำสั่งของคุณอยู่ในน้ำหนักโมเดล ไม่ได้อยู่ใน Request ที่ส่งออกไป

ขั้นตอนการทำงาน​

1. เขียน Context กำหนด System Prompt ตัวอย่าง และคำสั่งที่ทำให้โมเดลทำงานตามที่ต้องการ
2. สร้างคำตอบแล้วฝึก ให้โมเดลตอบ Prompt หลากหลายโดยใช้ Context เต็ม แล้วฝึกให้ตอบแบบเดียวกันโดยไม่มี Context
3. เปรียบเทียบ ให้โมเดลที่ Distill แล้วกับโมเดลที่ใช้ Prompt ตอบชุดทดสอบเดียวกัน

สิ่งที่คุณได้รับ​

• โมเดลที่ Distill แล้ว ใช้งานได้โดยไม่ต้องมี System Prompt
• ผลทดสอบของทั้งสองโมเดลเทียบกัน

เริ่มต้น​

ส่ง System Prompt ที่ใช้อยู่และตัวอย่าง Request จริงมาให้เรา แล้วเราจะตอบกลับพร้อมขอบเขตงานและใบเสนอราคา อีเมล sale@iapp.co.th หรือโทร 02-124-4041