Teacher-Student Model Distillation

งานที่เราทำให้​

• จาก Teacher สู่ Studentโมเดลเล็กเรียนจาก Output distribution ทั้งหมดของโมเดลใหญ่ ไม่ใช่แค่คำตอบสุดท้าย
• ให้บริการได้ถูกลงพารามิเตอร์น้อยลง สร้าง Token ได้เร็วขึ้น และรองรับผู้ใช้ได้มากขึ้นต่อ GPU
• Deploy บน Edgeขนาดพอดีกับโทรศัพท์ Edge server และฮาร์ดแวร์ที่โมเดล Teacher รันไม่ได้

ขั้นตอนการทำงาน​

1. ตั้งเป้าหมาย เลือกหรือฝึกโมเดล Teacher และกำหนดขนาด Student ให้พอดีกับฮาร์ดแวร์ของคุณ
2. Distill ให้ Teacher สร้าง Soft label และลำดับการให้เหตุผล แล้วฝึก Student ให้ตอบได้ตรงกัน
3. ตรวจสอบ ให้ Student และ Teacher ตอบชุดประเมินเดียวกัน

สิ่งที่คุณได้รับ​

• โมเดล Student ขนาดพอดีกับการ Deploy ของคุณ
• ผล Benchmark ของ Student เทียบกับ Teacher บนชุดประเมินของคุณ

เริ่มต้น​

บอกเราว่าตอนนี้ใช้โมเดลอะไร และต้องรันบนฮาร์ดแวร์แบบไหน แล้วเราจะตอบกลับพร้อมขอบเขตงานและใบเสนอราคา อีเมล sale@iapp.co.th หรือโทร 02-124-4041