Teacher-Student Model Distillation

Knowledge Distillation คือกระบวนการถ่ายทอดความรู้จากโมเดล "Teacher" ขนาดใหญ่ที่มีประสิทธิภาพสูง ไปยังโมเดล "Student" ที่เล็กกว่าและมีประสิทธิภาพมากกว่า โมเดล Student ไม่เพียงเรียนรู้จาก Hard Label เท่านั้น แต่ยังเรียนรู้จาก Soft Probability Distribution ของ Teacher ที่ครอบคลุมผลลัพธ์ที่เป็นไปได้ทั้งหมด ซึ่งจับรูปแบบและความสัมพันธ์ที่ละเอียดอ่อนที่ Teacher ได้เรียนรู้

ตัวอย่างเช่น ความฉลาดของโมเดล Teacher ขนาด 70B พารามิเตอร์ สามารถกลั่นกรองลงในโมเดล Student ขนาด 7B ที่ทำงานเร็วกว่า 10 เท่า ใช้หน่วยความจำน้อยกว่า 10 เท่า และต้นทุนการให้บริการต่ำกว่า 10 เท่า ในขณะที่ยังคงคุณภาพ 90-95% ของ Teacher นี่คือเทคนิคเบื้องหลังโมเดลอย่าง Llama 3.2 1B/3B และ Gemma 2 2B