LLM Benchmarking

งานที่เราทำให้​

• การให้เหตุผลคณิตศาสตร์ ตรรกะ และโจทย์หลายขั้นตอน: GSM8K, MATH, ARC และงานของคุณเอง
• ความเข้าใจภาษาอ่านจับใจความ จำแนกข้อความ NER และสรุปความ: MMLU, HellaSwag และชุดข้อมูลเฉพาะด้าน
• โค้ดเติมโค้ด แก้บั๊ก และเขียนเทสต์: HumanEval, MBPP และโจทย์เขียนโค้ดจริง
• ความปลอดภัยความเป็นพิษ อคติ การปฏิเสธ และการต้าน Jailbreak: TruthfulQA, BBQ และ Red-teaming
• ภาษาไทยอ่านจับใจความ ความรู้เรื่องไทย การแปล และสำนวน รวมถึง OpenThaiEval ชุดข้อสอบระดับชาติที่เราจัดทำ

ขั้นตอนการทำงาน​

1. กำหนดขอบเขต เลือกชุด Benchmark มาตรฐาน เพิ่มงานจาก Use case ของคุณ และกำหนดโมเดลที่ใช้เทียบ
2. รันการทดสอบ รันทุกชุดทดสอบบนโมเดลของคุณและโมเดลที่ใช้เทียบ
3. ผู้เชี่ยวชาญตรวจ ให้คะแนนคำตอบด้านความลื่นไหลและความเป็นประโยชน์

สิ่งที่คุณได้รับ​

• รายงานคะแนนรายด้านเทียบกับโมเดลอ้างอิง พร้อมกราฟ
• คำแนะนำว่าควรปรับอะไรในโมเดลหรือในข้อมูล

เริ่มต้น​

บอกเราว่าจะวัดโมเดลไหน เทียบกับโมเดลอะไร และงานไหนสำคัญ แล้วเราจะตอบกลับพร้อมขอบเขตงานและใบเสนอราคา อีเมล sale@iapp.co.th หรือโทร 02-124-4041