OpenThai 2.0

一个开源模型，同时读懂泰语文档与手写、了解泰国、执行智能体任务 — 泰国人为泰国打造。

openthai2.0-qwen3.8-27b

一体化的开源泰语 AI：以专业级水平读取泰语文档与手写文字，用自然、善于解释的泰语回答泰国知识问题，在智能体工具调用（BFCL）上领先其基础模型与 Typhoon 2.5 — 同时完整保留基础模型的通用智能。

亮点​

1. 专业级读取泰语文档与手写文字​

泰语手写字符错误率（CER）从基础模型的 0.649 降至 0.261 — 错误减少 60%。书籍与皇家公报页面：0.126，基础模型为 0.370（减少 66%）。印刷文档：0.077，基础模型为 0.103。

2. 了解泰国​

OpenThaiEval（泰国国家级考试）0.842 — 高于基础模型（0.820）、Typhoon 2.5（0.742）与 Pathumma（0.660）。泰语指令遵循（IFEval-TH）：0.795，同样领先基础模型（0.772）与 Typhoon（0.749）。

3. 胜任智能体任务​

Berkeley Function-Calling Leaderboard 总分 0.820 — 领先基础模型（0.811）与 Typhoon 2.5（0.792），多轮智能体任务优势最大（0.775 对 Typhoon 的 0.550）。编程（HumanEval）：0.957。

4. 一个模型，而非流水线​

它是这些榜单中唯一一个既能以专业级水平读取文档、又能在同一模型中回答文档相关问题的泰语开源模型 — 无需独立 OCR 环节，无需系统间交接，视觉与知识同在一套权重中。

5. 随处可跑，解码快​

五种格式 — bf16、GGUF、MLX 4-bit、INT8、NVFP4 — 从 MacBook 到 NVIDIA Blackwell 服务器均可运行。内置的多 token 预测草稿头将解码速度提升 50%（H100 实测 75.2 对 50.1 token/秒），输出逐 token 一致。

基准评测结果​

四个模型均由我们在同一测试套件、相同服务条件下测得，每个模型使用其官方推荐的提示词与参数，实验可用所链接的检查点复现。

泰语知识与语言（越高越好）​

¹ 0.985 与 0.990 在 n=200 上仅差一个样本 — 属统计学平局。

泰语文档与手写读取（字符错误率 — 越低越好）​

请诚实地解读这份对比：Typhoon-OCR 1.5 是一个出色的转写专家 — 在干净的印刷行与孤立手写上，它胜过表中包括本模型在内的所有模型。但它也只是一个转写器：仅接受一条固定的 OCR 提示词，文档问答与场景文字问题因此接近全错，也不具备知识或助手能力。OpenThai 2.0 在书籍与公报读取、泰语知识与指令遵循上领先。场景文字是其最弱的读取项 — 招牌、店面照片建议改用基础模型或场景文字专用模型。

智能体工具调用 — BFCL（越高越好）​

官方 Berkeley Function-Calling Leaderboard 评测框架（bfcl-eval 2026.3.23）：14 个类别共 3,841 个用例，所有模型使用相同的 OpenAI function calling 协议。

泰语文档微调并未损害工具调用能力：OpenThai 2.0 在所有汇总行均领先，多轮智能体任务领先 Typhoon 2.5 达 22.5 个百分点。

选择适合的格式​

仓库同时提供单独的 LoRA 适配器（7 GB，rank 64），可通过 dynamic LoRA 加载在 Qwen/Qwen3.8-27B 之上。

本地运行​

vllm serve iapp/openthai2.0-qwen3.8-27b \
  --max-model-len 32768 --gpu-memory-utilization 0.85 \
  --max-num-seqs 128 --reasoning-parser qwen3 --trust-remote-code

一张 80 GB GPU（bf16 约占 56 GB）。模型提供 OpenAI 兼容 API：

import base64
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="none")
img = base64.b64encode(open("thai_document.jpg", "rb").read()).decode()

r = client.chat.completions.create(
    model="iapp/openthai2.0-qwen3.8-27b",
    messages=[{"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{img}"}},
        {"type": "text", "text": "อ่านข้อความในเอกสารนี้ทั้งหมด"},
    ]}],
    temperature=0.0,
    extra_body={"repetition_penalty": 1.05,
                "chat_template_kwargs": {"enable_thinking": False}},
)
print(r.choices[0].message.content)

用自然泰语提问即可获得带解释的回答；需要简短或结构化输出时，追加 "ตอบสั้น ๆ"（简答）或 "ตอบเป็น JSON เท่านั้น"（仅输出 JSON）。

用内置草稿头加速解码​

检查点内置多 token 预测草稿头，vLLM 可运行自推测解码。输出由主模型逐 token 验证，开启与否结果完全一致 — 实测开启后 75.2 token/秒，关闭为 50.1（+50%，单流，H100）：

vllm serve iapp/openthai2.0-qwen3.8-27b \
  --max-model-len 32768 --max-num-seqs 128 --reasoning-parser qwen3 \
  --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":2}' \
  --trust-remote-code

部署须知（上线前请阅读）​

• --max-num-seqs 128 为必填：混合架构为每个解码序列分配一个状态缓存块，vLLM 默认值（1,024）会导致引擎启动失败。
• 纯文本请求始终开启思考模式（以 --reasoning-parser qwen3 提供服务）。实测：开启思考且不设 max_tokens 时 94% 的回答可用、推理内容零泄漏；对纯文本请求强制关闭思考会降至 42%。
• enable_thinking: false 仅用于附带图片的 OCR/转写请求 — 用于避免推理文字混入转写结果（84 个图片请求实测零泄漏）。
• 不要设置 max_tokens，或至少设为 8,192。 模型先推理后作答；上限 1,024 时约三分之一的回复为空，不设上限降至约 6%。
• 长篇泰语生成请始终发送 repetition_penalty: 1.05，并去除部分回复开头的空行。

训练方式​

在约 14.3 万条经核验的数据上进行三阶段 LoRA 微调（rank 64，all-linear）：

1. Scale SFT 教模型阅读：经核验的转写与解释型文档问答，覆盖泰语手写、书籍、公报与政府文档（92,893 条）。
2. 知识层 教模型泰式推理：基于泰国法律与政府语料构建的有据多选思维链，已对照评测题做泄漏检查。
3. 遵循层 教模型受控输出：仅保留答案通过程序化约束检查（列表数量、必含词、仅 JSON、长度上限）的指令数据。

每个阶段都经过全量核验流水线：答案对照人工确认的标准答案检查、模型读不出的图片被排除出解释型训练、逐条过滤畸形泰语与脚手架泄漏，并对全部语料运行基准泄漏防护。

模型详情​

局限性（请阅读）​

• 结构化抽取与基础模型持平，并无提升。 在 judged ThaiOCRBench 上本版本得 0.568，基础模型 0.570（统计学平局）；与专用模型的差距集中在表格解析与关键信息抽取。重度表单/表格流水线请先在自己的文档上评测。
• 场景文字是最弱的读取项 — 招牌、店面照片建议改用基础模型或场景文字专用模型。
• 按要求简答的达成率约 40%。 模型默认以解释型风格作答；需要机器解析的输出请使用明确格式指令（"ตอบเป็น JSON เท่านั้น"）。
• 未对泰语方言、竖排或旋转文字、医疗与法律建议做评测。手写识别依然困难：CER 0.261 意味着困难样本上约四分之一的字符仍然出错，且模型在无法辨认的输入上仍可能产生幻觉。

赞助方​

本模型的训练与评测使用 Siam AI Corporation 慷慨提供的 8× NVIDIA H100 GPU — 感谢对开源泰语 AI 的支持。

引用​

@misc{openthai2_2026,
  title  = {OpenThai 2.0: An Open Thai Knowledge and Document AI},
  author = {iApp Technology and Artificial Intelligence Entrepreneur Association of Thailand},
  year   = {2026},
  url    = {https://openthai.aieat.or.th}
}