牙科评测
联合全球牙科专家,检验大模型在真实牙科临床中的推理能力与安全风险。
Global Partners
合作网络覆盖 10 个国家和地区
16 家高校、医院与研究机构,与香港、内地及海外的口腔专家一起,参与自由动脉口腔 AI 的研发、评测与临床验证。

底图:自然资源部标准地图服务 世界地图 1:5700万 4开 轮廓图 审图号:GS(2020)4392号
- 中国香港中文大学(深圳)、北京大学、北京大学国家生物医学成像科学中心、北大清华生命科学联合中心、南方医科大学深圳口腔医院(坪山)
- 中国香港香港大学牙医学院、菲腊牙科医院
- 美国梅奥诊所
- 德国慕尼黑大学医院
- 瑞士合作国家
- 印度合作国家
- 马来西亚马来西亚世纪大学
- 澳大利亚合作国家
- 尼日利亚尼日利亚阿布贾国家医院、拉各斯大学医学院、巴耶罗大学、索科托乌斯马努丹佛迪约大学、迈杜古里大学
- 埃塞俄比亚埃塞俄比亚马达瓦拉布大学
为什么需要全球牙科评测
大语言模型在医学执照考试中的表现已接近人类专家,但真实临床需要在信息不完整、存在歧义的情况下进行多步推理。牙科尤其如此:诊疗要结合空间分析、操作技能和长期治疗计划,并根据每位患者的情况调整。现有的牙科大模型评测大多局限于某个国家的执照考试或个别亚专科,以选择题为主,考查的更多是知识记忆,而不是基于病例的推理。
GlobalDentBench(全球牙科评测)就是为此建立的。据论文介绍,这是首个跨国牙科评测基准:8,978 道经专家验证的问题,来源覆盖六大洲的 88 个国家和地区,涵盖 14 个牙科专科、3 种题型和 3 个递进的推理层级。题目取自官方资格考试、权威教材和同行评议的病例报告;构建由自动化智能体流程完成,并由 6 位资深牙医全程校准。
研究团队用它评测了 12 个前沿大模型(6 个闭源、6 个开源)。结果显示:题目越接近真实病例、越需要结合患者的个体情况,模型得分越低;在真实病例题中,近三分之一的回答含有可能伤害患者的内容。论文据此认为,现阶段的大模型适合在专家监督下辅助检索和整理知识,还不能独立承担牙科临床决策。
这项研究由香港大学牙医学院、香港中文大学(深圳)、南方医科大学深圳口腔医院(坪山)、北京大学、美国梅奥诊所、德国慕尼黑大学医院等机构的 25 位作者合作完成,自由动脉团队成员参与其中:COO 赵俊杰、CTO 蔡镇阳是论文共同第一作者,首席 AI 科学家王本友、首席医学科学家王俊文是通讯作者,CEO 李健铨参与了模型推理与结果收集。构建与评测代码已在 GitHub 开源,开放评测子集 GlobalDentBench-OA 已发布在 Hugging Face。
覆盖六大洲
题目来源
论文按联合国 M49 标准统计题目来源。下面是开放数据集 GlobalDentBench-OA 中标注的 73 个国家和地区,绿色的国家提供了选择题所用的官方牙科资格与执业考试。
亚洲28
- 中国内地
- 中国香港
- 中国台湾
- 印度
- 日本
- 韩国
- 沙特阿拉伯
- 伊朗
- 阿联酋
- 泰国
- 印度尼西亚
- 马来西亚
- 土耳其
- 尼泊尔
- 越南
- 柬埔寨
- 伊拉克
- 以色列
- 约旦
- 菲律宾
- 卡塔尔
- 叙利亚
- 格鲁吉亚
- 黎巴嫩
- 巴基斯坦
- 新加坡
- 斯里兰卡
- 巴勒斯坦
欧洲24
- 英国
- 意大利
- 西班牙
- 德国
- 瑞士
- 荷兰
- 法国
- 葡萄牙
- 克罗地亚
- 匈牙利
- 保加利亚
- 希腊
- 俄罗斯
- 奥地利
- 比利时
- 爱尔兰
- 瑞典
- 阿尔巴尼亚
- 捷克
- 丹麦
- 挪威
- 罗马尼亚
- 斯洛文尼亚
- 乌克兰
非洲7
- 突尼斯
- 埃及
- 南非
- 利比亚
- 摩洛哥
- 尼日利亚
- 乌干达
北美洲6
- 加拿大
- 美国
- 墨西哥
- 哥斯达黎加
- 危地马拉
- 波多黎各
南美洲6
- 巴西
- 哥伦比亚
- 厄瓜多尔
- 智利
- 秘鲁
- 委内瑞拉
大洋洲2
- 澳大利亚
- 新西兰
评测设计:3 个推理层级 × 3 种题型 × 14 个专科
知识回忆
Knowledge Recall
回忆已经确立的牙科基础知识,不需要实质性的病例推理。
12 个模型平均得分 74.01%
常规推理
Routine Reasoning
主要依据核心临床表现,按典型的诊断或治疗思路推理。
12 个模型平均得分 55.64%
个体化推理
Individualized Reasoning
必须结合患者的个体信息、个体化限制或非标准的临床因素,才能做出最终判断。
12 个模型平均得分 35.71%
选择题 MCQ
3,679 道
评分:答案匹配
取自澳大利亚、新西兰、加拿大、印度、英国和美国官方认可的牙科资格与执业考试,考查标准化知识。
12 个模型平均得分 81.34%
简答题 SAQ
3,709 道
评分:评分模型判定对错(经牙医校准)
取自权威牙科教材(如 Diagnosis and Treatment Planning in Dentistry),模型需要用自然语言作答。
12 个模型平均得分 64.53%
病例题 CBQ
1,590 道
评分:5 个关键点逐项评分,并评估安全风险
由 2020–2025 年高影响力牙科期刊上的同行评议病例报告生成,考查真实场景中的临床推理。
12 个模型平均得分 22.34%
覆盖 14 个牙科专科
智能体构建,牙医全程校准
- 1收集权威资料
在资深牙医指导下,从官方资格与执业考试、权威牙科教材和 2020–2025 年的同行评议病例报告中收集资料,并按联合国 M49 标准标注来源国家和地区。
- 2文档标准化
Reformat Agent 调用 OCR(DeepSeek-OCR2)、BeautifulSoup、Pandoc 等工具,把 PDF、图片、Office 文档、XML 和网页等格式统一转成 Markdown,并补充标题、来源、作者等元数据。
- 3按题型构建题目
Extract Agent 先分块再抽取:选择题整理成题干、选项和答案;简答题抽取问答对;病例题生成问题并提取 5 个评分关键点。每道题最多经过 3 轮自我校正,仍不合格就丢弃。
- 4统一标注与终审
Tag Agent 为每道题标注所属专科和推理层级:两轮预测一致就采用,不一致时做第三轮并按多数表决;再经过自我校正和资深牙医审核,才收入基准。
- 5分题型评测
选择题直接匹配答案;简答题由评分模型判断对错;病例题按 5 个关键点逐项判定(每点 20 分),并把每条回答分为 S0 安全、S1 可能造成可逆伤害、S2 可能造成不可逆伤害三级。
- 6牙医全程校准
6 位持证资深牙医(平均临床年资 6.8 年)在 2026 年 2 月 5 日至 3 月 25 日参与资料把关、流程优化和评分校准,共投入 297 人·小时。

主要发现
越接近真实病例,得分越低
12 个模型的平均得分:选择题 81.34%,简答题 64.53%,病例题只有 22.34%。
个体化推理是共同短板
平均得分从 L1 的 74.01% 降到 L2 的 55.64%,再降到 L3 的 35.71%;所有模型在 L3 上的得分都低于 50%。
贵的模型不一定更好
Gemini-3.1-Pro-Preview 综合得分最高(63.27%),开源模型中 GLM-5 最高(56.43%)。各模型推理成本的差距远大于得分的差距,成本高并不一定换来更好的表现。
专科之间差异明显
口腔黏膜病的平均得分最高(63.66%),口腔正畸(50.59%)、儿童口腔(51.08%)和传统口腔修复(51.92%)最低,最高与最低相差 13.07 个百分点。
近三分之一的回答有安全风险
在 1,590 道病例题的 19,080 条回答中,31.01% 被判为不安全,其中 4.51% 可能造成不可逆伤害;口腔正畸的不安全比例最高,为 44.30%。
严重风险集中在敏感专科
可能造成不可逆伤害的回答在“全身健康、药理与安全”类最集中(各模型平均 14.15%),其次是麻醉与医疗急症(8.93%)和儿童口腔(6.33%)。
自动评分与牙医判断高度一致
评分模型 Gemini-3-Flash-Preview 的结果有 98.15% 得到牙医认可(两位牙医之间的一致率为 96.67%);选择题和简答题经专家全量审核,准确率 99.98%;病例题抽检 523 道,准确率 96.78%。
代表性模型的综合得分与推理成本(12 个参评模型中的 6 个)
| 模型 | 类型 | 综合得分(宏平均) | 每千次调用成本(美元) | 说明 |
|---|---|---|---|---|
| Gemini-3.1-Pro-Preview | 闭源 | 63.27% | 18.45 | 综合得分最高 |
| Gemini-3-Flash-Preview | 闭源 | 61.59% | 3.72 | 闭源模型中性价比最好;本研究的评分模型 |
| Claude-Sonnet-4.6 | 闭源 | 59.71% | 19.59 | 得分接近前列,成本较高 |
| Grok-4 | 闭源 | 57.77% | 38.14 | 推理成本最高 |
| GLM-5 | 开源 | 56.43% | 5.48 | 开源模型中综合得分最高 |
| Kimi-K2.5 | 开源 | 55.49% | 1.37 | 开源模型中性价比突出 |
数据来源:论文第 2.3 节正文(对应图 2C、2E)。论文没有数据表,其余 6 个模型的得分只以图形给出。



25 位作者
来自香港、内地、美国和德国的牙医、医学与 AI 研究者共同完成,自由动脉团队成员参与其中。
作者单位
自由动脉合作专家网络
著名口腔专家领衔,专科医生与国内外机构参与自由动脉口腔 AI 的协同标注、专业评测与临床应用验证。这里展示的是公司的合作网络,并非都是本论文作者;其中金力坚、Falk Schwendicke、金作林三位教授是 GlobalDentBench 的作者。

金力坚 Lijian Jin
香港大学牙医学院 论文作者
- 世界牙科联盟理事
- 国际牙科研究协会理事会成员
- 国际牙科研究协会亚太区主席
- 亚太牙周病学会主席
- 中华口腔医学会荣誉理事
- 粤港澳大湾区口腔健康联盟副主席

Falk Schwendicke
德国慕尼黑大学医院 论文作者
- 世界卫生组织(WHO)健康人工智能口腔组负责人
- 国际标准化组织(ISO)牙科 AI 工作组召集人
- 获国际牙科研究协会(IADR)杰出科学家奖

金作林 Zuolin Jin
南方医科大学深圳口腔医院(坪山) 论文作者
- 中华口腔医学会正畸专业委员会(COS)主任委员
- 中华口腔医学会理事
- 亚太正畸协会(APOS)执行委员
- 《中华口腔正畸学杂志》副主编
- 世界正畸医师联盟会员

钟鸣 Ming Zhong
中国医科大学口腔医学院
- 中国医科大学口腔医学院首席专家
- 国务院政府特殊津贴专家
- 国际牙医师学院院士
- 中华口腔医学会口腔病理学专业委员会主任委员
- 国家口腔医师规范化培训教材《口腔病理学》第 1、2 版主编
合作专科医生
刘冰Bing Liu
李大桁Daheng Li
王侗飞Dongfei Wang
周芳洁Fangjie Zhou
刘芬Fen Liu
康芙嘉Fujia Kang
郝春秀Hao Chunxiu
赵家敏Jiamin Zhao
张佳明Jiaming Zhang
刘荩文Jinwen Liu
陈金妍Jinyan Chen
王珺婷Junting Wang
杨宽Kuan Yang
石磊Lei Shi
赵琳Lin Zhao
MAO Yilin
李梦红Menghong Li
宋萌萌Mengmeng Song
黄敏Min Huang
卫明慧Minghui Wei
张明欣Mingxin Zhang
Patricia Ho
王沛娟Peijuan Wang
陈鹏Peng Chen
芦睿Rui Lu
孙仕铎Shiduo Sun
何世荣Shirong He
张仕鑫Shixin Zhang
黄舒蔚Shuwei Huang
邱思齐Siqi Qiu
Tai Pak Chuen Patrick
Wu Songying
XU Leyao
金相杰Xiangjie Jin
乔雪Xue Qiao
蒋旸Yang Jiang
张亚秋Yaqiu Zhang
Yefeng Wu
郭一丹Yidan Guo
郑依凡Yifan Zheng
王莹Ying Wang
吴宇佳Yujia Wu
朱振来Zhenlai Zhu
邓志强Zhiqiang Deng
李卓盈Zhuoying Li合作机构
香港中文大学(深圳)中国
香港大学牙医学院中国香港
北京大学中国
北京大学国家生物医学成像科学中心中国
北大清华生命科学联合中心中国
菲腊牙科医院中国香港
美国梅奥诊所美国
德国慕尼黑大学医院德国
马来西亚世纪大学马来西亚
尼日利亚阿布贾国家医院尼日利亚
拉各斯大学医学院尼日利亚
巴耶罗大学尼日利亚
索科托乌斯马努丹佛迪约大学尼日利亚
迈杜古里大学尼日利亚
埃塞俄比亚马达瓦拉布大学埃塞俄比亚合作国家和地区
引用
@article{zhao2026globaldentbench,
title={GlobalDentBench: A Multinational Benchmark for Evaluating LLM Clinical Reasoning in Dentistry with Expert Calibration},
author={Junjie Zhao and Jingyi Liang and Zhenyang Cai and Jiaming Zhang and Zhenwei Wen and Shuzhi Deng and Wenjing Yi and Chunfeng Luo and Hexian Zhang and Junying Chen and Tianrui Liu and Zhuhui Bai and Zixu Zhang and Pradeep Singh and Xiang Liu and Jianquan Li and Nhan L Tran and Falk Schwendicke and Zuolin Jin and Lijian Jin and Liangyi Chen and Wei-fa Yang and Benyou Wang and Junwen Wang and Shan Jiang},
journal={npj Digital Medicine},
year={2026},
note={Accepted},
url={https://arxiv.org/abs/2605.24636}
}




