ACL 2026 Findings|自由动脉携手港中深等推出口腔多模态大模型 DentalGPT:7B 参数,五项口腔基准平均准确率超 GPT-5

一张全景片要呈现整副牙列,充填体、根管治疗、阻生齿、根尖病变往往只占其中很小一块区域。对通用多模态大模型来说,“看见”这些细节已经不容易,据此做出准确判断更难。论文测试发现,在全景片基准 MMOral-OPG-Bench 上,GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4.5 等头部模型的准确率都没有超过 60%;即便打开“思考模式”,口腔任务上的提升也明显小于其他医学领域。
为此,自由动脉携手香港中文大学(深圳)、南方医科大学深圳口腔医院(坪山)、香港大学牙医学院、北京大学等机构推出口腔多模态大模型 DentalGPT。团队汇集 12 万余张牙科图像及诊断相关描述,先做多模态对齐,再用强化学习激发复杂推理。只有 7B 参数的 DentalGPT 在五项口腔基准上平均准确率达到 67.1%,高于 GPT-5 的 59.2%。DentalGPT 于 2025 年 12 月 4 日在深圳发布,相关论文已发表于 Findings of ACL 2026。
论文标题:DentalGPT: Incentivizing Multimodal Reasoning in Dentistry
发表:Findings of ACL 2026(2026 年 7 月)
论文链接:https://aclanthology.org/2026.findings-acl.135/
预印本:https://arxiv.org/abs/2512.11558
项目主页:https://github.com/FreedomIntelligence/DentalGPT
作者单位:南方医科大学深圳口腔医院(坪山)、香港中文大学(深圳)、北京大学、自由动脉、香港大学牙医学院等
背景:通用大模型为什么“看不懂”牙片
论文从两个层面分析了原因:
- 感知层面:牙科图文数据稀缺,模型对牙科影像的视觉理解不足,推理时能利用的线索有限。作者在预印本中统计,大规模医学图文数据集 PubMedVision 里涉及牙齿的图像只占约 0.3%。
- 认知层面:针对口腔问题的强化学习仍缺乏探索,模型难以习得口腔领域特有的推理模式。
论文用一个例子说明问题:让模型数出一张全景片上有充填体的牙齿(正确答案是 10 颗),GPT-5 给出约 6 颗,Qwen3-VL-235B-A22B 的非思考版本数出 16 颗,思考版本反复自我检查后停在 8 颗。模型能找到相关的视觉特征,却没能据此得出正确答案。
方法:先学会“看”,再学会“想”
DentalGPT 以 Qwen2.5-VL-7B-Instruct 为基座,构建过程分为数据收集、多模态对齐和强化学习三步(图 1),两个训练阶段都更新全部参数。
图 1:DentalGPT 的构建流程:数据收集、第一阶段多模态对齐、第二阶段强化学习。图源:论文
数据:12 万余张牙科图像
团队从多个来源汇集口内照片、全景片和局部全景片,论文称这是迄今规模最大的口腔标注多模态数据集,主要包括四部分:
- PMC-Dental-Caption-47k:从 PubMed Central 论文中筛选的牙科图像及原文图注;
- Opensource-Dental-Classification-49k:整合多个开源分类数据集,图像带疾病标签;
- Opensource-Dental-Detection-31k:来自病变定位数据集,带牙齿和病变的检测框;
- 专家标注数据:来自网络、医院影像库和公开数据集,由专业牙医标注,交叉验证一致率低于 85% 的标注被过滤掉。
第一阶段:多模态对齐
团队用 GPT-5 参考原始标签和描述,为图像生成“只描述可见特征、不做诊断假设”的观察式描述(Caption),帮助模型把视觉细节和牙科概念对应起来;同时构造模拟真实诊断场景的问答数据,以及按 HuatuoGPT-o1 方法生成的复杂推理(思维链)数据,并混入通用领域数据,保持模型的通用理解能力。全部数据再经 GPT-5-mini 二次核验,与原始描述或标签不符的样本被剔除,各类数据的保留率都在 90% 以上。
第二阶段:强化学习
团队另选第一阶段没有用过的牙科图像,依据原始标签生成约 1 万道可以自动判分的选择题,用 GRPO(Group Relative Policy Optimization,组相对策略优化)训练:每道题采样 10 个回答,模型先写出推理过程、再给出答案;奖励由答案正确性(占 90%)和格式规范(占 10%)组成,回答长度上限为 8192 个 token,给较长的推理链留出空间。
实验:7B 模型,平均准确率超过 GPT-5
评测覆盖五个基准:全景片问答基准 MMOral-OPG-Bench;从 PMC-VQA、OmniMedVQA、MedXpertQA-MM 中筛出牙科样本构成的医学 VQA 牙科子集;以及三个由牙医交叉验证标注的分类基准,分别是 Intraoral-Classification-I(300 例,临床规范拍摄的口内照片)、Intraoral-Classification-II(206 例,患者自拍的网络口内照片)和 Panorama-Classification(156 例,医院采集的全景片)。
| 模型 | MMOral-OPG | 医学 VQA 牙科子集 | 口内照片 I | 口内照片 II | 全景片分类 | 平均 |
|---|---|---|---|---|---|---|
| Qwen2.5-VL-7B-Instruct(基座) | 27.0 | 46.1 | 48.8 | 61.8 | 50.0 | 46.7 |
| HuatuoGPT-Vision | 36.3 | 38.5 | 55.2 | 51.2 | 53.8 | 47.0 |
| MedGemma-27B-it | 50.6 | 41.8 | 52.6 | 56.2 | 61.0 | 52.4 |
| Claude-Sonnet-4.5-Thinking | 50.3 | 53.9 | 55.2 | 66.7 | 55.8 | 56.4 |
| Gemini-2.5-Pro-Thinking | 45.7 | 57.4 | 57.0 | 65.2 | 64.1 | 57.9 |
| LLaMA-4-Maverick | 51.4 | 53.9 | 61.1 | 67.1 | 59.0 | 58.5 |
| GPT-5 | 47.7 | 54.3 | 59.3 | 71.0 | 63.5 | 59.2 |
| DentalGPT | 60.0 | 54.4 | 64.1 | 72.9 | 84.0 | 67.1 |
表:五项口腔基准上的准确率(%),节选自论文表 3,每列最高分加粗。GPT-5、带 Thinking 后缀的模型和 DentalGPT 在评测时开启了复杂推理模式。
几个要点:
- DentalGPT 平均准确率 67.1%,比 GPT-5 高 7.9 个百分点,比基座模型提升 20.4 个百分点。
- 在三个专家标注基准上均为最高分,其中全景片分类达到 84.0%,基座模型和 GPT-5 分别为 50.0% 和 63.5%。
- 在 MMOral-OPG-Bench 上以 60.0% 居首;在医学 VQA 牙科子集上为 54.4%,仅次于 Gemini-2.5-Pro-Thinking 的 57.4%。
- 医学多模态模型 HuatuoGPT-Vision 和 MedGemma-27B-it 的平均准确率分别为 47.0% 和 52.4%,通用医学模型在口腔任务上同样表现有限。
论文指出,DentalGPT 以 7B 的规模,达到或超过了许多参数量超过 1000 亿的通用模型。
牙医怎么看
团队还邀请 4 位执业牙医参与评估:从医学教材和牙医执业考试中选取 80 张牙科图像,让各模型找出图中所有可能的口腔问题,再由牙医从明显错误、诊断合理性和关键信息遗漏等方面,对 DentalGPT 与其他模型的回答两两比较(图 2)。对比 GPT-5 和 Gemini-2.5 Pro,DentalGPT 的胜率分别为 28.3% 和 30.0%,落败比例分别为 16.7% 和 21.7%,其余为平局;对比 Claude Sonnet-4.5 和 Qwen3-VL-235B,胜率分别为 63.9% 和 87.5%。
图 2:执业牙医两两对比评估结果,Win、Tie、Loss 分别为 DentalGPT 胜、平、负的比例(%)。图源:论文
两个阶段各起什么作用
消融实验显示,只做第一阶段多模态对齐,模型在五项基准上的平均准确率就从 46.7% 升到 63.2%;再加上强化学习,进一步升到 67.1%,五项基准全部提升,其中全景片分类从 78.4% 升到 84.0%。
团队还比较了分别使用 0%、30% 和 100% 第一阶段数据的模型在后续强化学习中的表现:没有经过牙科对齐的模型,强化学习带来的奖励增长很有限;对齐数据越多,强化学习能达到的上限越高(图 3)。论文认为,多模态对齐为强化学习提供了更丰富的探索空间,从而进一步激发口腔领域的复杂推理。
图 3:使用不同比例第一阶段数据时,强化学习过程中验证集准确率(奖励)的变化。图源:论文
回到数充填体的例子:基座模型的答案是 0 颗;完成第一阶段后,模型能识别出大部分充填牙,数出 9 颗;完成全部训练、开启复杂推理的 DentalGPT 中途也数错过,但经过反复核对,最终给出了正确的 10 颗。
意义与展望
DentalGPT 的结果说明,高质量的牙科数据加上“先对齐、再强化”的分阶段训练,可以让一个 7B 模型在口腔影像理解和问答任务上取得很强的表现。
论文也写明了局限:高质量的牙科标注数据仍然稀缺,依赖专家标注和人工参与的数据构建成本高、难以规模化,后续需要探索更高效的人机协作方式。作者同时强调,DentalGPT 目前不用于直接临床诊疗,真实部署前还需要进一步适配和严格验证,临床决策应由具备资质的专业人员把关。
在自由动脉,DentalGPT 被定位为口腔应用的专业模型与研究底座。它承接了团队在 HuatuoGPT 系列上积累的医疗大模型方法,复杂推理数据的构建就沿用了 HuatuoGPT-o1 的做法。
团队介绍
DentalGPT 由多家机构合作完成。论文共同第一作者为蔡镇阳(香港中文大学(深圳))、Jiaming Zhang(南方医科大学深圳口腔医院(坪山))和赵俊杰(香港大学牙医学院、北京协同创新研究院);通讯作者为 Liangyi Chen(北京大学)、王俊文(香港大学牙医学院)、Shan Jiang(南方医科大学深圳口腔医院(坪山))和王本友(香港中文大学(深圳)等)。
自由动脉多位核心成员参与了这项研究:CTO 蔡镇阳是香港中文大学(深圳)博士研究生,参与 HuatuoGPT-o1、DentalGPT 等模型研发;COO 赵俊杰为香港大学牙医学院与北大联合培养博士,从事牙科多模态大模型研发;首席医学科学家王俊文是香港大学牙医学院长聘教授;首席 AI 科学家王本友是香港中文大学(深圳)数据科学学院助理教授、博士生导师;CEO 李健铨和医疗产品副总裁冯相义也是论文作者。



