[{"data":1,"prerenderedAt":26},["ShallowReactive",2],{"news-zh-dentalgpt":3},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"category":9,"tags":10,"cover":15,"order":16,"author":17,"authorTitle":17,"authorSlug":17,"people":18,"bodyLang":5,"html":25},"dentalgpt","zh","ACL 2026 Findings｜自由动脉携手港中深等推出口腔多模态大模型 DentalGPT：7B 参数，五项口腔基准平均准确率超 GPT-5","DentalGPT 以 12 万余张牙科图像做多模态对齐，再用强化学习激发复杂推理，7B 参数在五项口腔基准上平均准确率 67.1%，超过 GPT-5。","2026-11-16","技术",[11,12,13,14],"Findings of ACL 2026","DentalGPT","口腔多模态大模型","强化学习","/images/news/dentalgpt/cover.jpg",9,"",[19,20,21,22,23,24],"蔡镇阳","冯相义","李健铨","王本友","王俊文","赵俊杰","\u003Cp>一张全景片要呈现整副牙列，充填体、根管治疗、阻生齿、根尖病变往往只占其中很小一块区域。对通用多模态大模型来说，“看见”这些细节已经不容易，据此做出准确判断更难。论文测试发现，在全景片基准 MMOral-OPG-Bench 上，GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4.5 等头部模型的准确率都没有超过 60%；即便打开“思考模式”，口腔任务上的提升也明显小于其他医学领域。\u003C/p>\n\u003Cp>为此，自由动脉携手香港中文大学（深圳）、南方医科大学深圳口腔医院（坪山）、香港大学牙医学院、北京大学等机构推出口腔多模态大模型 DentalGPT。团队汇集 \u003Cstrong>12 万余张\u003C/strong>牙科图像及诊断相关描述，先做多模态对齐，再用强化学习激发复杂推理。只有 \u003Cstrong>7B\u003C/strong> 参数的 DentalGPT 在五项口腔基准上平均准确率达到 \u003Cstrong>67.1%\u003C/strong>，高于 GPT-5 的 59.2%。DentalGPT 于 2025 年 12 月 4 日在深圳发布，相关论文已发表于 Findings of ACL 2026。\u003C/p>\n\u003Cblockquote>\n\u003Cp>\u003Cstrong>论文标题\u003C/strong>：DentalGPT: Incentivizing Multimodal Reasoning in Dentistry\u003Cbr>\u003Cstrong>发表\u003C/strong>：Findings of ACL 2026（2026 年 7 月）\u003Cbr>\u003Cstrong>论文链接\u003C/strong>：\u003Ca href=\"https://aclanthology.org/2026.findings-acl.135/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2026.findings-acl.135/\u003C/a>\u003Cbr>\u003Cstrong>预印本\u003C/strong>：\u003Ca href=\"https://arxiv.org/abs/2512.11558\" target=\"_blank\" rel=\"noopener noreferrer\">https://arxiv.org/abs/2512.11558\u003C/a>\u003Cbr>\u003Cstrong>项目主页\u003C/strong>：\u003Ca href=\"https://github.com/FreedomIntelligence/DentalGPT\" target=\"_blank\" rel=\"noopener noreferrer\">https://github.com/FreedomIntelligence/DentalGPT\u003C/a>\u003Cbr>\u003Cstrong>作者单位\u003C/strong>：南方医科大学深圳口腔医院（坪山）、香港中文大学（深圳）、北京大学、自由动脉、香港大学牙医学院等\u003C/p>\n\u003C/blockquote>\n\u003Ch2>背景：通用大模型为什么“看不懂”牙片\u003C/h2>\n\u003Cp>论文从两个层面分析了原因：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>感知层面\u003C/strong>：牙科图文数据稀缺，模型对牙科影像的视觉理解不足，推理时能利用的线索有限。作者在预印本中统计，大规模医学图文数据集 PubMedVision 里涉及牙齿的图像只占约 0.3%。\u003C/li>\n\u003Cli>\u003Cstrong>认知层面\u003C/strong>：针对口腔问题的强化学习仍缺乏探索，模型难以习得口腔领域特有的推理模式。\u003C/li>\n\u003C/ul>\n\u003Cp>论文用一个例子说明问题：让模型数出一张全景片上有充填体的牙齿（正确答案是 10 颗），GPT-5 给出约 6 颗，Qwen3-VL-235B-A22B 的非思考版本数出 16 颗，思考版本反复自我检查后停在 8 颗。模型能找到相关的视觉特征，却没能据此得出正确答案。\u003C/p>\n\u003Ch2>方法：先学会“看”，再学会“想”\u003C/h2>\n\u003Cp>DentalGPT 以 Qwen2.5-VL-7B-Instruct 为基座，构建过程分为数据收集、多模态对齐和强化学习三步（图 1），两个训练阶段都更新全部参数。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/dentalgpt/fig1.png\" alt=\"图 1：DentalGPT 的构建流程：数据收集、第一阶段多模态对齐、第二阶段强化学习。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 1：DentalGPT 的构建流程：数据收集、第一阶段多模态对齐、第二阶段强化学习。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Ch3>数据：12 万余张牙科图像\u003C/h3>\n\u003Cp>团队从多个来源汇集口内照片、全景片和局部全景片，论文称这是迄今规模最大的口腔标注多模态数据集，主要包括四部分：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>PMC-Dental-Caption-47k\u003C/strong>：从 PubMed Central 论文中筛选的牙科图像及原文图注；\u003C/li>\n\u003Cli>\u003Cstrong>Opensource-Dental-Classification-49k\u003C/strong>：整合多个开源分类数据集，图像带疾病标签；\u003C/li>\n\u003Cli>\u003Cstrong>Opensource-Dental-Detection-31k\u003C/strong>：来自病变定位数据集，带牙齿和病变的检测框；\u003C/li>\n\u003Cli>\u003Cstrong>专家标注数据\u003C/strong>：来自网络、医院影像库和公开数据集，由专业牙医标注，交叉验证一致率低于 85% 的标注被过滤掉。\u003C/li>\n\u003C/ul>\n\u003Ch3>第一阶段：多模态对齐\u003C/h3>\n\u003Cp>团队用 GPT-5 参考原始标签和描述，为图像生成“只描述可见特征、不做诊断假设”的观察式描述（Caption），帮助模型把视觉细节和牙科概念对应起来；同时构造模拟真实诊断场景的问答数据，以及按 HuatuoGPT-o1 方法生成的复杂推理（思维链）数据，并混入通用领域数据，保持模型的通用理解能力。全部数据再经 GPT-5-mini 二次核验，与原始描述或标签不符的样本被剔除，各类数据的保留率都在 90% 以上。\u003C/p>\n\u003Ch3>第二阶段：强化学习\u003C/h3>\n\u003Cp>团队另选第一阶段没有用过的牙科图像，依据原始标签生成约 1 万道可以自动判分的选择题，用 GRPO（Group Relative Policy Optimization，组相对策略优化）训练：每道题采样 10 个回答，模型先写出推理过程、再给出答案；奖励由答案正确性（占 90%）和格式规范（占 10%）组成，回答长度上限为 8192 个 token，给较长的推理链留出空间。\u003C/p>\n\u003Ch2>实验：7B 模型，平均准确率超过 GPT-5\u003C/h2>\n\u003Cp>评测覆盖五个基准：全景片问答基准 MMOral-OPG-Bench；从 PMC-VQA、OmniMedVQA、MedXpertQA-MM 中筛出牙科样本构成的医学 VQA 牙科子集；以及三个由牙医交叉验证标注的分类基准，分别是 Intraoral-Classification-I（300 例，临床规范拍摄的口内照片）、Intraoral-Classification-II（206 例，患者自拍的网络口内照片）和 Panorama-Classification（156 例，医院采集的全景片）。\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>模型\u003C/th>\n\u003Cth>MMOral-OPG\u003C/th>\n\u003Cth>医学 VQA 牙科子集\u003C/th>\n\u003Cth>口内照片 I\u003C/th>\n\u003Cth>口内照片 II\u003C/th>\n\u003Cth>全景片分类\u003C/th>\n\u003Cth>平均\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>Qwen2.5-VL-7B-Instruct（基座）\u003C/td>\n\u003Ctd>27.0\u003C/td>\n\u003Ctd>46.1\u003C/td>\n\u003Ctd>48.8\u003C/td>\n\u003Ctd>61.8\u003C/td>\n\u003Ctd>50.0\u003C/td>\n\u003Ctd>46.7\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>HuatuoGPT-Vision\u003C/td>\n\u003Ctd>36.3\u003C/td>\n\u003Ctd>38.5\u003C/td>\n\u003Ctd>55.2\u003C/td>\n\u003Ctd>51.2\u003C/td>\n\u003Ctd>53.8\u003C/td>\n\u003Ctd>47.0\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>MedGemma-27B-it\u003C/td>\n\u003Ctd>50.6\u003C/td>\n\u003Ctd>41.8\u003C/td>\n\u003Ctd>52.6\u003C/td>\n\u003Ctd>56.2\u003C/td>\n\u003Ctd>61.0\u003C/td>\n\u003Ctd>52.4\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Claude-Sonnet-4.5-Thinking\u003C/td>\n\u003Ctd>50.3\u003C/td>\n\u003Ctd>53.9\u003C/td>\n\u003Ctd>55.2\u003C/td>\n\u003Ctd>66.7\u003C/td>\n\u003Ctd>55.8\u003C/td>\n\u003Ctd>56.4\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Gemini-2.5-Pro-Thinking\u003C/td>\n\u003Ctd>45.7\u003C/td>\n\u003Ctd>\u003Cstrong>57.4\u003C/strong>\u003C/td>\n\u003Ctd>57.0\u003C/td>\n\u003Ctd>65.2\u003C/td>\n\u003Ctd>64.1\u003C/td>\n\u003Ctd>57.9\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>LLaMA-4-Maverick\u003C/td>\n\u003Ctd>51.4\u003C/td>\n\u003Ctd>53.9\u003C/td>\n\u003Ctd>61.1\u003C/td>\n\u003Ctd>67.1\u003C/td>\n\u003Ctd>59.0\u003C/td>\n\u003Ctd>58.5\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5\u003C/td>\n\u003Ctd>47.7\u003C/td>\n\u003Ctd>54.3\u003C/td>\n\u003Ctd>59.3\u003C/td>\n\u003Ctd>71.0\u003C/td>\n\u003Ctd>63.5\u003C/td>\n\u003Ctd>59.2\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>DentalGPT\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>60.0\u003C/strong>\u003C/td>\n\u003Ctd>54.4\u003C/td>\n\u003Ctd>\u003Cstrong>64.1\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>72.9\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>84.0\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>67.1\u003C/strong>\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>表：五项口腔基准上的准确率（%），节选自论文表 3，每列最高分加粗。GPT-5、带 Thinking 后缀的模型和 DentalGPT 在评测时开启了复杂推理模式。\u003C/p>\n\u003Cp>几个要点：\u003C/p>\n\u003Cul>\n\u003Cli>DentalGPT 平均准确率 \u003Cstrong>67.1%\u003C/strong>，比 GPT-5 高 7.9 个百分点，比基座模型提升 20.4 个百分点。\u003C/li>\n\u003Cli>在三个专家标注基准上均为最高分，其中全景片分类达到 \u003Cstrong>84.0%\u003C/strong>，基座模型和 GPT-5 分别为 50.0% 和 63.5%。\u003C/li>\n\u003Cli>在 MMOral-OPG-Bench 上以 60.0% 居首；在医学 VQA 牙科子集上为 54.4%，仅次于 Gemini-2.5-Pro-Thinking 的 57.4%。\u003C/li>\n\u003Cli>医学多模态模型 HuatuoGPT-Vision 和 MedGemma-27B-it 的平均准确率分别为 47.0% 和 52.4%，通用医学模型在口腔任务上同样表现有限。\u003C/li>\n\u003C/ul>\n\u003Cp>论文指出，DentalGPT 以 7B 的规模，达到或超过了许多参数量超过 1000 亿的通用模型。\u003C/p>\n\u003Ch3>牙医怎么看\u003C/h3>\n\u003Cp>团队还邀请 4 位执业牙医参与评估：从医学教材和牙医执业考试中选取 80 张牙科图像，让各模型找出图中所有可能的口腔问题，再由牙医从明显错误、诊断合理性和关键信息遗漏等方面，对 DentalGPT 与其他模型的回答两两比较（图 2）。对比 GPT-5 和 Gemini-2.5 Pro，DentalGPT 的胜率分别为 28.3% 和 30.0%，落败比例分别为 16.7% 和 21.7%，其余为平局；对比 Claude Sonnet-4.5 和 Qwen3-VL-235B，胜率分别为 63.9% 和 87.5%。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/dentalgpt/fig2.png\" alt=\"图 2：执业牙医两两对比评估结果，Win、Tie、Loss 分别为 DentalGPT 胜、平、负的比例（%）。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 2：执业牙医两两对比评估结果，Win、Tie、Loss 分别为 DentalGPT 胜、平、负的比例（%）。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Ch3>两个阶段各起什么作用\u003C/h3>\n\u003Cp>消融实验显示，只做第一阶段多模态对齐，模型在五项基准上的平均准确率就从 46.7% 升到 63.2%；再加上强化学习，进一步升到 67.1%，五项基准全部提升，其中全景片分类从 78.4% 升到 84.0%。\u003C/p>\n\u003Cp>团队还比较了分别使用 0%、30% 和 100% 第一阶段数据的模型在后续强化学习中的表现：没有经过牙科对齐的模型，强化学习带来的奖励增长很有限；对齐数据越多，强化学习能达到的上限越高（图 3）。论文认为，多模态对齐为强化学习提供了更丰富的探索空间，从而进一步激发口腔领域的复杂推理。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/dentalgpt/fig3.png\" alt=\"图 3：使用不同比例第一阶段数据时，强化学习过程中验证集准确率（奖励）的变化。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 3：使用不同比例第一阶段数据时，强化学习过程中验证集准确率（奖励）的变化。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Cp>回到数充填体的例子：基座模型的答案是 0 颗；完成第一阶段后，模型能识别出大部分充填牙，数出 9 颗；完成全部训练、开启复杂推理的 DentalGPT 中途也数错过，但经过反复核对，最终给出了正确的 10 颗。\u003C/p>\n\u003Ch2>意义与展望\u003C/h2>\n\u003Cp>DentalGPT 的结果说明，高质量的牙科数据加上“先对齐、再强化”的分阶段训练，可以让一个 7B 模型在口腔影像理解和问答任务上取得很强的表现。\u003C/p>\n\u003Cp>论文也写明了局限：高质量的牙科标注数据仍然稀缺，依赖专家标注和人工参与的数据构建成本高、难以规模化，后续需要探索更高效的人机协作方式。作者同时强调，DentalGPT 目前不用于直接临床诊疗，真实部署前还需要进一步适配和严格验证，临床决策应由具备资质的专业人员把关。\u003C/p>\n\u003Cp>在自由动脉，DentalGPT 被定位为口腔应用的专业模型与研究底座。它承接了团队在 HuatuoGPT 系列上积累的医疗大模型方法，复杂推理数据的构建就沿用了 HuatuoGPT-o1 的做法。\u003C/p>\n\u003Ch2>团队介绍\u003C/h2>\n\u003Cp>DentalGPT 由多家机构合作完成。论文共同第一作者为蔡镇阳（香港中文大学（深圳））、Jiaming Zhang（南方医科大学深圳口腔医院（坪山））和赵俊杰（香港大学牙医学院、北京协同创新研究院）；通讯作者为 Liangyi Chen（北京大学）、王俊文（香港大学牙医学院）、Shan Jiang（南方医科大学深圳口腔医院（坪山））和王本友（香港中文大学（深圳）等）。\u003C/p>\n\u003Cp>自由动脉多位核心成员参与了这项研究：CTO 蔡镇阳是香港中文大学（深圳）博士研究生，参与 HuatuoGPT-o1、DentalGPT 等模型研发；COO 赵俊杰为香港大学牙医学院与北大联合培养博士，从事牙科多模态大模型研发；首席医学科学家王俊文是香港大学牙医学院长聘教授；首席 AI 科学家王本友是香港中文大学（深圳）数据科学学院助理教授、博士生导师；CEO 李健铨和医疗产品副总裁冯相义也是论文作者。\u003C/p>\n",1794841746242]