[{"data":1,"prerenderedAt":22},["ShallowReactive",2],{"news-zh-huatuogpt-research-journey":3},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"category":9,"tags":10,"cover":15,"order":16,"author":17,"authorTitle":17,"authorSlug":17,"people":18,"bodyLang":5,"html":21},"huatuogpt-research-journey","zh","研究脉络｜港中深 HuatuoGPT 系列五代演进：从医疗对话到纯强化学习适配，27B 模型 HealthBench 总分 70.1","自 2023 年起，港中深研究团队与合作者围绕 HuatuoGPT 系列持续研究医疗大模型，自由动脉多位核心成员是论文作者，这些积累也是 DentalGPT 的方法基础。","2026-11-16","技术",[11,12,13,14],"HuatuoGPT","医疗大模型","强化学习","医学多模态","/images/news/huatuogpt-research-journey/cover.jpg",11,"",[19,20],"蔡镇阳","王本友","\u003Cp>让通用大模型成为可靠的医疗助手，要过好几道关：说话要像医生，要掌握扎实的医学知识，要看得懂医学影像，还要能在复杂问题上一步步推理。\u003C/p>\n\u003Cp>自 2023 年起，香港中文大学（深圳）的研究团队与合作者围绕 HuatuoGPT 系列持续开展医疗大模型研究：从专业医疗对话、医学知识适配、医学图文理解，一路走到复杂医疗推理和纯强化学习的领域适配，并沉淀了 Huatuo-26M、PubMedVision 等数据集和 CMB 评测基准。自由动脉多位核心团队成员参与了其中多项工作。这条研究线，也为自由动脉的口腔多模态大模型 DentalGPT 提供了数据建设、模型训练和专业评测的方法基础。\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>首次公开\u003C/th>\n\u003Cth>工作\u003C/th>\n\u003Cth>关注问题\u003C/th>\n\u003Cth>发表情况\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>2023 年 5 月\u003C/td>\n\u003Ctd>HuatuoGPT\u003C/td>\n\u003Ctd>专业医疗对话\u003C/td>\n\u003Ctd>Findings of EMNLP 2023\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>2023 年 11 月\u003C/td>\n\u003Ctd>HuatuoGPT-II\u003C/td>\n\u003Ctd>医学知识适配\u003C/td>\n\u003Ctd>COLM 2024\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>2024 年 6 月\u003C/td>\n\u003Ctd>HuatuoGPT-Vision\u003C/td>\n\u003Ctd>医学图文理解\u003C/td>\n\u003Ctd>EMNLP 2024\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>2024 年 12 月\u003C/td>\n\u003Ctd>HuatuoGPT-o1\u003C/td>\n\u003Ctd>复杂医疗推理\u003C/td>\n\u003Ctd>Findings of ACL 2025\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>2026 年 10 月\u003C/td>\n\u003Ctd>HuatuoGPT-3\u003C/td>\n\u003Ctd>强化学习领域适配\u003C/td>\n\u003Ctd>arXiv 预印本（2026）\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>表：HuatuoGPT 系列时间线。时间为论文首次公开的时间，发表情况为论文发表的会议或预印本平台。\u003C/p>\n\u003Ch2>2023：从会回答问题到像医生一样沟通\u003C/h2>\n\u003Ch3>HuatuoGPT：真实医生数据与蒸馏数据结合\u003C/h3>\n\u003Cp>HuatuoGPT 是面向医疗咨询的大模型。它的核心做法是在监督微调阶段同时使用两类数据：一类是从 ChatGPT 蒸馏的数据，回答详尽、表达规范；另一类是来自医生的真实数据，更接近医生综合问诊、诊断的方式。团队再训练一个奖励模型，以 RLAIF（Reinforcement Learning from AI Feedback，基于 AI 反馈的强化学习）的方式，把两类数据的长处对齐到模型上。\u003C/p>\n\u003Cp>论文报告，HuatuoGPT 在 GPT-4 评测、人工评测和医学基准上取得了当时开源模型中最好的医疗咨询表现，并且在多数情况下超过了它的“老师”ChatGPT。论文发表于 Findings of EMNLP 2023。\u003C/p>\n\u003Ch3>HuatuoGPT-II：一个阶段完成医学适配\u003C/h3>\n\u003Cp>把通用模型变成医学专家，常规做法是“继续预训练 + 监督微调”两步走，但两个阶段的数据在语言、体裁和格式上差异很大。HuatuoGPT-II 把两个阶段的异构数据统一转成简单的“输入—输出”对，用一个阶段完成医学领域适配。\u003C/p>\n\u003Cp>团队在中医等 ChatGPT 表现相对较弱的领域验证了这一做法：HuatuoGPT-II 在医师资格考试等多项中文医学基准上取得领先表现，在一次全新的国家医师资格考试测试中取得最佳成绩。论文发表于 COLM 2024。\u003C/p>\n\u003Ch3>数据与评测：Huatuo-26M 和 CMB\u003C/h3>\n\u003Cp>同一时期，团队公开了 \u003Cstrong>Huatuo-26M\u003C/strong>，这是一个包含约 \u003Cstrong>2,600 万\u003C/strong>条问答对的中文医疗问答数据集，可用于检索与生成任务评测、检索增强生成的外部知识，以及模型的继续训练（论文后来发表于 Findings of NAACL 2025）。\u003C/p>\n\u003Cp>评测方面，团队提出了中文综合医学评测基准 \u003Cstrong>CMB\u003C/strong>（Comprehensive Medical Benchmark in Chinese）。作者认为，直接翻译英文医学评测会与本土医疗环境“水土不服”，因此 CMB 完全立足于中文语言和文化环境设计，中医是其中的重要组成部分，但并非全部。论文发表于 NAACL 2024。\u003C/p>\n\u003Ch2>2024：看懂影像，学会推理\u003C/h2>\n\u003Ch3>HuatuoGPT-Vision：130 万条样本注入医学视觉知识\u003C/h3>\n\u003Cp>受隐私和标注成本限制，高质量的医学图文数据一直稀缺。团队从 PubMed 精炼医学图文对，并让能看到图像的 GPT-4V 对数据去噪、重新组织，构建了含 \u003Cstrong>130 万条\u003C/strong>医学视觉问答样本的 \u003Cstrong>PubMedVision\u003C/strong>。\u003C/p>\n\u003Cp>实验表明，PubMedVision 能显著提升现有多模态大模型的医学能力，包括在 MMMU 健康与医学赛道上的表现；医学专家的人工检查也验证了数据质量。基于这一数据训练的 34B 医学多模态模型 HuatuoGPT-Vision，在医学多模态场景中的表现领先于其他开源模型。论文发表于 EMNLP 2024。\u003C/p>\n\u003Ch3>HuatuoGPT-o1：用可验证问题训练复杂推理\u003C/h3>\n\u003Cp>数学题可以对答案，医学推理却很难验证。HuatuoGPT-o1 把有挑战性的医学考试选择题改写成开放式、答案唯一且可客观核对的“可验证医学问题”，并引入医学验证器（Verifier）检查模型输出是否正确。\u003C/p>\n\u003Cp>训练分两步（图 1）：先由验证器引导，搜索出正确的复杂推理轨迹，用来微调模型；再以验证器给出的奖励做强化学习（PPO），进一步提升复杂推理能力。论文显示，只用 \u003Cstrong>4 万道\u003C/strong>可验证医学问题，HuatuoGPT-o1 就超过了通用和医学专用的开源基线模型；复杂推理能提升医疗问题的求解能力，并且能从强化学习中获益更多。论文以 \u003Cem>Towards Medical Complex Reasoning with LLMs through Medical Verifiable Problems\u003C/em> 为题发表于 Findings of ACL 2025。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/huatuogpt-research-journey/fig1.png\" alt=\"图 1：HuatuoGPT-o1 的两阶段训练。左：在验证器引导下搜索复杂推理轨迹并用于微调；右：用验证器奖励进行强化学习。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 1：HuatuoGPT-o1 的两阶段训练。左：在验证器引导下搜索复杂推理轨迹并用于微调；右：用验证器奖励进行强化学习。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Ch2>2026：HuatuoGPT-3，不做监督微调，直接用强化学习适配\u003C/h2>\n\u003Cp>“先监督微调（SFT）、再强化学习（RL）”是目前主流的领域适配流程，冷启动方便，但可能降低模型的探索多样性，多阶段优化也带来额外的复杂度。纯在线策略（on-policy）强化学习则面临冷启动难题。把教师模型的输出混入训练的混合策略强化学习也有两个问题：训练早期，教师输出中有价值的 token 学得太慢，作者称之为“梯度饥饿”（Gradient Starvation）；训练后期，过时的教师输出反而把模型往回拉，称为“教师分布锚定”（Teacher-Distribution Anchoring）。\u003C/p>\n\u003Cp>为此，团队提出 \u003Cstrong>OnePO\u003C/strong>（One-stage Policy Optimization，单阶段策略优化），把教师输出当作“临时向导”（图 2）：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>自适应目标演化\u003C/strong>（Adaptive Objective Evolution）：对当前模型概率很低、但有信息量的教师 token 加强学习信号，缓解梯度饥饿；\u003C/li>\n\u003Cli>\u003Cstrong>教师退役\u003C/strong>（Teacher Retirement）：只有当教师输出的奖励严格高于当前模型同组输出的最高奖励时，才保留它参与训练；模型一旦追上，教师输出自动“退役”，训练回到标准的在线策略强化学习。\u003C/li>\n\u003C/ul>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/huatuogpt-research-journey/fig2.png\" alt=\"图 2：OnePO 方法概览。训练早期由教师输出加速领域知识学习，随后逐步回到模型自主探索。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 2：OnePO 方法概览。训练早期由教师输出加速领域知识学习，随后逐步回到模型自主探索。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Cp>在医学领域，OnePO 只用 2 万条训练样本，就在 HealthBench（Total）上达到 67.2 分，比 SFT+RL 和纯 RL 分别高 2.7 分和 7.4 分。扩大训练数据后，团队训练出开源医疗大模型 \u003Cstrong>HuatuoGPT-3\u003C/strong> 系列，包括基于 Qwen3.5-9B 和 Qwen3.8-27B 的 9B、27B 两个版本。其中 27B 版本在 HealthBench（Total）上得分 \u003Cstrong>70.1\u003C/strong>，在 HealthBench Professional 上得分 \u003Cstrong>71.4\u003C/strong>，高于论文对比的 GPT-6 Astra（high）的 57.8 分和 62.5 分（图 3）。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/huatuogpt-research-journey/fig3.png\" alt=\"图 3：HealthBench Professional 得分与模型参数规模。图源：论文\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 3：HealthBench Professional 得分与模型参数规模。图源：论文\u003C/span>\u003C/span>\u003C/p>\n\u003Cp>HuatuoGPT-3 技术报告于 2026 年 10 月在 arXiv 公开，是 ICML 2026 论文 OnePO 的扩展版本，模型与代码已开源。\u003C/p>\n\u003Ch2>从 HuatuoGPT 到 DentalGPT\u003C/h2>\n\u003Cp>口腔是一个高度依赖影像、知识又非常专门的领域，HuatuoGPT 系列积累的方法在这里得到了延续：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>推理数据的构造方法\u003C/strong>：DentalGPT 构建复杂推理（思维链）数据时，直接沿用了 HuatuoGPT-o1 的方法。\u003C/li>\n\u003Cli>\u003Cstrong>从通用医学数据到专科数据\u003C/strong>：DentalGPT 预印本统计，PubMedVision 中涉及牙齿的图像只占约 0.3%，团队因此专门构建了 12 万余张牙科图像的数据集。\u003C/li>\n\u003Cli>\u003Cstrong>专科评测\u003C/strong>：在 DentalGPT 的对比实验中，医学多模态模型 HuatuoGPT-Vision 在五项口腔基准上的平均准确率为 47.0%，经过口腔数据训练和强化学习的 7B 模型 DentalGPT 为 67.1%。DentalGPT 论文认为，领域专属的数据和训练策略对口腔 AI 至关重要。\u003C/li>\n\u003Cli>\u003Cstrong>强化学习\u003C/strong>：从 HuatuoGPT-o1 的 PPO，到 DentalGPT 的 GRPO，再到 HuatuoGPT-3 的 OnePO，强化学习贯穿了这条研究线的后半程。\u003C/li>\n\u003C/ul>\n\u003Ch2>团队与影响\u003C/h2>\n\u003Cp>以上成果来自香港中文大学（深圳）的研究团队及合作者，自由动脉核心团队成员参与了其中多项工作。自由动脉首席 AI 科学家王本友是上述论文的作者之一；自由动脉 CTO 蔡镇阳是 HuatuoGPT-o1 的第二作者，也是 HuatuoGPT-Vision 的作者之一。系列中 HuatuoGPT-II、HuatuoGPT-Vision、HuatuoGPT-o1 和 HuatuoGPT-3 的第一作者均为 Junying Chen。\u003C/p>\n\u003Ch2>论文与资源\u003C/h2>\n\u003Cul>\n\u003Cli>HuatuoGPT（Findings of EMNLP 2023）：\u003Ca href=\"https://aclanthology.org/2023.findings-emnlp.725/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2023.findings-emnlp.725/\u003C/a>\u003C/li>\n\u003Cli>HuatuoGPT-II（COLM 2024）：\u003Ca href=\"https://openreview.net/forum?id=eJ3cHNu7ss\" target=\"_blank\" rel=\"noopener noreferrer\">https://openreview.net/forum?id=eJ3cHNu7ss\u003C/a>\u003C/li>\n\u003Cli>HuatuoGPT-Vision（EMNLP 2024）：\u003Ca href=\"https://aclanthology.org/2024.emnlp-main.418/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2024.emnlp-main.418/\u003C/a>\u003C/li>\n\u003Cli>HuatuoGPT-o1（Findings of ACL 2025）：\u003Ca href=\"https://aclanthology.org/2025.findings-acl.751/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2025.findings-acl.751/\u003C/a>\u003C/li>\n\u003Cli>HuatuoGPT-3（arXiv 2026）：\u003Ca href=\"https://arxiv.org/abs/2610.05966\" target=\"_blank\" rel=\"noopener noreferrer\">https://arxiv.org/abs/2610.05966\u003C/a>\u003C/li>\n\u003Cli>Huatuo-26M（Findings of NAACL 2025）：\u003Ca href=\"https://aclanthology.org/2025.findings-naacl.211/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2025.findings-naacl.211/\u003C/a>\u003C/li>\n\u003Cli>CMB（NAACL 2024）：\u003Ca href=\"https://aclanthology.org/2024.naacl-long.343/\" target=\"_blank\" rel=\"noopener noreferrer\">https://aclanthology.org/2024.naacl-long.343/\u003C/a>\u003C/li>\n\u003Cli>代码与模型：\u003Ca href=\"https://github.com/FreedomIntelligence\" target=\"_blank\" rel=\"noopener noreferrer\">https://github.com/FreedomIntelligence\u003C/a>\u003C/li>\n\u003C/ul>\n",1794841746244]