Technologie clé de FreedomAI · Findings of ACL 2026

DentalGPT

Grand modèle multimodal dentaire

Alignement multimodal sur plus de 120 000 images dentaires, puis apprentissage par renforcement pour le raisonnement complexe : DentalGPT, avec 7B paramètres, atteint 67,1 % de précision moyenne sur cinq benchmarks dentaires, contre 59,2 % pour GPT-5.

Le 4 décembre 2025, le grand modèle multimodal dentaire DentalGPT a été présenté au Symposium Shenzhen–Hong Kong sur l'IA en soins dentaires (Shenzhen)
Le 4 décembre 2025, le grand modèle multimodal dentaire DentalGPT a été présenté au Symposium Shenzhen–Hong Kong sur l'IA en soins dentaires (Shenzhen)
Décision ACL 2026 pour l'article DentalGPT : Findings
Accepté dans Findings of ACL 2026
7Bparamètres
120 000+images dentaires annotées
67.1%précision moyenne sur cinq benchmarks dentaires
84.0%précision en classification des panoramiques
4dentistes diplômés dans l'évaluation

Modèle : d'abord apprendre à « voir », puis à « raisonner »

L'IA dentaire fait face à quatre difficultés, et DentalGPT répond à chacune. À lire aussi : Benyou Wang, « Pourquoi entraîner un modèle dentaire dédié » →

01

Données dentaires rares

Dans PubMedVision, un grand jeu de données médicales image-texte, seulement 0,3 % environ des images concernent les dents.

La réponse de DentalGPTUn jeu de données spécialisé de plus de 120 000 photos intrabuccales et radiographies panoramiques ; les annotations d'experts dont la concordance croisée est inférieure à 85 % sont écartées.

02

Détails d'image difficiles à lire

Obturations, traitements canalaires et lésions périapicales n'occupent souvent qu'une petite partie d'une radiographie panoramique ; les meilleurs modèles généraux restent tous sous 60 % sur un benchmark de questions sur panoramiques.

La réponse de DentalGPTÉtape 1, alignement multimodal : des descriptions d'observation qui ne décrivent que les éléments visibles, pour relier les détails visuels aux concepts dentaires.

03

Raisonnement clinique complexe

Plus on se rapproche des cas réels, plus c'est difficile : sur les questions exigeant un raisonnement individualisé, 12 modèles de pointe n'obtiennent que 35,71 % en moyenne.

La réponse de DentalGPTÉtape 2, apprentissage par renforcement : entraînement GRPO sur environ 10 000 questions notées automatiquement pour stimuler le raisonnement en plusieurs étapes.

04

Exigences de sécurité élevées

Parmi les réponses des modèles de pointe à de vrais cas, 31,01 % ont été jugées dangereuses et 4,51 % pourraient causer des dommages irréversibles.

La réponse de DentalGPTDes évaluations multinationales de niveau expert mettent continuellement le modèle à l'épreuve ; DentalAgent fournit des preuves vérifiables, et les décisions cliniques restent toujours aux dentistes.

Données d'entraînement : plus de 120 000 images dentaires

PMC-Dental-Caption-47k

Images dentaires et légendes d'origine sélectionnées dans des articles de PubMed Central.

Opensource-Dental-Classification-49k

Plusieurs jeux de classification open source réunis, avec des étiquettes de pathologie pour chaque image.

Opensource-Dental-Detection-31k

Issus de jeux de localisation de lésions, avec des boîtes englobantes pour les dents et les lésions.

Données annotées par des experts

Issues du web, d'archives d'imagerie hospitalières et de jeux publics, annotées par des dentistes ; les annotations dont la concordance croisée est inférieure à 85 % sont écartées.

Entraînement en deux étapes

  1. 1
    Étape 1 : alignement multimodal

    En s'appuyant sur les étiquettes d'origine, GPT-5 rédige des descriptions d'observation qui ne décrivent que les éléments visibles, sans hypothèse diagnostique ; s'y ajoutent des questions-réponses simulant des situations diagnostiques et des données de raisonnement complexe produites selon la méthode HuatuoGPT-o1, mélangées à des données générales pour préserver les capacités générales. Toutes les données sont revérifiées par GPT-5-mini.

  2. 2
    Étape 2 : apprentissage par renforcement

    Avec des images dentaires non utilisées à l'étape 1, environ 10 000 QCM notés automatiquement sont générés à partir des étiquettes d'origine pour l'entraînement GRPO : 10 réponses sont échantillonnées par question, la récompense combine exactitude (90 %) et format (10 %), et les réponses sont limitées à 8 192 tokens.

Construction de DentalGPT : collecte des données, étape 1 d'alignement multimodal et étape 2 d'apprentissage par renforcement (source : article)
Construction de DentalGPT : collecte des données, étape 1 d'alignement multimodal et étape 2 d'apprentissage par renforcement (source : article)

Résultats : un modèle de 7B dont la précision moyenne dépasse celle de GPT-5

Précision (%) sur cinq benchmarks dentaires, extraite du tableau 3 de l'article

ModèleMMOral-OPGVQA médicale (sous-ensemble dentaire)Photos intrabuccales IPhotos intrabuccales IIClassification des panoramiquesMoyenne
Qwen2.5-VL-7B-Instruct (modèle de base)27.046.148.861.850.046.7
HuatuoGPT-Vision36.338.555.251.253.847.0
MedGemma-27B-it50.641.852.656.261.052.4
Claude-Sonnet-4.5-Thinking50.353.955.266.755.856.4
Gemini-2.5-Pro-Thinking45.757.457.065.264.157.9
LLaMA-4-Maverick51.453.961.167.159.058.5
GPT-547.754.359.371.063.559.2
DentalGPT (7B)60.054.464.172.984.067.1

Source : Tableau 3 de l'article ; GPT-5, les modèles Thinking et DentalGPT ont été évalués avec le raisonnement complexe activé

01

67,1 % de précision moyenne

7,9 points de plus que GPT-5 (59,2 %) et 20,4 points de plus que le modèle de base (46,7 %).

02

84,0 % en classification des panoramiques

Meilleur sur les trois benchmarks de classification annotés et contre-validés par des dentistes ; en classification des panoramiques, le modèle de base et GPT-5 obtiennent 50,0 % et 63,5 %.

03

Évaluation par des dentistes

Quatre dentistes diplômés ont comparé par paires les réponses sur 80 images dentaires : face à GPT-5 et Gemini-2.5-Pro, DentalGPT l'emporte dans 28,3 % et 30,0 % des cas et perd dans 16,7 % et 21,7 % ; face à Claude-Sonnet-4.5 et Qwen3-VL-235B, il l'emporte dans 63,9 % et 87,5 % des cas.

04

Les deux étapes sont indispensables

Avec le seul alignement de l'étape 1, la précision moyenne passe de 46,7 % à 63,2 % ; l'apprentissage par renforcement la porte à 67,1 %. Plus il y a de données d'alignement, plus le plafond de l'apprentissage par renforcement est élevé.

Comparaison par paires par 4 dentistes diplômés : part des victoires, égalités et défaites de DentalGPT (%) (source : article)
Comparaison par paires par 4 dentistes diplômés : part des victoires, égalités et défaites de DentalGPT (%) (source : article)
Précision de validation pendant l'apprentissage par renforcement avec différentes proportions de données de l'étape 1 (source : article)
Précision de validation pendant l'apprentissage par renforcement avec différentes proportions de données de l'étape 1 (source : article)

DentalAgent : un agent pour les tâches dentaires professionnelles

Un grand modèle au centre, qui combine entrée multimodale, outils professionnels et connaissances médicales pour des évaluations assistées fondées sur des preuves

Architecture de DentalAgent : entrée multimodale, grand modèle central, couche d'exécution des tâches dentaires et résultats étayés par des preuves
01

Utilisation d'outils professionnels

Des outils de vision pour détecter les dents avec la numérotation FDI, classer les pathologies, segmenter, repérer des points clés et mesurer traitent les photos intrabuccales et les radiographies panoramiques ; le grand modèle planifie l'ordre d'appel et intègre les résultats.

02

Appui sur des preuves médicales

Interroge une base de connaissances dentaires faite de manuels, de recommandations et de cas, et utilise les observations des outils avec les connaissances retrouvées comme preuves pour produire constats, images annotées et rapports structurés.

03

Optimisation continue

Une boucle d'auto-amélioration récursive analyse les traces d'exécution et la consommation de tokens, affine les compétences et vérifie performance et coût, pour réduire le coût d'inférence sans perdre en performance.

Conçu comme une aide au jugement : il fournit des constats et des rapports étayés que le dentiste vérifie. Une évaluation préliminaire est en cours sur des tâches dentaires textuelles et d'imagerie.

Lire la présentation technique de DentalAgent →

VR/AR et visualisation 3D : des soins dentaires plus compréhensibles et moins stressants

Au-delà des grands modèles, nous utilisons l'immersion et la visualisation 3D pour améliorer l'expérience des patients et l'éducation à la santé bucco-dentaire.

Vue d'ensemble du système d'accompagnement en VR de l'anxiété dentaire déclenché par les événements (source : article)
arXiv 2026 · Interaction humain-machine

Accompagnement en VR de l'anxiété dentaire

Une extraction simulée de dent de sagesse est découpée en 5 moments d'anxiété, chacun associé à un soutien adapté : explication de l'acte, stimuli visuels et sonores atténués, guidage respiratoire et compagnon virtuel. Le patient peut faire une pause ou sortir à tout moment. Dans une étude randomisée auprès de 24 personnes, les scores d'anxiété du groupe d'intervention étaient en moyenne inférieurs de 12,8 points à ceux du groupe témoin (sur une échelle de 100).

Thème pathologies bucco-dentaires de DentalVista : démonstration par étapes de la carie, de la déminéralisation à l'atteinte pulpaire
Visualisation 3D · Formation médicale

DentalVista : anatomie dentaire et humaine en 3D

Basé sur le projet open source BodyVista. Explorez dans votre navigateur l'anatomie humaine en 3D et des thèmes de pathologies bucco-dentaires. Les maladies bucco-dentaires sont organisées en 11 groupes et 141 entrées selon la CIM-11, et des thèmes comme la carie montrent l'évolution de la maladie par étapes animées. Coupes, mesures, annotations et défis d'anatomie ; sur écran tactile, faites pivoter avec un doigt et zoomez avec deux.

Données multimodales et système de données par pathologie

Un socle de données dentaires multimodales couvrant images, textes, suivi au long cours et connaissances par pathologie

90 M+enregistrements médicaux d'entraînement et d'évaluation
60,51 M de pairesdonnées médicales image-texte, PubMedVision-Plus
26 Mquestions-réponses médicales en chinois, Huatuo-26M
120 000+images dentaires annotées, DentalGPT

Patrimoine de données

L'équipe a constitué plus de 90 millions d'enregistrements médicaux d'entraînement et d'évaluation — textes, images, vidéos, plusieurs langues —, dont des données médicales de pré-entraînement et d'affinage et des données annotées par des experts.

Type de donnéesSourceVolume
Jeu de pré-entraînement médical image-texte
PubMedVision-Plus60 513 727 paires dont environ 12 M de paires de haute qualité
Jeu d'alignement et de dialogue pour LLM médicaux multimodaux
PubMedVision1 294 062
Jeu de dialogue médical multimodal
Med-MAT2 360 000
Jeu de génération de vidéos médicales multimodales
MedVideoCap-55K55 000
Jeu de textes médicaux multilingues
ApolloMoEDataset292 914
Jeu de textes médicaux à grande échelle
Huatuo-26M26 000 000
Jeu de textes de raisonnement complexe
medical-o1-reasoning-SFT50 000
Jeu d'entraînement dentaire multimodal
DentalGPT240 000 dont 120 000 images dentaires

Plateforme d'annotation

Une plateforme intégrée de production de données : gestion des images médicales, annotation collaborative, relecture et contrôle qualité, pré-annotation par IA.

Interface de gestion des images médicalesInterface d'annotation collaborative des images médicales

Évaluation dentaire : GlobalDentBench et OmniDentBench

Des évaluations multinationales de niveau expert révèlent les faiblesses de raisonnement du modèle et guident l'amélioration continue de DentalGPT

« Ce modèle d'IA est-il sûr, efficace et utilisable en situation clinique réelle ? »

Validation mondiale et collaboration multicentrique de DentalGPT

La première validation collaborative mondiale d'un grand modèle dentaire, avec un réseau de validation de l'IA entre institutions, régions et populations

Accords de collaboration internationaux

Accords de collaboration internationaux et pays et régions participants

Collaboration multicentrique

Collaboration avec des experts cliniques

Des spécialistes dentaires participent à la validation du modèle et à l'évaluation de ses capacités.

Collaboration de données entre établissements

Un système de validation de données multicentrique et inter-établissements.

Construction commune des benchmarks

Construire ensemble un système d'évaluation standardisé de l'IA dentaire.

Recherche conjointe

Soutien aux projets communs, aux études multicentriques et à la valorisation des résultats.

Fondations : de HuatuoGPT-o1 à DentalGPT

DentalGPT s'appuie sur la longue expérience de l'équipe en grands modèles médicaux : ses données de raisonnement complexe suivent la méthode de HuatuoGPT-o1, et ses capacités multimodales vont de la compréhension à la génération

Raisonnement médical complexe

HuatuoGPT-o1 : un grand modèle médical qui raisonne lentement et réfléchit longuement

Contrairement aux problèmes de mathématiques, le raisonnement médical est difficile à vérifier. HuatuoGPT-o1 a introduit des « problèmes médicaux vérifiables » et un vérificateur médical : le modèle est d'abord affiné sur des chemins de raisonnement complexes trouvés sous la conduite du vérificateur, puis amélioré par apprentissage par renforcement avec des récompenses issues du vérificateur. Avec seulement 40 000 problèmes vérifiables, il a dépassé des modèles de référence généraux et médicaux, et suscité un large intérêt.

Les données de raisonnement complexe de la première étape de DentalGPT suivent cette méthode, et la deuxième étape utilise elle aussi des questions notées automatiquement pour l'apprentissage par renforcement. Le CTO de FreedomAI, Zhenyang Cai, et son directeur scientifique IA, Benyou Wang, sont tous deux auteurs de l'article.

Méthode en deux étapes de HuatuoGPT-o1 : recherche de chemins de raisonnement complexes à partir de problèmes médicaux vérifiables, puis optimisation par apprentissage par renforcementExemple de dialogue d'un modèle de raisonnement médical complexe
  1. Junying Chen, Zhenyang Cai, Ke Ji, Xidong Wang, Wanlong Liu, Rongsheng Wang, Jianye Hou, Benyou Wang. HuatuoGPT-o1, Towards Medical Complex Reasoning with LLMs. arXiv:2412.18925
  2. Junying Chen, Chi Gui, Anningzhe Gao, Ke Ji, Xidong Wang, Xiang Wan, Benyou Wang. CoD, Towards an Interpretable Medical Agent using Chain of Diagnosis. arXiv:2407.13301
Génération de vidéos médicales

MedGen : un modèle de génération de vidéos médicales

Les vidéos médicales comptent pour la formation clinique, l'enseignement et la simulation, mais les modèles généraux de génération vidéo produisent souvent des contenus irréalistes ou erronés face à des consignes médicales. L'équipe FreedomAI de l'Université chinoise de Hong Kong (Shenzhen) et FreedomAI ont publié MedVideoCap-55K (plus de 55 000 extraits de situations médicales réelles, présenté dans l'article comme le premier jeu de données à grande échelle, varié et richement décrit pour la génération de vidéos médicales), puis entraîné MedGen dessus. Sur plusieurs benchmarks, sa qualité visuelle et sa précision médicale dominent les modèles open source et rivalisent avec des systèmes commerciaux.

Applications de MedGen

MedGen produit des vidéos de haute qualité tout en préservant l'exactitude médicale, pour la simulation chirurgicale, l'enseignement médical, l'animation de vulgarisation et la téléconsultation.

Augmentation de données pour des tâches en aval

Les tâches vidéo médicales comme la reconnaissance des étapes chirurgicales, la détection de lésions ou l'aide au diagnostic se heurtent souvent au manque d'annotations, au déséquilibre des échantillons et aux contraintes de confidentialité. En combinant des vidéos générées par MedGen aux données d'entraînement d'origine, nous avons validé MedGen comme outil d'augmentation de données sur plusieurs tâches de classification de vidéos médicales.

Comparaison de l'augmentation de données avec MedGen

MedGen et HunyuanVideo comme augmentation de données sur trois tâches supervisées de vidéo médicale

Applications de MedGen
Applications de MedGen : simulation de patients, éducation à la santé, formation chirurgicale, animation médicale et imagerie médicale

Équipe et institutions partenaires

Affiliations des auteurs

Shenzhen Stomatology Hospital (Pingshan) of Southern Medical UniversityUniversité chinoise de Hong Kong (Shenzhen)Peking UniversityFreedomAIFaculté de médecine dentaire, Université de Hong KongBeijing Institute of Collaborative InnovationInstitut national des sciences des données de santé (Shenzhen)Shenzhen Loop Area InstituteInstitut de recherche sur les mégadonnées de Shenzhen