Les modèles de base en pathologie sont confrontés à des défis de robustesse : le nouveau benchmark PathoROB révèle les risques de déploiement clinique.

Contexte de l'industrie

Avec le développement rapide des modèles de base (Foundation Models, FMs) dans le domaine de la pathologie numérique, de plus en plus de modèles d'IA sont utilisés pour analyser les images de lames entières (WSI) et montrent des performances impressionnantes dans des tâches telles que la classification du cancer, la prédiction de biomarqueurs, etc. Cependant, ces modèles sont confrontés à un obstacle crucial lors de la transition de la recherche en laboratoire au déploiement clinique : la sensibilité aux caractéristiques non biologiques. Ces caractéristiques incluent les différences inter-centres telles que la préparation des tissus, les protocoles de coloration, les scanners, etc. Elles ne sont pas liées à la maladie elle-même, mais peuvent être erronément associées par le modèle, entraînant des biais de diagnostic.

Impact sur le marché

La publication du benchmark PathoROB révèle un manque systématique de robustesse des modèles de base actuels en pathologie. Cette étude a évalué 20 modèles et a constaté que tous présentent des défauts de robustesse au niveau des représentations et des sorties. Dans les tâches cliniquement pertinentes (par exemple, prédiction au niveau des patchs, des lames, recherche de cas et clustering), des représentations non robustes peuvent entraîner des erreurs de diagnostic graves, entravant une adoption sécurisée. Cette découverte a un impact direct sur le marché de l'IA en pathologie :

• Développeurs de modèles (comme les équipes derrière Virchow2, Atlas, etc.) doivent intégrer la robustesse dans le processus de validation des modèles, sous peine de perdre la confiance clinique.
• Établissements de santé et laboratoires de diagnostic seront plus prudents dans le choix et le déploiement d'outils de diagnostic assistés par IA, exigeant des preuves de robustesse.
• Investisseurs pourraient réévaluer les barrières technologiques des startups d'IA en pathologie ; la robustesse deviendra un facteur de différenciation clé.

Paysage concurrentiel

Le marché actuel des modèles de base en pathologie est dominé par plusieurs acteurs, incluant des équipes académiques et des entreprises (comme Aignostics, Paige.ai, etc.). Le benchmark PathoROB apporte une nouvelle dimension à la concurrence :

• Bénéficiaires : Les modèles capables de passer les tests de robustesse ou d'utiliser des techniques de robustesse post-traitement obtiendront un avantage concurrentiel. L'étude montre que des modèles plus robustes, l'alignement vision-langage et les méthodes de post-traitement peuvent réduire partiellement le risque, mais ne résolvent pas complètement le problème.
• Sous pression : Les modèles qui ne recherchent que la performance sur des tâches en aval en négligeant la robustesse peuvent rencontrer des obstacles au déploiement clinique, même avec une grande précision.
• Suiveurs potentiels : D'autres domaines biomédicaux (comme la radiologie, la génomique) devraient également faire l'objet d'un examen similaire de robustesse, favorisant le développement de benchmarks transversaux.

Implications pour les entreprises

• Pour les entreprises prévoyant d'adopter l'IA en pathologie (hôpitaux, centres de diagnostic indépendants, sociétés pharmaceutiques), les enseignements de cette étude sont clairs :- Avant d'acheter ou de collaborer, exiger du fournisseur du modèle un rapport d'évaluation de la robustesse adapté à l'environnement clinique cible, plutôt que de se concentrer uniquement sur les scores de référence généraux.
• Lors de la validation interne, inclure des données multicentriques pour tester la sensibilité du modèle aux variations techniques.
• Après le déploiement, mettre en place un mécanisme de surveillance continue, car de nouveaux centres, équipements ou protocoles peuvent introduire des erreurs imprévues.