Post-deployment Monitoring of AI Performance in Intracranial Hemorrhage Detection by ChatGPT

EN BREF ...

Cet article étudie la surveillance post-déploiement d’un système d’intelligence artificielle (IA) appelé Aidoc, utilisé pour détecter les hémorragies intracrâniennes (ICH) sur des scanners cérébraux. L’objectif principal est d’évaluer la performance d’Aidoc en conditions réelles, sur 332 809 examens de 37 centres radiologiques aux États-Unis, et d’analyser l’apport de ChatGPT-4 Turbo, un grand modèle de langage (LLM), pour automatiser le suivi de cette performance. ChatGPT-4 Turbo a été utilisé pour extraire des données des rapports radiologiques et a montré une très haute précision (AUC de 0,996), avec une valeur prédictive positive parfaite et une valeur prédictive négative très élevée. L’étude a examiné les cas où Aidoc a produit des faux positifs, influencés notamment par le type de scanner (Philips augmentant le risque), la présence d’artefacts, et les caractéristiques cliniques telles que des symptômes neurologiques. La détection par Aidoc assistée des radiologues a permis une sensibilité de 93,6% et une spécificité parfaite (100%), confirmant une amélioration du diagnostic grâce à l’IA. Les cas de discordance ont révélé que certaines hémorragies détectées par l’IA ont été manquées par les radiologues, notamment en horaires de garde. L’étude souligne l’importance capitale d’un suivi continu des performances des modèles d’IA en milieu clinique, afin de détecter tout glissement de performance lié à des facteurs techniques, cliniques ou liés au matériel. L’intégration de modèles de langage tels que ChatGPT représente une solution évolutive et efficace pour cette surveillance. Les auteurs notent toutefois les limites liées à l’hétérogénéité des équipements, à la nature rétrospective de l’étude et aux risques d’automatisation excessive.