In humble defense of unexplainable black box prediction models in healthcare

EN BREF ...

Ce document est un article de point de vue (Commentary) qui propose une "défense humble" des modèles de prédiction « boîte noire » inexplicables dans le domaine des soins de santé. La complexité croissante des modèles, développés avec ou sans intelligence artificielle (IA), a alimenté un besoin ressenti d'ouvrir ces modèles complexes par des techniques d'IA expliquable (XAI). Les auteurs affirment que la XAI pourrait ne pas fournir d'informations pertinentes pour la prise de décision médicale. Son utilisation peut entraîner une "confiance mal placée" et une interprétation erronée de l'utilisabilité du modèle. La principale limitation de la XAI réside dans la "difficulté d'éviter l'interprétation causale" des résultats, y compris pour les professionnels de la santé. Le but de la recherche prédictive (diagnostique ou pronostique) est d'identifier des schémas de "corrélation", qui ne peuvent généralement pas servir de preuve fiable pour des relations causales. Les questions d'intervention, qui visent à déterminer comment guérir ou prévenir une maladie, sont de nature causale et ne peuvent pas être répondues par les modèles de prédiction ou la XAI. L'interprétation causale est naturelle pour les cliniciens, dont la compréhension de la biologie est intrinsèquement causale. Lorsque les explications XAI sont contre-intuitives ou contredisent les connaissances cliniques, cela peut conduire à un "faux rejet" du modèle. Inversement, si les explications sont congruentes avec la biologie, elles peuvent donner un "faux sentiment de sécurité" quant à la validité causale du modèle. Cette surinterprétation causale est potentiellement dangereuse, car elle peut nuire à la prise de décision médicale et mener à des conseils incorrects. Plutôt que d'attendre de la XAI qu'elle génère la confiance, celle-ci devrait être "fondée sur des validations rigoureuses" du modèle et des études d'impact. Il est crucial de tester la robustesse et d'effectuer des validation