MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks

EN BREF ...

Bien que les grands modèles de langage (LLM) atteignent des scores quasi-parfaits aux examens de licence médicale, ces évaluations ne reflètent pas adéquatement la complexité et la diversité de la pratique clinique réelle. Les benchmarks existants souffrent de trois limitations clés : des questions qui ne correspondent pas aux situations du monde réel, un usage limité des données réelles des dossiers de santé électroniques (DSE), et une diversité de tâches restreinte, se concentrant principalement sur les examens et les diagnostics. Environ 64% des évaluations de LLM en santé ignorent des opérations hospitalières essentielles comme les tâches administratives, la documentation clinique et la communication avec les patients. Pour combler ces lacunes, est introduit MedHELM (Holistic Evaluation of Large Language Models for Medical Tasks), un cadre d'évaluation extensible visant à évaluer la performance des LLM sur des tâches médicales concrètes. MedHELM se distingue par une taxonomie validée par des cliniciens, une suite complète de benchmarks couvrant l'ensemble de la taxonomie, et une comparaison systématique des LLM avec des méthodes d'évaluation améliorées et une analyse coût-performance. Ce cadre est conçu pour fournir des standards d'évaluation cohérents et réalistes pour l'application des LLM dans le domaine médical