Intelligence artificielle : les grands modèles de langage approchent de leurs limites

"Les énormes investissements consommés pour l'entrainement des grands modèles de langage (LLMs) pour l'IA génératif (IAG) ne semblent plus se traduire par de meilleures performances en rapport avec le cout. Plusieurs analyses suggèrent que l'on aurait atteint une sorte de "mur" (ou plafond) infranchissable avec les techniques actuelles. On serait arrivé aux limites de la philosophie du "plus c’est grand, mieux c’est". En d'autres termes, toujours plus de données d'entrainement et de puissance de calcul et d'énergie générerait désormais des rendements décroissants à chaque nouvelle itération des LLMs. Cela montre que l'on approcherait du sommet de la courbe d'innovation en S pour cette technologie qui est peut-être en train d'atteindre ses limites naturelles. On voit aussi que les produits de différentes entreprises d'IA sont devenus presque indiscernables les uns des autres que ce soit ChatGPT, Claude, Gemini, ou Grok. Tous ces concurrents cherchent de nouvelles façons de faire progresser leurs produits et de se démarquer des autres..." Lire la suite