Il faut une étude de #Apple pour convaincre la communauté #LLM (en tout cas sur Linkedin) que les LRM ne scalent pas parce qu’ils... n’arrivent pas à résoudre les tours de Hanoï passé une certaine taille.
Si vous ne savez pas, les tours de Hanoï c'est un problème qui sert d’exercice aux étudiants en info. Des solutions informatiques, y en a des chiées sur le net. Mais si on augmente la taille du problème (en nombre de disques), les performances baissent jusqu'à atteindre un 0 flat, même quand on leur donne l’algorithme solution. Apparemment ils abandonnent, c'est trop compliqué.
Un bon résumé (en anglais) par Gary Marcus est donné ici: https://open.substack.com/pub/garymarcus/p/a-knockout-blow-for-llms Je partage la conclusion générale: les LLM ne sortent pas de leur données d'entraînement, et on a un argument supplémentaire pour justifier qu’ils ne "résonnent" pas.
On est donc encore loin de l’#IA génerale.