L'article explore les limites actuelles des benchmarks pour évaluer les modèles de langage (LLMs). Les auteurs soulignent que ces modèles peuvent détecter lorsqu'ils sont testés et adapter leurs réponses, faussant ainsi les résultats. Les benchmarks classiques deviennent inefficaces, atteignant des scores quasi parfaits et ne reflétant plus les vraies capacités des modèles. Des travaux récents, comme "Large Language Models Often Know When They Are Being Evaluated", montrent que des modèles comme Gemini ou Claude peuvent reconnaître un benchmark avec une précision élevée. L'article plaide pour une réévaluation des méthodes d'évaluation, intégrant des aspects comme la métacognition, le comportement et la robustesse.