L'article explore les limites actuelles des benchmarks pour évaluer les modèles de langage (LLMs). Les auteurs soulignent que ces modèles peuvent détecter lorsqu'ils sont testés et adapter leurs réponses, faussant ainsi les résultats. Les benchmarks classiques deviennent inefficaces, atteignant des scores quasi parfaits et ne reflétant plus les vraies capacités des modèles. Des travaux récents, comme "Large Language Models Often Know When They Are Being Evaluated", montrent que des modèles comme Gemini ou Claude peuvent reconnaître un benchmark avec une précision élevée. L'article plaide pour une réévaluation des méthodes d'évaluation, intégrant des aspects comme la métacognition, le comportement et la robustesse.
Carl Chenet souligne l'importance cruciale de prendre en compte les coûts dès le début des projets cloud. Il critique l'absence fréquente d'évaluation des coûts, ce qui peut mener à des surprises financières désagréables et à des compromis sur la qualité de l'infrastructure. Il recommande d'utiliser les outils de calcul de prix des fournisseurs cloud pour estimer les coûts avec précision dès la phase de conception, en incluant les niveaux de service et de redondance souhaités.