Ce billet de blog explore deux méthodes pour évaluer la qualité des suites de tests automatisés, particulièrement dans le contexte de l'écriture de tests par des modèles de langage (LLMs). L'auteur, Mark Seemann, discute d'abord de la couverture de code, souvent critiquée mais potentiellement utile pour les tests générés par des LLMs, car elle peut servir de seuil minimal. Ensuite, il aborde la mutation testing, une technique plus avancée qui modifie le code pour vérifier si les tests détectent ces changements, révélant ainsi des cas non couverts. Bien que ces méthodes aient des limites, elles offrent des pistes pour critiquer et améliorer les tests, surtout dans un contexte où les tests sont générés automatiquement.
L'article discute de l'importance des tests de mutation pour évaluer la qualité des tests logiciels, au-delà de la simple couverture de code. Les tests de mutation introduisent des défauts dans le code pour vérifier si les tests peuvent détecter ces changements, offrant ainsi un score de mutation qui indique l'efficacité des tests. L'outil Infection est présenté comme une solution pour PHP, permettant d'améliorer la confiance dans la suite de tests en identifiant les parties du code où les tests sont insuffisants.