L’idée principale de ce guide est de montrer comment les coding agents (agents capables d’exécuter du code) peuvent améliorer le processus de test manuel pour détecter des problèmes non couverts par les tests automatisés. L’auteur souligne que même si les tests unitaires ou TDD sont utiles, ils ne remplacent pas une vérification humaine, notamment pour des aspects comme l’ergonomie ou des comportements inattendus. Les agents peuvent ainsi exécuter directement du code (via python -c pour Python ou des commandes shell) ou interagir avec des APIs et interfaces web via des outils comme curl ou Playwright, révélant des bugs invisibles aux tests automatisés.
L’auteur détaille des mécanismes concrets pour automatiser ce testing manuel selon le type de projet. Pour les bibliothèques Python, l’exécution directe de code est efficace, tandis que pour les applications web, l’utilisation de requêtes HTTP (curl) ou d’outils de navigation automatisée comme Playwright permet d’explorer les fonctionnalités et de valider leur bon fonctionnement dans un environnement réaliste. Ces méthodes complètent les tests automatisés en identifiant des problèmes liés à l’expérience utilisateur ou à des cas limites non anticipés.
Enfin, l’auteur insiste sur l’importance d’intégrer ces pratiques dans un workflow de développement, en combinant tests automatisés et vérifications manuelles via les agents. Il recommande de corriger les bugs détectés en appliquant une approche red/green TDD pour garantir une couverture permanente, tout en utilisant des outils spécialisés comme agent-browser ou son propre projet Rodney pour simplifier l’automatisation des tests dans des navigateurs réels.
L’article explique comment utiliser Playwright combiné à un modèle de langage (LLM) pour créer un testeur de logique d’interface utilisateur adversarial qui va au-delà des tests déterministes classiques en générant des actions intentionnellement hostiles contre une UI vivante afin de déceler des bugs fonctionnels difficiles à trouver, comme des corruptions d’état ou des contournements de validation, en bouclant extraction d’état UI → plan d’actions hostile → exécution et détection d’anomalies, puis en réinjectant les résultats pour affiner la recherche; il détaille l’architecture du système, la construction d’un plan d’attaque JSON par le LLM, l’exécution avec Playwright et les avantages de cette approche versus des scripts statiques, ainsi que les limitations et coûts associés.
Zwindler a testé la migration automatique d'un site Bloggrify vers Hugo en utilisant GitHub Copilot Agent, avec une limite d'une heure. L'IA a réussi à convertir la structure, installer Hugo, mettre en place le thème Stack et automatiser le build et les captures d'écran avec Playwright. Malgré quelques ajustements nécessaires pour le menu et les catégories, l'expérience a été globalement positive, montrant les capacités de l'IA en bash, CSS et automatisation. L'article détaille les étapes et les résultats de cette migration.
L'article explore comment le Playwright MCP (Model Context Protocol) en mode Agent peut naviguer de manière autonome dans une application, découvrir des fonctionnalités clés et générer des tests exécutables sans script manuel. À travers une démonstration en direct sur une application de films, l'auteur montre comment le MCP peut découvrir des cas limites, construire une couverture de test et même révéler des bugs non détectés manuellement. L'agent explore l'application, interagit avec elle comme un utilisateur réel, et génère automatiquement des tests basés sur ces interactions, offrant ainsi une approche puissante d'assistance par IA pour le développement et les tests.
L'article explique comment configurer des tests de régression visuelle automatisés en utilisant Playwright. L'auteur décrit comment il a utilisé Playwright pour capturer des captures d'écran avant et après des modifications sur une page web, puis comparer les résultats pour détecter des changements non intentionnels. Il partage son expérience en détaillant la configuration, la génération de tests dynamiques et les ajustements nécessaires pour gérer les cas particuliers. L'article met en avant la puissance de Playwright pour automatiser les tests visuels, tout en soulignant les défis liés à la stabilité et à la fiabilité des tests.
Tout est dans le titre
Une présentation succincte de Playwright, une solution open source de Microsoft pour l'automatisation de navigateur, dans la veine de Puppeteer
L'auteur explique quand et comment utiliser des tests E2E avec Puppeteer et Playwright