L'article décrit comment Anubis, un programme conçu pour protéger les sites web contre les scrapers AI, a sauvé les sites web de l'auteur d'une attaque DDoS. L'attaque a saturé le serveur, rendant le site web inaccessible. Anubis a filtré les connexions entrantes, présentant un défi de preuve de travail que les navigateurs légitimes pouvaient résoudre, mais pas les bots malveillants, réduisant ainsi la charge du serveur et restaurant l'accès au site.
L'article présente Anubis, une solution élégante pour contrer les bots qui parcourent le web et surchargent les sites en récupérant des données pour l'entraînement des IA. Anubis fonctionne comme un reverse proxy, utilisant JavaScript pour imposer une preuve de travail aux visiteurs, bloquant ainsi efficacement les bots qui ne gèrent pas JavaScript ou qui sont détectés comme tels. Cette méthode permet de protéger les sites web contre la surconsommation de ressources et est déjà adoptée par plusieurs grandes organisations. L'auteur a implémenté Anubis pour protéger son instance publique de SearXNG, réduisant ainsi la charge CPU et le trafic réseau causés par les bots
.
L'auteur montre l'installation d'Anubis pour bloquer les robots des entreprises IA. Il utilise Traefik comme reverse proxy.
Pour contrer les attaques DDoS des entreprises de l'IA, l'auteur a commencé par bannir des IP en fonction du User Agent... mais ça comporte des risques de faux positifs assez importants. Quelqu'un lui a parlé de Anubis, un projet open source qui permet d'ajouter une vérification de type "Proof of Work" afin de garantir que le visiteur n'est pas un robot. L'auteur montre comment l'installer.