Un très bon tutoriel pour l’installation d’Anubis
L'article explique comment protéger ses sites web contre les scrappers agressifs en utilisant Anubis et HAProxy. Il décrit un nouveau modèle d'affaires douteux où des SDKs transforment les terminaux des utilisateurs en botnets pour scraper des données. L'auteur propose une solution technique utilisant HAProxy pour détecter un trafic anormal et rediriger vers Anubis, qui impose une preuve de travail. La configuration inclut des sticky tables pour suivre les requêtes et des cookies pour éviter les boucles infinies. Cette méthode offre une protection efficace tout en maintenant une bonne expérience utilisateur.
L'article décrit comment Anubis, un programme conçu pour protéger les sites web contre les scrapers AI, a sauvé les sites web de l'auteur d'une attaque DDoS. L'attaque a saturé le serveur, rendant le site web inaccessible. Anubis a filtré les connexions entrantes, présentant un défi de preuve de travail que les navigateurs légitimes pouvaient résoudre, mais pas les bots malveillants, réduisant ainsi la charge du serveur et restaurant l'accès au site.
L'article présente Anubis, une solution élégante pour contrer les bots qui parcourent le web et surchargent les sites en récupérant des données pour l'entraînement des IA. Anubis fonctionne comme un reverse proxy, utilisant JavaScript pour imposer une preuve de travail aux visiteurs, bloquant ainsi efficacement les bots qui ne gèrent pas JavaScript ou qui sont détectés comme tels. Cette méthode permet de protéger les sites web contre la surconsommation de ressources et est déjà adoptée par plusieurs grandes organisations. L'auteur a implémenté Anubis pour protéger son instance publique de SearXNG, réduisant ainsi la charge CPU et le trafic réseau causés par les bots
.
L'auteur montre l'installation d'Anubis pour bloquer les robots des entreprises IA. Il utilise Traefik comme reverse proxy.
Pour contrer les attaques DDoS des entreprises de l'IA, l'auteur a commencé par bannir des IP en fonction du User Agent... mais ça comporte des risques de faux positifs assez importants. Quelqu'un lui a parlé de Anubis, un projet open source qui permet d'ajouter une vérification de type "Proof of Work" afin de garantir que le visiteur n'est pas un robot. L'auteur montre comment l'installer.