Ce billet analyse le trafic généré par les bots d’intelligence artificielle sur un blog PHP, en comparant les politiques définies dans le robots.txt avec la réalité des logs. L’auteur, après avoir constaté l’absence de données concrètes, a examiné 13,5 jours de logs (108 217 requêtes) pour évaluer l’efficacité de sa stratégie de blocage. Malgré une politique robots.txt restrictive et des outils comme Caddy et CrowdSec, les crawlers d’entraînement (comme Amazonbot) ont persisté, tandis que GPTBot (OpenAI) était absent.
L’étude révèle des limites méthodologiques, notamment l’impossibilité de tracer un tiers du trafic (lié à Docker) et l’absence de données vérifiables pour certains bots (comme ceux d’Anthropic). Les crawlers d’entraînement, bien que minoritaires (1,4 % des requêtes), ont consommé une bande passante non négligeable (13,4 Mo). L’auteur souligne l’importance de mesurer avant d’agir, une approche qu’il qualifie de "règlement affiché sans vérification".
Enfin, le billet conclut que les bots d’IA n’ont apporté aucun trafic référent (referral), remettant en cause leur utilité pour un site personnel. L’auteur envisage de durcir sa politique, tout en gardant une approche réversible, et invite à une réflexion sur l’équilibre entre ouverture et protection des données.
L’auteur, administrateur d’un forum phpBB francophone de Mozilla depuis 2012, fait face à des pannes répétées de son serveur hébergé sur un VPS Gandi, causées par un trafic massif de bots d’IA aspirant le contenu. Contraint par des limitations techniques et budgétaires, il ne peut pas installer de solutions externes comme Cloudflare ou Anubis, et doit donc adapter la configuration existante.
Parmi les mesures efficaces mises en place, il a modifié les paramètres de phpBB pour limiter les recherches des invités à un intervalle de 60 secondes, désactivé l’affichage des invités en ligne et optimisé la méthode d’indexation de la recherche en passant à MySQL Fulltext. Ces ajustements ont réduit la charge sur la base de données, identifiée comme le principal goulot d’étranglement.
Côté infrastructure, il a augmenté le nombre maximal de connexions Apache (MaxRequestWorkers) et réduit le délai de KeepAliveTimeout, tout en ajustant légèrement la configuration PHP via opcache.ini. Ces optimisations, combinées à des scripts automatisés, ont permis de stabiliser le serveur malgré un trafic bot massif.
Une solution simple et efficace contre les bots qui viennent spam votre site web (et plus légère qu'Anubis)
Ce billet explique comment contourner le blocage des lecteurs RSS par Cloudflare, qui les considère comme des bots. L'auteur, Nicolas Simond, détaille la création d'une règle personnalisée dans l'interface Cloudflare pour exclure les flux RSS de la protection anti-bot, permettant ainsi aux lecteurs d'accéder normalement aux flux. Il mentionne aussi une limite : les adresses IP blacklistées ne pourront pas bénéficier de ce contournement.
Octopuce, hébergeur web, explique comment les bots d’IA, de plus en plus agressifs depuis 2023, saturent les serveurs de leurs clients en aspirant massivement des pages, même inutiles, et en contournant les blocages traditionnels (User-Agent, IP). En 2025, certains utilisent des millions d’adresses IP via des proxies ou des apps mobiles malveillantes (comme ProxyLib/LumiApps), rendant leur détection quasi impossible. Ces attaques génèrent un surcoût énergétique et technique, jamais comptabilisé dans le bilan carbone des géants de l’IA. Les solutions comme Anubis existent, mais restent lourdes à déployer. Un constat amer : l’ère de l’IA industrielle se paie aussi en ressources gaspillées et en ingénierie défensive.
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Un annuaire de bots
Tout est dans le titre - la liste des bots :
- @ThreadReaderApp - il condense un thread en un article
- @this_vid - pour télécharger une vidéo
- @RemindMe_OfThis - pour se rappeler de parcourir un article / une vidéo à une date / heure donnée
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Gonib est l'assistant personnel de l'auteur (un bot Irc) Il nous explique comment il le déploie sur son serveur
Tout est dans le titre
Tout est dans le titre
Créer un bot sur Discord est quelques chose de très simple. Bien qu'il existe plusieurs façon de faire, je vous propose de le faire fonctionner à l'aide de NodeJS et du module discord.js.