Ce billet explique la différence fondamentale entre les Message Queues (files d'attente de messages) et les systèmes Pub/Sub (publication/abonnement), souvent confondus. Les Message Queues, comme RabbitMQ ou SQS, utilisent une structure FIFO où les messages sont traités une fois et supprimés, idéales pour des tâches uniques comme l'envoi d'emails ou des jobs CI/CD. Les systèmes Pub/Sub, comme Kafka, utilisent un log append-only où les messages restent disponibles pour être relus, parfaits pour l'analytics en temps réel ou le traitement d'événements. Choisir le mauvais outil peut entraîner des problèmes techniques majeurs. L'auteur détaille les cas d'usage et les avantages de chaque système.
Discord a partagé les détails de l'évolution de son infrastructure de recherche, lui permettant d'indexer des trillions de messages et d'introduire des fonctionnalités comme la recherche multi-serveurs. Initialement, l'architecture reposait sur Elasticsearch avec une indexation paresseuse utilisant Redis, mais la croissance rapide a révélé des limites, notamment des pertes de messages et des surcharges des nœuds. Pour y remédier, Discord a migré vers Google Cloud PubSub pour une livraison garantie des messages et a optimisé l'indexation en masse avec un routeur intelligent. Ils ont également introduit des cellules Elasticsearch pour mieux répartir la charge et isoler les grands serveurs, tout en adoptant Kubernetes pour une orchestration plus efficace. Ces améliorations ont permis une indexation fiable, une meilleure gestion des grands serveurs, une scalabilité accrue et de nouvelles fonctionnalités comme la recherche multi-serveurs, améliorant ainsi l'expérience utilisateur.
L'article fournit un guide complet pour configurer et optimiser la réplication logique Pub/Sub dans PostgreSQL, en mettant l'accent sur la flexibilité et la fiabilité du système.
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Intéressant l'auteur décrit l'ensemble de la chaîne de production de son site., y compris la publication sur les réseaux sociaux !
La suite, la suite ! (de http://linuxfr.org/users/goffi/journaux/parlons-xmpp-episode-7-cas-pratiques-sleekxmpp-et-sat ) :-)