Discord a partagé les détails de l'évolution de son infrastructure de recherche, lui permettant d'indexer des trillions de messages et d'introduire des fonctionnalités comme la recherche multi-serveurs. Initialement, l'architecture reposait sur Elasticsearch avec une indexation paresseuse utilisant Redis, mais la croissance rapide a révélé des limites, notamment des pertes de messages et des surcharges des nœuds. Pour y remédier, Discord a migré vers Google Cloud PubSub pour une livraison garantie des messages et a optimisé l'indexation en masse avec un routeur intelligent. Ils ont également introduit des cellules Elasticsearch pour mieux répartir la charge et isoler les grands serveurs, tout en adoptant Kubernetes pour une orchestration plus efficace. Ces améliorations ont permis une indexation fiable, une meilleure gestion des grands serveurs, une scalabilité accrue et de nouvelles fonctionnalités comme la recherche multi-serveurs, améliorant ainsi l'expérience utilisateur.
L'article décrit une mise à jour majeure de l'infrastructure d'un data center personnel, surnommée "la Brasserie". L'autrice raconte comment un incident pendant les vacances de Noël, où son routeur principal est tombé en panne, l'a conduit à une refonte complète de son infrastructure. Elle a remplacé le matériel défectueux par un nouveau routeur MikroTik CCR 2004 et a restructuré son réseau en utilisant plusieurs VLANs pour mieux organiser et sécuriser son environnement. L'article détaille les étapes de la migration, y compris la reconfiguration des hyperviseurs XCP-ng, la mise en place de nouveaux VLANs, et la réinstallation de Xen Orchestra pour la gestion des machines virtuelles. L'infrastructure comprend désormais trois serveurs Dell R630, un NAS Synology, et plusieurs outils open source pour le web, les mails, la comptabilité, et le monitoring. L'autrice envisage des améliorations futures, comme l'ajout d'un cluster Kubernetes et l'amélioration de sa stack de monitoring.
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre (suite de https://www.antoinefi.net/index.php/2024/08/29/laboratoire-infra-linux-ha-3/ )
Tout est dans le titre... une sélection parmi les 250 conférences quand même :-)
Les expressions Terraform rendent les infrastructures plus dynamiques : elles comprennent les boucles, les conditions, les calculs et différentes fonctions. L'auteur présente l'ensemble des expressions possibles
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
YATAS permet de donner un aperçu général de la qualité d'une infrastructure "cloud" (pour l'instant limité à AWS)
Tout est dans le titre
DRE est l'acronyme de Data Reliability Engineering. Il s'agit de construire des infrastructures data plus résilientes en production. Pour ce faire, les data engineers peuvent appliquer des pratiques SRE.
L'auteur résume plusieurs conférences.
avec une installation / configuration automatisée par Ansible
Le but de l'article est d'arriver à se connecter depuis l'extérieur à une instance AWS EC2 se trouvant dans un réseau privé. Normalement, c'est impossible à moins d'avoir un bastion.
L'auteur décrit la manière la plus économique avec l'utilisation de SSM (gestionnaire de Session d'AWS, permettant entre autres d'ouvrir un shell interactif dans le navigateur sans passer par SSH)