Discord a partagé les détails de l'évolution de son infrastructure de recherche, lui permettant d'indexer des trillions de messages et d'introduire des fonctionnalités comme la recherche multi-serveurs. Initialement, l'architecture reposait sur Elasticsearch avec une indexation paresseuse utilisant Redis, mais la croissance rapide a révélé des limites, notamment des pertes de messages et des surcharges des nœuds. Pour y remédier, Discord a migré vers Google Cloud PubSub pour une livraison garantie des messages et a optimisé l'indexation en masse avec un routeur intelligent. Ils ont également introduit des cellules Elasticsearch pour mieux répartir la charge et isoler les grands serveurs, tout en adoptant Kubernetes pour une orchestration plus efficace. Ces améliorations ont permis une indexation fiable, une meilleure gestion des grands serveurs, une scalabilité accrue et de nouvelles fonctionnalités comme la recherche multi-serveurs, améliorant ainsi l'expérience utilisateur.
L'article explore l'intégration de fonctionnalités d'intelligence artificielle dans les applications, en se concentrant sur deux approches principales : le RAG (Retrieval-Augmented Generation) et le fine-tuning. Le RAG combine la génération de texte avec la recherche d'informations externes pour améliorer la qualité des réponses générées, tandis que le fine-tuning adapte un modèle pré-entraîné à des tâches spécifiques en le réentraînant sur des données spécialisées. L'article détaille les différences entre ces méthodes et propose une implémentation pratique d'un système RAG utilisant Symfony et Elasticsearch. Le processus inclut la création d'embeddings à partir de données, leur stockage dans une base de données vectorielle, et l'utilisation d'un modèle de langage pour générer des réponses contextuelles. Le projet, disponible sur GitHub, permet d'expérimenter avec différents cas d'utilisation et modèles d'embeddings. En conclusion, l'article souligne comment la combinaison de RAG et de fine-tuning peut créer des applications AI plus intelligentes et réactives.
Tout est dans le titre
Tout est dans le titre
L'auteur montre le monitoring des logs d'une application Symfony via Monolog / Filebeat / Elasticsearch et Kibana
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre