Ce journal de Jérôme Flesch explore les défis techniques et les limites de l’auto-hébergement de grands modèles de langage (LLM) sur du matériel grand public, notamment face aux contraintes de CPU et RAM. L’auteur remet en cause les affirmations simplistes selon lesquelles des cartes graphiques modestes (comme une Nvidia GTX 1060 de 6 Go) suffiraient pour faire tourner des LLM efficacement, soulignant que ces démonstrations se limitent souvent à des tests basiques sans contexte réel. Il aborde aussi les modèles Mixture-of-Experts (MoE), censés optimiser les ressources, mais dont les gains dépendent fortement du matériel et des paramètres utilisés.
L’article détaille une méthodologie de tests comparatifs sur plusieurs GPU (Nvidia RTX 3060, AMD RX 9070 XT, Intel Arc Pro B60), analysant les performances en prédiction de tokens et en préremplissage selon la taille du contexte. Les résultats montrent des dégradations significatives des vitesses d’inférence dès que la mémoire vive est saturée, même avec des techniques comme le swap ou des optimisations logicielles. L’auteur souligne que les benchmarks superficiels, souvent partagés par des influenceurs, ignorent ces réalités matérielles, donnant une fausse impression de faisabilité.
En conclusion, Flesch conclut que l’auto-hébergement de LLM reste complexe et coûteux en ressources, surtout pour des usages intensifs. Il critique les solutions marketing qui minimisent ces contraintes, rappelant que les développeurs privilégient des GPU haut de gamme pour des raisons de performance et de stabilité. Le journal se veut un plaidoyer pour une approche pragmatique, loin des promesses exagérées circulant sur les réseaux.
Ce journal de Jérôme Flesch sur LinuxFr.org explore l'auto-hébergement des modèles de langage (LLM) en se concentrant sur le matériel et les optimisations pour l'inférence. L'auteur y détaille des solutions matérielles testées, comme des configurations basées sur des GPU Nvidia ou Intel, ainsi que des outils comme llama.cpp et llama-swap pour optimiser les performances. Il aborde aussi des techniques avancées comme la quantification, le multi-GPU ou l'utilisation de bus PCIe, tout en excluant les IA de génération d'images et certains moteurs d'inférence moins adaptés.
L'article insiste sur l'importance de maîtriser des notions techniques (Linux, Docker, PCIe) et propose des comparatifs de performances entre différentes configurations. Il met en garde contre les pièges matériels et logiciels, comme les limitations des GPU grand public ou les problèmes de compatibilité avec certains outils. L'auteur partage également des exemples concrets de configurations optimisées, notamment pour éviter les débordements mémoire.
En conclusion, le texte encourage l'auto-hébergement des LLM comme alternative aux solutions propriétaires, tout en soulignant la nécessité de bien choisir son matériel et ses optimisations. Il s'adresse à un public technique souhaitant maximiser l'efficacité de ses infrastructures locales.
Morgan Murrah explique comment il a optimisé les animations de son site web en utilisant le compositeur (compositor), un processus GPU séparé qui améliore les performances des animations CSS. Il partage son expérience avec deux animations : des nuages en mouvement et un soleil avec des ondes pulsantes. En analysant les performances avec Chrome, il découvre que l'animation des nuages, utilisant la propriété left, génère une activité excessive dans le thread principal. Il apprend à convertir cette animation en une animation composée, utilisant la propriété transform au lieu de left, ce qui réduit significativement l'impact sur les performances. Un article accessible pour comprendre l'importance du compositeur dans les animations web.