Ce journal de Jérôme Flesch sur LinuxFr.org explore l'auto-hébergement des modèles de langage (LLM) en se concentrant sur le matériel et les optimisations pour l'inférence. L'auteur y détaille des solutions matérielles testées, comme des configurations basées sur des GPU Nvidia ou Intel, ainsi que des outils comme llama.cpp et llama-swap pour optimiser les performances. Il aborde aussi des techniques avancées comme la quantification, le multi-GPU ou l'utilisation de bus PCIe, tout en excluant les IA de génération d'images et certains moteurs d'inférence moins adaptés.

L'article insiste sur l'importance de maîtriser des notions techniques (Linux, Docker, PCIe) et propose des comparatifs de performances entre différentes configurations. Il met en garde contre les pièges matériels et logiciels, comme les limitations des GPU grand public ou les problèmes de compatibilité avec certains outils. L'auteur partage également des exemples concrets de configurations optimisées, notamment pour éviter les débordements mémoire.

En conclusion, le texte encourage l'auto-hébergement des LLM comme alternative aux solutions propriétaires, tout en soulignant la nécessité de bien choisir son matériel et ses optimisations. Il s'adresse à un public technique souhaitant maximiser l'efficacité de ses infrastructures locales.