LLMFit est un outil open source en ligne de commande, écrit en Rust, qui aide à choisir un modèle de langage (LLM) adapté à son matériel pour une utilisation locale. Il analyse automatiquement la configuration de l'ordinateur (RAM, CPU, GPU/VRAM, compatibilité CUDA/Metal/ROCm) et recommande des modèles compatibles parmi plus de 157 options issues de 30 fournisseurs, en tenant compte de critères comme la qualité, la vitesse d'inférence, la mémoire requise et la longueur de contexte. L'outil propose aussi des filtres par usage (chat, coding, raisonnement, etc.) et s'intègre avec des solutions comme Ollama, llama.cpp ou LM Studio.
L'auteur partage son expérience avec LLMFit sur un MacBook Pro M2, illustrant comment l'outil simplifie le choix des modèles en évitant les essais infructueux. Il souligne les fonctionnalités avancées comme la sélection automatique de la quantization optimale, la gestion des architectures MoE et des configurations multi-GPU, ainsi que la possibilité de planifier l'achat de matériel en fonction des besoins d'un modèle spécifique. L'interface, disponible en mode TUI interactif ou en ligne de commande, facilite l'automatisation et l'intégration dans des workflows existants.
Enfin, LLMFit propose un mode "plan" pour inverser le processus : en entrant un modèle précis, il indique la configuration matérielle idéale, la quantization recommandée et une estimation des performances selon le backend utilisé. Cet outil répond ainsi à un besoin croissant avec l'essor des assistants de codage locaux, comme GitHub Copilot en mode offline, en permettant une utilisation efficace des ressources disponibles.
