27104 shaares
Headroom est un outil open source conçu pour compresser les sorties, logs, fichiers et chunks RAG avant leur envoi à un modèle de langage (LLM), réduisant ainsi de 60 à 95 % le nombre de tokens utilisés sans altérer les réponses. Disponible sous forme de bibliothèque, proxy ou serveur MCP, il s’intègre facilement dans des workflows existants pour optimiser les coûts et la latence des appels aux LLM. Le projet, développé en Rust et JavaScript, propose des fonctionnalités avancées comme la compression de données tabulaires (Excel) ou la gestion dynamique de la verbosité des requêtes.