L’auteur transforme une clé USB de secours de 64 Go en assistant de dépannage hors ligne : Ventoy lance SystemRescue, tandis que llama.cpp exécute un modèle Qwen3 4B quantifié sur le processeur, avec une interface dans Firefox. Le chatbot aide à interpréter les sorties de lsblk, smartctl ou dmesg pour diagnostiquer un PC Windows qui ne démarre plus. L’approche privilégie les vérifications non destructives et la sauvegarde des fichiers avant toute réparation, tout en restant utilisable sans connexion Internet.
Panorama des solutions pour exécuter des modèles de langage en local sous macOS, Linux et Windows. Le guide compare les applications graphiques (LM Studio, Jan, GPT4All), les moteurs et gestionnaires (Ollama, llama.cpp), les interfaces web, les bibliothèques de développement et les serveurs d’inférence. Il explique comment choisir selon les usages, le matériel disponible et les besoins d’intégration, en abordant la mémoire RAM/VRAM, la quantification, les formats de modèles et les possibilités d’exécution sur CPU, GPU, navigateur ou machine distante auto-hébergée.
Ce tutoriel explique comment configurer Codex, l'agent IA d'OpenAI, pour l'utiliser avec un modèle de langage local (LLM) hébergé via llama.cpp. L'idée principale est d'éviter les abonnements payants des plateformes cloud en auto-hébergeant le LLM, tout en conservant les fonctionnalités de Codex. L'auteur insiste sur l'importance d'installer Codex sur une machine dédiée pour limiter les risques liés à son accès au système.
L'installation de Codex se fait via un téléchargement manuel depuis GitHub, suivi de son déplacement dans /usr/local/bin. L'outil bubblewrap est requis pour sécuriser l'exécution de Codex en mode bac à sable. La configuration repose sur un fichier config.toml où l'utilisateur définit le fournisseur de modèle (llamacpp), un nom personnalisé et l'URL locale de l'API de llama.cpp.
L’article détaille les essais de l’auteur, les outils testés (Ollama, Jan avec Vulkan/llama.cpp), et les astuces pour configurer un backend compatible afin d’obtenir de bonnes performances sans dépendre de serveurs distants.