Ce tutoriel explique comment créer des applications IA privées et auto-hébergées en utilisant Ollama et Laravel. Il aborde les préoccupations liées à la confidentialité des données et aux coûts variables des services d'IA tiers comme OpenAI. Ollama permet d'exécuter des modèles de langage open-source comme Llama, DeepSeek et Gemma sur vos propres infrastructures, offrant ainsi un contrôle total sur les données et les coûts. Le guide détaille les étapes pour installer Ollama, choisir les bons modèles en fonction de vos besoins et de votre matériel, et intégrer ces modèles dans une application Laravel via le package Laravel-Ollama. Un exemple concret de création d'un chatbot privé est également fourni.
L'article explique comment utiliser des modèles de langage locaux (LLM) pour des tests de sécurité informatique, en insistant sur l'importance d'avoir une autorisation écrite. Il décrit l'installation d'Ollama pour exécuter des LLM localement, puis l'utilisation de Cybersecurity AI (CAI), un framework open source pour des analyses offensives et défensives. L'auteur partage son expérience avec une configuration spécifique et des commandes pour sélectionner un LLM et un profil d'agent, comme le "Red Team Agent" pour des tests de pénétration.
Jérémy Buget partage son retour d’expérience sur la création d’un chatbot IA spécialisé dans l’inclusion socio-professionnelle, en s’appuyant sur un corpus de documents issus de La communauté de l’inclusion. Le projet utilise une architecture locale avec Ollama (modèle gpt-oss:20b), un script de crawling en Node.js pour récupérer les fiches d’information, une base PostgreSQL avec l’extension pgvector pour stocker et indexer les embeddings (768 dimensions) générés via Sentence Transformers (nomic-embed-text-v2-moe). Le chatbot fonctionne en vectorisant les questions utilisateurs, en recherchant les documents pertinents par comparaison vectorielle (similarité cosinus), puis en générant des réponses sourcées via un LLM, le tout encapsulé dans une API FastAPI et une webapp simple. L’objectif était d’explorer l’exploitation de l’IA pour un usage métier précis, en garantissant des réponses fiables et ancrées dans le corpus documentaires. Le code source est disponible sur GitHub. Une démonstration concrète de RAG (Retrieval-Augmented Generation) avec des outils open-source.
Ce guide explique comment construire un système RAG (Retrieval-Augmented Generation) local pour traiter des PDF en utilisant DeepSeek-R1, LangChain, Ollama et Streamlit. Il met l'accent sur la confidentialité et l'efficacité en effectuant toutes les opérations localement, sans frais d'API récurrents. Le système utilise LangChain pour orchestrer le flux de travail, DeepSeek-R1 pour le raisonnement et la génération de réponses, Ollama pour déployer les modèles localement, ChromaDB pour stocker et récupérer les embeddings de documents, et Streamlit pour une interface utilisateur intuitive. Le guide fournit des instructions étape par étape pour installer les prérequis, configurer le projet, et exécuter l'application, permettant aux utilisateurs de poser des questions sur des documents PDF téléchargés et d'obtenir des réponses précises et rapides.
Tout est dans le titre
Configuration et usage d'une IA avec chatboxai et telegram
Tout est dans le titre
Tout est dans le titre
Tout est dans le titre
Installer localement un LLM (via https://www.youtube.com/watch?v=x0niOhjzkxw )