Ce dépôt GitHub, "llm-course" de mlabonne, propose un cours complet sur les grands modèles de langage (LLM). Il est structuré en trois parties : les fondamentaux (mathématiques, Python, réseaux de neurones), le scientifique (construction de LLM avec les dernières techniques) et l'ingénieur (création et déploiement d'applications basées sur LLM). Le cours inclut des notebooks Colab et des ressources supplémentaires comme le "LLM Engineer's Handbook". Il couvre des sujets comme l'architecture des LLM, la tokenization, les mécanismes d'attention et les techniques de sampling. Des références visuelles et des tutoriels sont également fournis pour faciliter la compréhension.