LLM (Large Language Model)
Mis à jour le
Responsable(s) : Mme Béatrice ARRUABARRENA
- Cours + travaux pratiques
Code Cnam : USID1K
Envie d'en savoir plus sur cette formation ?
Afin d’obtenir les tarifs, le calendrier de la formation, en distanciel, en présentiel, le lieu de la formation et un contact, remplissez les critères suivants :
Afficher le centre adapté à mes besoins
Afin d’obtenir les tarifs, le calendrier de la formation et le lieu de la formation, remplissez les critères suivants :
-
Durée : 30 heures
-
Alternance
-
3 crédits
Présentation
Public, conditions d'accès et prérequis
Prérequis
Machine learning/Deep Learning
Objectifs
Après une présentation des principaux concepts des LLM et à leur fonctionnements, ce cours permettra d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus.
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire - Finetuning
Compétences et débouchés
Programme
Contenu
Fondamentaux LLM
- Language Model des LLMs et Foundation Model des LLMs
- Reseau de neurones/ quantization/ enjeux hardware
- Fonctionnement théorique des « transformers »
- Le mécanisme d’« attention “
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
- Les APIs pour LLMs
- Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
- Applications pratiques sur différentes tâches
- Utiliser un LLM en local
Adapter un LLM au cas d’usage
- Choix d’un modèle adapté à son cas d’usage
- La génération augmentée de récupération (RAG)
- Unsupervised/supervised fine-tuning
- Implémenter un RAG pour différentes tâches de LLMs
Modalités d'évaluation
Projet