Portail nationalFormationRechercher par discipline

LLM (Large Language Model)

Code UE : USID1K

  • Cours + travaux pratiques
  • 3 crédits

Responsable(s)

Béatrice ARRUABARRENA

Public, conditions d’accès et prérequis

Machine learning/Deep Learning

Objectifs pédagogiques

Après une présentation des principaux concepts des LLM et à leur fonctionnements, ce cours  permettra d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. 
  • Comprendre les principes des Large Language Models (LLM)
  • Savoir manipuler un LLM
  • Adapter un LLM à son corpus documentaire - Finetuning

Contenu

Fondamentaux LLM
  • Language Model des LLMs et Foundation Model des LLMs
  • Reseau de neurones/ quantization/ enjeux hardware
  • Fonctionnement théorique des « transformers »
  • Le mécanisme d’« attention “
  • Tokenisation et embedding
  • Génération de texte
  • De GPT à ChatGPT
  • Les APIs pour LLMs
  • Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
  • Applications pratiques sur différentes tâches
  • Utiliser un LLM en local
Adapter un LLM au cas d’usage 
  • Choix d’un modèle adapté à son cas d’usage
  • La génération augmentée de récupération (RAG)
  • Unsupervised/supervised fine-tuning
  • Implémenter un RAG  pour différentes tâches de LLMs

Modalité d'évaluation

Projet

Cette UE apparaît dans les diplômes et certificats suivants

Chargement du résultat...
Patientez
Intitulé de la formation
Type
Modalité(s)
Lieu(x)
Intitulé de la formation Master Méga Données et Analyse Sociale (MéDAS)
Type Diplôme national (DEUST, licence, master, doctorat, diplôme d'Etat)
Lieu(x) Alternance
Lieu(x) La Plaine Saint-Denis
Entrée Niveau 6 (Bac+3 et 4)
Intitulé de la formation Type Modalité(s) Lieu(x)

Contact



Voir le calendrier, le tarif, les conditions d'accessibilité et les modalités d'inscription dans le(s) centre(s) d'enseignement qui propose(nt) cette formation.

Enseignement non encore programmé