Formation Fine-tuning des LLM : techniques, outils et bonnes pratiques.

Programme de formation Fine-tuning des LLM : techniques, outils et bonnes pratiques.

Module 1 — Panorama du fine-tuning et du transfert d’apprentissage

Définition et bénéfices du fine-tuning
Modèles pré-entraînés et transfert d’apprentissage
Cas d’usage typiques et critères de choix

Module 2 — Données : collecte, nettoyage, EDA et préparation

Constitution et nettoyage des datasets
Exigences de données selon la tâche
Analyse exploratoire (EDA) et prétraitements

Module 3 — Techniques de fine-tuning

Transfert d’apprentissage vs extraction de caractéristiques
Stratégies pour tâches supervisées et non supervisées
Fine-tuning de Transformers avec l’écosystème Hugging Face

Module 4 — Adapter les LLM aux tâches NLP

Préparer des jeux de données spécifiques (classification, synthèse, etc.)
Entraîner/affiner des LLM sur des données personnalisées
Contrôler le comportement via le prompt engineering

Module 5 — Optimisation et évaluation

Réglage des hyperparamètres
Métriques et protocoles d’évaluation
Diagnostiquer et traiter sur-apprentissage/sous-apprentissage

Module 6 — Passage à l’échelle

Entraînement sur systèmes distribués
Exploiter le cloud pour la scalabilité
Études de cas de projets de fine-tuning à grande échelle

Module 7 — Bonnes pratiques, dépannage et éthique

Bonnes pratiques pour réussir un fine-tuning
Problèmes fréquents et pistes de résolution
Enjeux éthiques de l’adaptation des modèles

Module 8 — Sujets avancés (optionnel)

Fine-tuning de modèles multimodaux
Zero-shot et few-shot learning
LoRA (Low-Rank Adaptation) : principes et usages

Module 9 — Synthèse et prochaines étapes

Récapitulatif des acquis
Ressources et orientations pour aller plus loin