Formation Fine-tuning des LLM : techniques, outils et bonnes pratiques New

– Prompt engineering, RAG ou fine-tuning : critères de choix selon la tâche, le coût, la latence, la qualité attendue et la confidentialité des données
– Apports et limites du fine-tuning : adapter le format, le ton, le comportement ou une tâche précise, sans en attendre l’ajout de connaissances factuelles à jour
– Panorama des approches : full fine-tuning, méthodes PEFT, fine-tuning managé proposé par les fournisseurs d’API
– Choix du modèle de base : familles de modèles ouverts, taille, licence et contraintes d’hébergement visées
– Estimation des ressources : mémoire GPU, durée d’entraînement, arbitrage entre cloud et infrastructure interne
– Cadre juridique et éthique : licences des modèles ouverts, propriété du modèle affiné, RGPD appliqué aux données d’entraînement

– Formats de données : instruction / réponse, conversations multi-tours, paires de préférences, et rôle des chat templates
– Sources exploitables : FAQ, tickets, documents internes et bases métier transformés en exemples d’entraînement
– Curation : nettoyage, déduplication, filtrage qualité, équilibrage des cas et traitement des exemples contradictoires
– Données synthétiques : génération d’exemples par un LLM, diversification et contrôle des biais introduits
– Découpage entraînement / validation / test : prévention des fuites de données entre jeux
– Dimensionnement : volume d’exemples nécessaire selon la tâche et rendements décroissants
– Outillage : bibliothèque Datasets de Hugging Face, publication et versioning des jeux de données sur le Hub

– Full fine-tuning ou PEFT : impact sur la mémoire, la vitesse d’entraînement et la qualité obtenue
– LoRA : principe des matrices de rang faible, choix du rang et du facteur alpha, sélection des couches ciblées
– Quantification des poids : représentations 16, 8 et 4 bits, format NF4, double quantification et compromis précision / mémoire
– QLoRA : entraînement d’adaptateurs LoRA sur un modèle quantifié en 4 bits, configuration avec bitsandbytes et optimiseurs paginés
– Leviers mémoire complémentaires : précision mixte, gradient checkpointing, accumulation de gradient
– Bibliothèques d’accélération (Unsloth…) : gains de vitesse et de mémoire pour entraîner sur un GPU unique
– Choix d’une stratégie : arbitrage entre qualité, temps d’entraînement et budget matériel

– Fine-tuning supervisé (SFT) avec Transformers, PEFT et TRL : chaîne d’entraînement de référence de l’écosystème Hugging Face
– Outils de configuration déclarative (Axolotl, LLaMA-Factory) : alternatives pour industrialiser les entraînements
– Hyperparamètres clés : taux d’apprentissage, nombre d’époques, taille de batch, warmup, et stratégies de réglage
– Lecture des courbes de perte : diagnostic du surapprentissage et du sous-apprentissage, itérations courtes
– Checkpoints et reprise d’entraînement : sauvegarde des adaptateurs et sélection du meilleur point
– Suivi des expériences : traçabilité des runs avec Weights & Biases ou MLflow
– Passage à l’échelle : principes de l’entraînement multi-GPU (FSDP, DeepSpeed) et recours au cloud

– Métriques automatiques : perplexité, exact match, F1, ROUGE, et limites de ces métriques pour la génération
– Jeu de tests métier : construction d’un échantillon représentatif des usages réels et scoring automatique
– LLM juge : grille d’évaluation, biais connus et calibration par une annotation humaine sur un échantillon
– Comparaison systématique : modèle de base, modèle fine-tuné et approche par prompt seul sur les mêmes cas de test
– Régressions : vérification des capacités générales du modèle et détection de l’oubli catastrophique
– Outils d’évaluation open source : harnais de benchmarks et frameworks d’évaluation pour rendre le protocole reproductible
– Analyse d’erreurs : identification des cas d’échec et décision d’itérer sur les données ou sur l’entraînement

– RLHF : principe, rôle du modèle de récompense et raisons de son coût de mise en œuvre
– Optimisation directe des préférences (DPO) : alternative simplifiée au RLHF et mise en œuvre avec TRL
– Variantes récentes de l’optimisation par préférences : panorama et cas d’usage
– Jeu de préférences : construction de paires réponse préférée / rejetée, annotation et contrôle qualité
– Critères d’alignement métier : ton, format, conformité, refus appropriés

– Fusion d’un adaptateur LoRA dans son modèle de base : quand fusionner et quand conserver l’adaptateur séparé
– Formats d’export : safetensors, GGUF, et principe de la quantification post-entraînement selon la cible
– Mise à disposition du modèle : panorama des options de serving et intégration à une application existante
– Versioning et traçabilité : lien entre jeu de données, configuration d’entraînement et version du modèle
– Cycle de vie : dérive des données, réentraînement planifié et tests de non-régression
– Bonnes pratiques et dépannage : erreurs fréquentes (mémoire, chat template, données) et pistes de résolution