Formation RAG et fine-tuning des LLM : choisir, combiner, évaluer
Apprenez à choisir entre RAG et fine-tuning, à les combiner et à prouver par la mesure lequel sert le mieux votre cas d'usage.
Vue d'ensemble
- Pratique courante de Python, notamment en notebooks
- Notions d'apprentissage automatique : jeux d'entraînement, de validation et de test, surapprentissage, métriques d'évaluation
- Première expérience d'utilisation d'un LLM, par API ou en open source
Objectifs pédagogiques
Programme détaillé
Adapter un LLM à son contexte : prompting, RAG ou fine-tuning
– Limites d’un LLM généraliste : connaissance figée, hallucinations, absence d’accès aux données internes
– Leviers d’adaptation : prompting, contexte long, RAG et fine-tuning, et ce que chacun modifie (les connaissances fournies au modèle ou son comportement)
– Apports et limites du fine-tuning : format, ton et tâches spécialisées, mais pas une connaissance factuelle fiable et à jour
– Critères de décision : nature du besoin, volume et fraîcheur des données, coût, latence, confidentialité et traçabilité des réponses
– Modèle open source ou API : choisir selon la tâche, l’hébergement visé et le budget GPU
– Mesure de référence : évaluer le modèle seul sur un premier jeu de questions métier avant toute adaptation
– Mise en place de l’environnement et test d’un modèle open source et d’un modèle par API sur le cas métier fil rouge
– Repérage des questions qui échouent sans accès aux documents
– Application d’une grille de décision à plusieurs cas d’usage (assistant support, rédaction normée, classification)
Construire un pipeline RAG
– Architecture d’un RAG : indexation des documents en amont, puis recherche et génération au moment de la requête
– Ingestion des documents : extraction depuis PDF, Word, pages web et données structurées, nettoyage et ajout de métadonnées
– Stratégies de découpage (chunking) : taille, chevauchement, découpage selon la structure du document et effet sur la pertinence
– Modèles d’embedding : choix selon la langue, le domaine, la dimension des vecteurs et le coût
– Bases vectorielles : FAISS, ChromaDB, Qdrant ou pgvector, critères de choix et indexation
– Génération augmentée : prompt de génération, injection des passages, citation des sources et refus de répondre hors du corpus
– Outillage : framework d’orchestration (LangChain, LlamaIndex) ou code Python direct selon le contexte du projet
– Construction d’un assistant RAG sur une base documentaire interne (procédures, FAQ, tickets)
– Comparaison de deux stratégies de découpage sur les mêmes questions
Améliorer la qualité de la recherche
– Diagnostic des échecs : distinguer un défaut de recherche (mauvais passages retrouvés) d’un défaut de génération
– Recherche hybride : combiner recherche lexicale et vectorielle pour les termes métier, les codes et les acronymes
– Reranking : réordonner les passages candidats avec un modèle dédié pour gagner en précision
– Filtres de métadonnées : restreindre la recherche par source, date, périmètre ou droits d’accès
– Transformation des requêtes : reformulation et décomposition des questions complexes
– Réglages et compromis : nombre de passages, taille du contexte, latence et coût
– Ajout d’une recherche hybride et d’un reranker au pipeline, puis mesure du gain sur le jeu de questions
– Analyse d’erreurs sur les questions mal traitées et correction ciblée
Évaluer un système RAG
– Jeu de test métier : questions, réponses attendues et passages de référence représentatifs des usages réels
– Données de test synthétiques : générer des questions à partir du corpus et les faire valider par un expert métier
– Métriques de recherche : rappel et précision des passages retrouvés, rang du premier passage pertinent
– Métriques de réponse : fidélité aux sources, pertinence et exactitude par rapport à la réponse attendue
– LLM juge : protocole, grille de notation, biais connus et contrôle par échantillonnage humain
– Outils d’évaluation open source : automatiser les mesures et suivre les résultats d’une itération à l’autre
– Constitution d’un jeu de test mixte, rédigé à la main et généré automatiquement
– Évaluation automatisée du pipeline et comparaison avant et après l’optimisation de la recherche
Fine-tuner un LLM avec LoRA et QLoRA
– Fine-tuning complet ou PEFT : pourquoi les méthodes qui n’entraînent qu’une petite partie des paramètres sont devenues la norme
– LoRA et QLoRA : principe des adaptateurs, quantification et réduction de l’empreinte GPU
– Préparation du jeu de données : format instruction / réponse (JSONL, datasets Hugging Face), nettoyage, déduplication, découpage entraînement / validation / test
– Volume et qualité des données : nombre d’exemples nécessaire, fuites de données et exemples contradictoires à éviter
– Entraînement supervisé avec l’écosystème Hugging Face : hyperparamètres essentiels et lecture des courbes de perte
– Surapprentissage et régressions : détecter la perte de capacités générales du modèle adapté
– Fine-tuning via l’API d’un fournisseur : alternative managée, coûts et contraintes sur les données
– Entraînement d’un adaptateur QLoRA sur un jeu de données métier
– Comparaison du modèle de base et du modèle adapté sur le jeu de test
Combiner RAG et fine-tuning
– Répartition des rôles : le RAG apporte la connaissance à jour, le fine-tuning le format, le ton et le respect des consignes
– Fine-tuning du générateur pour le RAG : apprendre au modèle à exploiter les passages fournis et à écarter les passages non pertinents
– Adaptation du modèle d’embedding au domaine : améliorer la recherche sur un vocabulaire métier spécifique
– Évaluation comparative : modèle seul, RAG, modèle fine-tuné et combinaison mesurés sur le même jeu de test
– Lecture des résultats : qualité, coût, latence et effort de maintenance de chaque configuration
– Recommandation d’architecture : formaliser et argumenter le choix pour un cas d’usage donné
– Construction d’un pipeline associant le modèle fine-tuné et le RAG
– Tableau comparatif chiffré des configurations et rédaction d’une recommandation argumentée
Mettre en production et faire vivre la solution
– Choix d’hébergement : API managée ou modèle auto-hébergé, effet sur le coût, la confidentialité et l’exploitation
– Servir un modèle adapté : chargement ou fusion de l’adaptateur LoRA, quantification pour l’inférence
– Observabilité : traces des requêtes et des passages retrouvés, coûts, latence et retours utilisateurs
– Mise à jour : réindexer les documents ou réentraîner le modèle, tests de non-régression
– Sécurité et conformité : injection de prompt via les documents, droits d’accès au corpus, données personnelles dans les corpus et les jeux d’entraînement
– Ouverture : RAG agentique et RAG sur graphe de connaissances, repères pour aller plus loin
– Mise en place d’un suivi des requêtes et d’un test de non-régression sur le jeu de test
– Analyse des risques d’une solution RAG : injection, fuite de données, droits d’accès
Prochaines sessions
Ils nous font confiance
Cette année notre filière Intelligence artificielle & Data Science a accompagné plus de 250 entreprises dont :
Avis des participants
Merci c'était super :)
Formation très bien organisée, très claire Alison explique très clairement et est très à l'écoute, avec toujours une approche pratique essentielle. je n'avais jamais fait de Python et j'ai pu coder finalement assez rapidement grâce à une progression bien articulée des exercices. Comme c'est très…
Tout était parfait. J'ai appris plein de nouvelles notions que je mettrai à coups sûrs, en œuvre dans mes activités quotidiennes.
M. Romefort est un formateur d'excellente qualité : pédagogue, professionnel et parfaitement préparé. Il explique chaque sujet avec soin et prend le temps de répondre à toutes les questions.
de très bons échanges pas de réponses toutes faites de la nuance et de la précision dans les réponses apportées et de la contextualisation très bonne mise en perspective sur des cas concrets je suis ravi de la formation
Des formateurs experts, reconnus par nos apprenants
Chez Sparks Formation, la qualité de nos formations repose sur l'expertise de nos formateurs et la satisfaction de nos apprenants.
Note moyenne attribuée par les participants à nos formateurs
formateurs experts partenaires
Sparks Formation
sujets IT délivrés chaque jour partout en France
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Questions fréquentes
Combien de temps dure la formation RAG et fine-tuning des LLM : choisir, combiner, évaluer ?
Cette formation se déroule sur 3 jours.
Quels sont les prérequis pour suivre la formation RAG et fine-tuning des LLM : choisir, combiner, évaluer ?
- Pratique courante de Python, notamment en notebooks - Notions d'apprentissage automatique : jeux d'entraînement, de validation et de test, surapprentissage, métriques d'évaluation - Première expérience d'utilisation d'un LLM, par API ou en open source
Quel est le prix de la formation RAG et fine-tuning des LLM : choisir, combiner, évaluer ?
En inter-entreprises, elle est à 2 400 € HT par participant. Un tarif sur-mesure est également disponible sur devis.
La formation RAG et fine-tuning des LLM : choisir, combiner, évaluer délivre-t-elle une certification ?
Cette formation ne délivre pas de certification. Une attestation de fin de formation vous sera remise à l'issue de la session.
La formation RAG et fine-tuning des LLM : choisir, combiner, évaluer est-elle éligible à un financement OPCO ?
Oui, cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Choisissez votre formation
Mon contact chez SPARKS est professionnel et très réactif. Les échanges sont simples, efficaces, et la collaboration se déroule dans d'excellentes conditions.