Formation Mistral : spécialiser et auto-héberger un LLM open source New
Adaptez un modèle open source Mistral à vos données métier et faites-le tourner sur votre propre infrastructure : un projet de bout en bout, mesuré, sécurisé et chiffré.
Vue d'ensemble
- Pratique autonome de Python pour écrire et déboguer un traitement de données
- Notions de machine learning : jeux d'entraînement et de test, sur-apprentissage, métriques d'évaluation
- Pratique de la ligne de commande Linux et des conteneurs Docker
- Bases des API REST ; une première utilisation d'un LLM par API est un plus (aucune expérience de l'entraînement de LLM n'est requise)
Objectifs pédagogiques
Programme détaillé
Modèles open-weight Mistral, licences et décision de spécialiser
– Familles de modèles open-weight Mistral : généralistes, code, raisonnement et petits modèles pour l’embarqué, face aux modèles commerciaux non publiés en poids ouverts
– Licences d’usage : licence permissive Apache 2.0, licences restrictives (recherche, non-production) et obligations associées pour un usage en entreprise
– Pourquoi auto-héberger : souveraineté et confidentialité des données, contraintes réglementaires (RGPD, AI Act), économies d’échelle
– Trois leviers d’amélioration : prompt, RAG ou spécialisation — ce que la spécialisation sait faire (format, style, tâche étroite) et ce qu’elle ne sait pas faire (ajouter des connaissances)
– Coût complet d’un projet de spécialisation : entraînement, hébergement, maintenance et réentraînement
– Choisir le modèle de départ : taille, langues, tâche visée, licence et empreinte matérielle
– Comparaison des trois leviers sur le cas d’usage fil rouge et rédaction d’une note d’arbitrage d’une page
– Sélection argumentée d’un modèle de départ à l’aide d’une grille licence / taille / matériel
Jeux de données d'entraînement et d'évaluation
– Volume, diversité et équilibre : dimensionner un jeu de données pour une tâche étroite
– Format conversationnel attendu : messages system / user / assistant en JSONL, gabarit de chat et tokenizer du modèle Mistral
– Conversion depuis les données métier : passer de tickets, documents ou historiques à des exemples d’entraînement exploitables
– Nettoyage et déduplication : la qualité des exemples avant leur quantité
– Jeu d’évaluation constitué avant l’entraînement : séparation stricte et détection des fuites entre les deux jeux
– Données personnelles : ce qui est proscrit dans un jeu d’entraînement, anonymisation et traçabilité des sources
– Conversion d’un extrait de données métier au format conversationnel et vérification du gabarit de chat
– Production d’un couple de jeux entraînement / évaluation documenté, sans fuite ni données personnelles
Spécialiser un modèle Mistral avec LoRA et QLoRA
– Adaptateurs de faible rang (LoRA) : principe, rang, alpha et modules ciblés
– QLoRA : entraîner sur un modèle quantifié pour tenir sur un seul GPU
– Outillage d’entraînement : outillage de référence de l’éditeur pour ses modèles open-weight, écosystème Hugging Face (Transformers, PEFT, TRL) et alternatives optimisées
– Dimensionner l’entraînement : mémoire GPU, durée et coût d’une session
– Hyperparamètres : ceux qui comptent (taux d’apprentissage, nombre d’époques, rang) et ceux à laisser par défaut
– Lire les courbes d’entraînement : repérer sous-apprentissage, sur-apprentissage et plateau
– Versionner ensemble modèle de base, adaptateur, données et expériences
– Voie managée de l’éditeur ou voie autonome : coût, maîtrise, réversibilité et souveraineté
– Entraînement d’un adaptateur QLoRA sur le cas fil rouge, avec mesure de la mémoire GPU et de la durée
– Variation du rang de l’adaptateur et comparaison des résultats obtenus
– Sur-apprentissage provoqué volontairement pour apprendre à le reconnaître sur les courbes
Évaluer le modèle spécialisé et décider
– Comparaison au modèle de base : la seule comparaison valable, menée tâche par tâche
– Métriques de la tâche : exactitude, respect du format attendu, métriques automatiques adaptées au cas d’usage
– Évaluation par LLM juge et revue humaine : complémentarité, biais et coût de chaque approche
– Oubli catastrophique : mesurer la régression du modèle spécialisé sur les tâches générales
– Décision de mise en production : savoir écarter un modèle qui n’apporte rien
– Jeu de non-régression : capitaliser l’évaluation pour les versions suivantes du modèle
– Évaluation comparée du modèle de base et du modèle spécialisé sur le jeu d’évaluation
– Mesure de la régression sur un jeu de tâches générales
– Rédaction d’une décision argumentée de retenir ou non le modèle spécialisé
Auto-héberger le modèle : quantifier, servir, dimensionner
– Choisir un moteur d’inférence : vLLM comme référence pour le service multi-utilisateurs, critères de choix des alternatives, llama.cpp et format GGUF pour les petits modèles et l’embarqué
– Fusionner l’adaptateur ou servir plusieurs adaptateurs sur un même modèle de base : compromis de performance et de gestion
– Quantification (AWQ, GPTQ, FP8, GGUF) : gain d’empreinte mémoire, perte de qualité et méthode de mesure
– API compatible OpenAI : brancher le modèle auto-hébergé sur les applications et frameworks existants sans réécriture
– Performance du service : continuous batching, PagedAttention et gestion du cache KV
– Dimensionner l’infrastructure : VRAM (poids et cache KV), débit, concurrence, latence du premier jeton, et seuil de passage au multi-GPU
– Conteneuriser le service pour le déployer sur ses propres serveurs ou sur un cloud de confiance
– Mise en service du modèle spécialisé avec vLLM et appel depuis une application via l’API compatible OpenAI
– Quantification du modèle et rejeu du jeu d’évaluation pour mesurer la perte de qualité
– Montée en charge jusqu’à la rupture et rédaction d’une fiche de dimensionnement matériel
Sécuriser et exploiter dans la durée
– Contrôle d’accès : authentification, passerelle d’API et gestion des droits par application ou par équipe
– Isolation réseau et environnements déconnectés : exploiter un modèle sans accès sortant
– Protection des entrées et des sorties : injection de prompt, jailbreak, filtrage par guardrails et données personnelles
– Supervision : métriques du moteur, qualité des réponses, dérive et gestion des incidents
– Coût au jeton : auto-hébergement contre API managée et calcul du seuil de bascule
– Cycle de vie : réentraînement, adoption d’une nouvelle version du modèle de base et tests de non-régression
– Réversibilité : pouvoir revenir à une API managée ou changer de modèle sans tout reconstruire
– Mise en place d’une authentification et d’un tableau de bord de supervision devant le service d’inférence
– Établissement du modèle de coût complet et du seuil de rentabilité face à une API managée
– Détection d’une régression après réentraînement grâce au jeu de non-régression
Prochaines sessions
Ils nous font confiance
Cette année notre filière Intelligence artificielle & Data Science a accompagné plus de 250 entreprises dont :
Avis des participants
Merci c'était super :)
Formation très bien organisée, très claire Alison explique très clairement et est très à l'écoute, avec toujours une approche pratique essentielle. je n'avais jamais fait de Python et j'ai pu coder finalement assez rapidement grâce à une progression bien articulée des exercices. Comme c'est très…
Tout était parfait. J'ai appris plein de nouvelles notions que je mettrai à coups sûrs, en œuvre dans mes activités quotidiennes.
M. Romefort est un formateur d'excellente qualité : pédagogue, professionnel et parfaitement préparé. Il explique chaque sujet avec soin et prend le temps de répondre à toutes les questions.
de très bons échanges pas de réponses toutes faites de la nuance et de la précision dans les réponses apportées et de la contextualisation très bonne mise en perspective sur des cas concrets je suis ravi de la formation
Des formateurs experts, reconnus par nos apprenants
Chez Sparks Formation, la qualité de nos formations repose sur l'expertise de nos formateurs et la satisfaction de nos apprenants.
Note moyenne attribuée par les participants à nos formateurs
formateurs experts partenaires
Sparks Formation
sujets IT délivrés chaque jour partout en France
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Questions fréquentes
Combien de temps dure la formation Mistral : spécialiser et auto-héberger un LLM open source ?
Cette formation se déroule sur 3 jours.
Quels sont les prérequis pour suivre la formation Mistral : spécialiser et auto-héberger un LLM open source ?
- Pratique autonome de Python pour écrire et déboguer un traitement de données - Notions de machine learning : jeux d'entraînement et de test, sur-apprentissage, métriques d'évaluation - Pratique de la ligne de commande Linux et des conteneurs Docker - Bases des API REST ; une première utilisation d'un LLM par API est un plus (aucune expérience de l'entraînement de LLM n'est requise)
Quel est le prix de la formation Mistral : spécialiser et auto-héberger un LLM open source ?
En inter-entreprises, elle est à 2 400 € HT par participant. Un tarif sur-mesure est également disponible sur devis.
La formation Mistral : spécialiser et auto-héberger un LLM open source délivre-t-elle une certification ?
Cette formation ne délivre pas de certification. Une attestation de fin de formation vous sera remise à l'issue de la session.
La formation Mistral : spécialiser et auto-héberger un LLM open source est-elle éligible à un financement OPCO ?
Oui, cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Choisissez votre formation
Mon contact chez SPARKS est professionnel et très réactif. Les échanges sont simples, efficaces, et la collaboration se déroule dans d'excellentes conditions.