Formation Déployer un LLM en local : inférence haute performance et sécurité
Faites tourner des modèles de langage open source sur votre propre infrastructure, du prototype sur poste au serveur d'inférence de production, rapide et sécurisé.
Vue d'ensemble
- Pratiquer Python et consommer une API REST
- Être à l'aise avec Linux, la ligne de commande et Docker
- Connaître le fonctionnement général d'un LLM (prompt, contexte, jetons)
Objectifs pédagogiques
Programme détaillé
Enjeux et dimensionnement d'un déploiement local
– Pourquoi héberger soi-même un LLM : confidentialité des données, souveraineté, maîtrise des coûts et de la latence
– Auto-hébergement ou API : critères de choix et ordre de grandeur du volume à partir duquel l’hébergement local devient rentable
– Modèles à poids ouverts : panorama des familles du marché (Mistral, Llama, Qwen, Gemma…), tailles et licences d’usage en entreprise
– Empreinte mémoire : estimer la VRAM nécessaire à partir du nombre de paramètres, de la précision et de la taille du contexte (cache KV)
– Choix du matériel : GPU, CPU, mémoire unifiée, poste de développement ou serveur dédié selon l’usage visé
– Calcul de la VRAM nécessaire pour plusieurs modèles, précisions et longueurs de contexte
– Comparaison d’un modèle local et d’une API cloud sur un même jeu de prompts (qualité, temps de réponse, coût)
Formats de modèles et quantification
– Formats de poids : safetensors, GGUF et correspondance entre formats et moteurs d’inférence
– Principe de la quantification : réduire la précision des poids pour gagner en mémoire et en vitesse
– Techniques du marché : niveaux de quantification GGUF, AWQ, GPTQ, FP8, et leurs cas d’usage
– Arbitrage taille / vitesse / qualité : mesurer la perte de qualité plutôt que la supposer
– Modèles ou adaptateurs déjà fine-tunés : convertir et charger des poids issus d’un entraînement existant, sans le refaire
– Chargement de plusieurs variantes quantifiées d’un même modèle et mesure de l’empreinte mémoire et de la vitesse
– Évaluation rapide de la qualité des réponses selon le niveau de quantification
Prototyper avec Ollama et llama.cpp
– Ollama : installation, accélération GPU, commandes essentielles et cycle de vie des modèles (téléchargement, mise à jour, suppression)
– Modelfiles : paramètres d’inférence, instructions système et import d’un modèle GGUF ou d’un adaptateur existant
– llama.cpp : serveur intégré, réglage du contexte et répartition des couches entre CPU et GPU
– Interface web de prototypage : tester et comparer des modèles avec les équipes métier
– Limites des moteurs de poste : concurrence, débit multi-utilisateurs et quand passer à un serveur de production
– Lancement du modèle fil rouge sous Ollama puis sous llama.cpp, et comparaison des performances
– Création d’un Modelfile spécialisé sur une tâche métier (instructions système, paramètres)
Inférence haute performance avec vLLM
– Serveur d’inférence de production : rôle de vLLM et alternatives du marché (TGI)
– Continuous batching : servir de nombreuses requêtes simultanées sans dégrader le débit
– PagedAttention et cache KV : gestion de la mémoire GPU, cache de préfixe et longueur de contexte
– Indicateurs de performance : latence du premier jeton, débit en jetons par seconde, concurrence et point de rupture
– Service de plusieurs adaptateurs LoRA sur un même modèle de base : mutualiser le GPU entre plusieurs usages
– Répartition sur plusieurs GPU : principes du parallélisme de tenseurs et de pipeline, et quand y recourir
– Mise en service du modèle fil rouge avec vLLM et réglage des principaux paramètres mémoire
– Benchmark de charge (débit, latence, concurrence) et comparaison avec Ollama
– Rédaction d’une fiche de dimensionnement matériel à partir des mesures
Exposer, intégrer et exploiter le service d'inférence
– API compatible OpenAI : endpoints, streaming, sorties structurées et appel d’outils exposés par les moteurs locaux
– Intégration applicative : brancher une application ou un framework existant (LangChain, LangGraph, MCP) sur le modèle local sans réécrire le code
– Passerelle de modèles (LiteLLM) : point d’accès unique, routage entre modèles, clés et quotas par équipe
– Conteneurisation : packager le service d’inférence avec Docker et Docker Compose
– Supervision : métriques exposées par le serveur, mémoire GPU, latence et taux d’erreur dans un tableau de bord
– Cycle de vie : mise à jour ou changement de modèle, tests de non-régression et suivi des coûts
– Connexion d’une application existante à l’API locale en remplacement d’une API cloud
– Mise en place d’une passerelle LiteLLM devant Ollama et vLLM
– Tableau de bord de supervision du service d’inférence
Sécuriser un déploiement LLM local
– Risques spécifiques aux LLM : panorama OWASP Top 10 LLM (injection de prompt, fuite de données, consommation excessive de ressources…)
– Contrôle d’accès : authentification devant le serveur d’inférence, clés API, RBAC et limitation de débit
– Isolation et chiffrement : cloisonnement réseau, TLS, conteneurs durcis et environnements déconnectés (air-gapped)
– Filtrage des entrées et sorties : garde-fous avec Llama Guard ou NeMo Guardrails face aux injections et aux jailbreaks
– Protection des données sensibles : détection et anonymisation des données personnelles avant traitement
– Chaîne d’approvisionnement des modèles : provenance, formats sûrs, vérification d’intégrité et respect des licences
– Journalisation et traçabilité : conserver les usages utiles à l’audit sans exposer de données sensibles
Prochaines sessions
Ils nous font confiance
Cette année notre filière Intelligence artificielle & Data Science a accompagné plus de 250 entreprises dont :
Avis des participants
Merci c'était super :)
Formation très bien organisée, très claire Alison explique très clairement et est très à l'écoute, avec toujours une approche pratique essentielle. je n'avais jamais fait de Python et j'ai pu coder finalement assez rapidement grâce à une progression bien articulée des exercices. Comme c'est très…
Tout était parfait. J'ai appris plein de nouvelles notions que je mettrai à coups sûrs, en œuvre dans mes activités quotidiennes.
M. Romefort est un formateur d'excellente qualité : pédagogue, professionnel et parfaitement préparé. Il explique chaque sujet avec soin et prend le temps de répondre à toutes les questions.
de très bons échanges pas de réponses toutes faites de la nuance et de la précision dans les réponses apportées et de la contextualisation très bonne mise en perspective sur des cas concrets je suis ravi de la formation
Des formateurs experts, reconnus par nos apprenants
Chez Sparks Formation, la qualité de nos formations repose sur l'expertise de nos formateurs et la satisfaction de nos apprenants.
Note moyenne attribuée par les participants à nos formateurs
formateurs experts partenaires
Sparks Formation
sujets IT délivrés chaque jour partout en France
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Questions fréquentes
Combien de temps dure la formation Déployer un LLM en local : inférence haute performance et sécurité ?
Cette formation se déroule sur 2 jours.
Quels sont les prérequis pour suivre la formation Déployer un LLM en local : inférence haute performance et sécurité ?
- Pratiquer Python et consommer une API REST - Être à l'aise avec Linux, la ligne de commande et Docker - Connaître le fonctionnement général d'un LLM (prompt, contexte, jetons)
Quel est le prix de la formation Déployer un LLM en local : inférence haute performance et sécurité ?
En inter-entreprises, elle est à 1 800 € HT par participant. Un tarif sur-mesure est également disponible sur devis.
La formation Déployer un LLM en local : inférence haute performance et sécurité délivre-t-elle une certification ?
Cette formation ne délivre pas de certification. Une attestation de fin de formation vous sera remise à l'issue de la session.
La formation Déployer un LLM en local : inférence haute performance et sécurité est-elle éligible à un financement OPCO ?
Oui, cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Choisissez votre formation
Mon contact chez SPARKS est professionnel et très réactif. Les échanges sont simples, efficaces, et la collaboration se déroule dans d'excellentes conditions.
