Formation Ollama : déployer et optimiser des LLM en local
Maîtrisez le déploiement de modèles d'IA en local pour garantir la confidentialité de vos données tout en optimisant les performances !
Vue d'ensemble
- Connaissances de base en intelligence artificielle et en modèles de langage
- Pratique courante de la ligne de commande (Terminal, PowerShell)
- Bases en Python ou langage équivalent
- Notions de Docker (images, conteneurs)
Objectifs pédagogiques
Programme détaillé
Introduction à l'IA locale et aux modèles open-source
– Avantages de l’IA locale : confidentialité des données, réduction des coûts et maîtrise de la latence face aux solutions cloud
– Panorama des LLM open-source : positionnement et caractéristiques des modèles Llama, Mistral et Gemma
– Exigences matérielles : impact de la RAM, du GPU et de l’architecture sur les performances des modèles
– Architecture d’Ollama : fonctionnement interne, gestion des modèles et cas d’usage en entreprise
– Comparaison des performances et coûts entre un LLM local et une API cloud sur un même jeu de prompts
Installation et configuration d'Ollama
– Installation multi-plateforme : procédures spécifiques pour macOS, Windows et Linux
– Dépendances et accélération GPU : configuration de Docker et des drivers CUDA pour exploiter le matériel disponible
– Bonnes pratiques de configuration : organisation des modèles, gestion de l’espace disque et variables d’environnement
– Diagnostic et dépannage : résolution des problèmes courants d’installation et de compatibilité
– Installation d’Ollama et lancement d’un premier modèle léger
– Diagnostic et résolution de problèmes d’installation simulés
Utilisation et gestion des modèles
– Interface CLI : commandes essentielles pour télécharger, lancer et gérer les modèles
– Interface WebUI : interaction graphique avec les modèles pour le prototypage rapide
– Gestion du cycle de vie : téléchargement, mise à jour et suppression des modèles
– Techniques de prompting : rédaction de prompts efficaces et tests comparatifs entre modèles
– Lancement de plusieurs modèles et comparaison de leurs réponses sur des prompts variés
Personnalisation des modèles avec les Modelfiles
– Modelfiles : syntaxe et structure pour définir des modèles personnalisés
– Paramétrage avancé : ajustement de la température, du contexte et des instructions système
– Adaptation métier : spécialisation d’un modèle pour un domaine ou une tâche spécifique
– Fine-tuning de base : principes et limites de l’ajustement de modèles en local
– Création d’un Modelfile pour spécialiser un LLM sur la génération de code Python
– Personnalisation d’un modèle avec des instructions système adaptées à un contexte métier
Intégration applicative via l'API REST et LangChain
– API REST Ollama : endpoints disponibles, formats de requêtes et gestion des réponses en streaming
– Intégration Python : appels programmatiques à l’API pour intégrer Ollama dans des applications existantes
– LangChain et Ollama : configuration du connecteur, création de chaînes de traitement et gestion de la mémoire
– Création d’agents conversationnels : architecture d’un chatbot exploitant un modèle local
– Développement d’un chatbot simple intégrant l’API Ollama
– Construction d’une chaîne LangChain connectée à un modèle local
Optimisation des performances
– Quantization : réduction de la taille des modèles et impact sur la qualité des réponses
– Batching : traitement par lots pour améliorer le débit dans les scénarios multi-utilisateurs
– Stratégies de caching : mise en cache des résultats pour accélérer les réponses récurrentes
– Monitoring : suivi des métriques de performance (temps de réponse, consommation mémoire, utilisation GPU)
– Application de la quantization sur un modèle large et mesure de l’impact sur les performances et la qualité
– Mise en place d’un monitoring de base pour suivre l’utilisation des ressources
Sécurisation et déploiement en environnement sensible
– Isolation avec Docker : conteneurisation d’Ollama pour limiter la surface d’attaque
– Chiffrement des données : protection des modèles et des échanges en transit et au repos
– Contrôle d’accès : gestion des permissions et restriction de l’utilisation des modèles
– Cas d’usage en secteurs réglementés : déploiement dans des contextes santé, finance ou défense
– Déploiement d’Ollama dans un conteneur Docker sécurisé avec contrôle d’accès
– Développement d’un agent d’analyse de texte confidentiel exploitant un modèle local isolé
Prochaines sessions
Ils nous font confiance
Cette année notre filière Ingénierie des LLMs & IA Générative a accompagné plus de 2 entreprises dont :
Avis des participants
Merci c'était super :)
Formation très bien organisée, très claire Alison explique très clairement et est très à l'écoute, avec toujours une approche pratique essentielle. je n'avais jamais fait de Python et j'ai pu coder finalement assez rapidement grâce à une progression bien articulée des exercices. Comme c'est très…
Tout était parfait. J'ai appris plein de nouvelles notions que je mettrai à coups sûrs, en œuvre dans mes activités quotidiennes.
M. Romefort est un formateur d'excellente qualité : pédagogue, professionnel et parfaitement préparé. Il explique chaque sujet avec soin et prend le temps de répondre à toutes les questions.
de très bons échanges pas de réponses toutes faites de la nuance et de la précision dans les réponses apportées et de la contextualisation très bonne mise en perspective sur des cas concrets je suis ravi de la formation
Votre formateur
Camilo R.
Formateur
Camilo intervient notamment sur l’IA appliquée aux métiers et sa gouvernance, ainsi que sur l’ingénierie des LLM et l’IA générative. Son activité de formation a débuté en 2024. La conception de supports pédagogiques fait également partie de ses activités.
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Questions fréquentes
Combien de temps dure la formation Ollama : déployer et optimiser des LLM en local ?
Cette formation se déroule sur 3 jours.
Quels sont les prérequis pour suivre la formation Ollama : déployer et optimiser des LLM en local ?
- Connaissances de base en intelligence artificielle et en modèles de langage - Pratique courante de la ligne de commande (Terminal, PowerShell) - Bases en Python ou langage équivalent - Notions de Docker (images, conteneurs)
Quel est le prix de la formation Ollama : déployer et optimiser des LLM en local ?
En inter-entreprises, elle est à 2 700 € HT par participant. Un tarif sur-mesure est également disponible sur devis.
La formation Ollama : déployer et optimiser des LLM en local délivre-t-elle une certification ?
Cette formation ne délivre pas de certification. Une attestation de fin de formation vous sera remise à l'issue de la session.
La formation Ollama : déployer et optimiser des LLM en local est-elle éligible à un financement OPCO ?
Oui, cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
Choisissez votre formation
Mon contact chez SPARKS est professionnel et très réactif. Les échanges sont simples, efficaces, et la collaboration se déroule dans d'excellentes conditions.