Formation PyTorch.

Programme de formation PyTorch.

PDF

Prise en main de PyTorch et de l’environnement de développement

Installation de Python, PyTorch et bibliothèques associées (torchvision, torchaudio, numpy, pandas)
Organisation d’un projet : environnement virtuel, structure de répertoires, gestion des dépendances
Notions fondamentales : tenseurs, types, device (cpu/cuda), opérations de base et broadcasting
Présentation de l’auto-grad, du graphe de calcul et de la gestion des gradients
Création de Dataset personnalisés et usage des DataLoader (batchs, shuffle, num_workers)
Présentation des supports pédagogiques : notebooks Jupyter, Colab et dépôt de code fourni

Exemples de cas pratiques :
TP : installation guidée et test de l’environnement (import torch, détection du GPU, premier tensor)
Exercice : manipulation de tenseurs (création, reshape, opérations mathématiques, passage CPU/GPU)
Exercice : création d’un Dataset + DataLoader sur un jeu de données tabulaire open source et sur MNIST

Réseaux de neurones fully connected et entraînement de modèles

Rappels sur les réseaux de neurones feed-forward : couches linéaires, fonctions d’activation, fonctions de coût
Architecture d’un MLP dans PyTorch : nn.Linear, nn.ReLU, nn.Sequential vs classe personnalisée
Boucle d’entraînement standard : forward pass, calcul de la loss, backward, step de l’optimiseur
Séparation train/validation/test, gestion des epochs et suivi des métriques
Utilisation de torch.save et torch.load pour sauvegarder et recharger poids et modèles
Structuration d’un notebook d’expérimentation (config, données, modèle, entraînement, résultats)

Exemples de cas pratiques :
TP guidé : implémentation d’un MLP pour prédire une classe sur un dataset tabulaire (ex : churn / crédit)
Exercice : ajout de métriques personnalisées, traçage des courbes de perte et d’accuracy
Mini-projet : sauvegarde du meilleur modèle, rechargement et évaluation sur un jeu de test séparé

Convolutional Neural Networks, vision par ordinateur et optimisation des modèles

Rappels sur les convolutions, le pooling et la hiérarchie de caractéristiques en vision par ordinateur
Construction d’un CNN avec nn.Conv2d, nn.MaxPool2d, nn.Flatten, etc. et utilisation de torchvision.datasets
Optimisation : choix de la fonction de coût, des optimiseurs (SGD, Adam), learning rate et batch size
Régularisation : dropout, data augmentation, weight decay, early stopping, schedulers de taux d’apprentissage
Suivi et comparaison des expériences (logs, tableaux de résultats, éventuelle intégration avec TensorBoard)
Évaluation avancée : matrice de confusion, erreurs typiques, interprétation qualitative des prédictions

Exemples de cas pratiques :
TP : entraînement d’un CNN de base sur MNIST ou Fashion-MNIST avec un jeu de paramètres par défaut
Atelier : application progressive de dropout, data augmentation et scheduler, comparaison des métriques
Exercice : rédaction d’un court rapport d’expérimentation (config, résultats, choix retenus) dans le notebook

Données séquentielles, NLP et introduction aux Transformers

Pipeline NLP : collecte, nettoyage, tokenisation, encodage (index, embeddings) et gestion des longueurs de séquence
Utilisation de torch.nn.Embedding et des modules RNN, LSTM ou GRU pour modéliser des séquences
Gestion des DataLoader pour des séquences (padding, masks éventuels)
Présentation des mécanismes d’attention et de la structure générale d’un Transformer (sans entrer dans tous les détails mathématiques)
Introduction à Hugging Face Transformers ou équivalent pour l’inférence avec un modèle pré-entraîné (ex : DistilBERT)
Comparaison de performances et de coûts (temps d’entraînement, ressources) entre modèle LSTM maison et modèle pré-entraîné

Exemples de cas pratiques :
TP : construction d’un pipeline NLP complet pour de la classification de sentiment (tweets ou reviews) avec un LSTM PyTorch
Exercice : mise en place d’un script d’inférence utilisant un modèle Transformer pré-entraîné pour la même tâche
Comparaison des métriques et discussion des choix d’architecture en groupe (tableau de synthèse dans le notebook)

Transfert d’apprentissage et pipeline d’inférence réutilisable

Principe du transfert d’apprentissage : freeze/unfreeze de couches, réutilisation de features pré-apprises
Utilisation de modèles pré-entraînés de torchvision (ex : ResNet) ou d’un modèle NLP pré-entraîné en fine-tuning léger
Construction d’un pipeline d’inférence : chargement du modèle, prétraitement des données, prédictions et post-traitement
Sauvegarde des artefacts : poids du modèle, configuration, encoders, normalisation
Introduction aux bonnes pratiques de versionning (Git, branches simples), tracking des expériences et gestion de requirements.txt/conda.yaml
Bonnes pratiques de structuration d’un projet ML en vue d’une future mise en production (séparation entraînement / inférence, scripts CLI ou squelette d’API)

Exemples de cas pratiques :
Mini-projet : fine-tuning d’un modèle pré-entraîné (vision ou NLP) sur un petit dataset métier, comparaison avec un modèle from scratch
TP : création d’un notebook ou script d’inférence autonome prenant en entrée un fichier (image ou texte) et renvoyant une prédiction
Exercice de clôture : création d’un dépôt Git local du projet de formation (code, modèles sauvegardés, README de reprise en main)