Formation PyTorch Best

Installation de Python, PyTorch et bibliothèques associées (torchvision, torchaudio, numpy, pandas)
Organisation d’un projet : environnement virtuel, structure de répertoires, gestion des dépendances
Notions fondamentales : tenseurs, types, device (cpu/cuda), opérations de base et broadcasting
Présentation de l’auto-grad, du graphe de calcul et de la gestion des gradients
Création de Dataset personnalisés et usage des DataLoader (batchs, shuffle, num_workers)
Présentation des supports pédagogiques : notebooks Jupyter, Colab et dépôt de code fourni

Rappels sur les réseaux de neurones feed-forward : couches linéaires, fonctions d’activation, fonctions de coût
Architecture d’un MLP dans PyTorch : nn.Linear, nn.ReLU, nn.Sequential vs classe personnalisée
Boucle d’entraînement standard : forward pass, calcul de la loss, backward, step de l’optimiseur
Séparation train/validation/test, gestion des epochs et suivi des métriques
Utilisation de torch.save et torch.load pour sauvegarder et recharger poids et modèles
Structuration d’un notebook d’expérimentation (config, données, modèle, entraînement, résultats)

Rappels sur les convolutions, le pooling et la hiérarchie de caractéristiques en vision par ordinateur
Construction d’un CNN avec nn.Conv2d, nn.MaxPool2d, nn.Flatten, etc. et utilisation de torchvision.datasets
Optimisation : choix de la fonction de coût, des optimiseurs (SGD, Adam), learning rate et batch size
Régularisation : dropout, data augmentation, weight decay, early stopping, schedulers de taux d’apprentissage
Suivi et comparaison des expériences (logs, tableaux de résultats, éventuelle intégration avec TensorBoard)
Évaluation avancée : matrice de confusion, erreurs typiques, interprétation qualitative des prédictions

Pipeline NLP : collecte, nettoyage, tokenisation, encodage (index, embeddings) et gestion des longueurs de séquence
Utilisation de torch.nn.Embedding et des modules RNN, LSTM ou GRU pour modéliser des séquences
Gestion des DataLoader pour des séquences (padding, masks éventuels)
Présentation des mécanismes d’attention et de la structure générale d’un Transformer (sans entrer dans tous les détails mathématiques)
Introduction à Hugging Face Transformers ou équivalent pour l’inférence avec un modèle pré-entraîné (ex : DistilBERT)
Comparaison de performances et de coûts (temps d’entraînement, ressources) entre modèle LSTM maison et modèle pré-entraîné

Principe du transfert d’apprentissage : freeze/unfreeze de couches, réutilisation de features pré-apprises
Utilisation de modèles pré-entraînés de torchvision (ex : ResNet) ou d’un modèle NLP pré-entraîné en fine-tuning léger
Construction d’un pipeline d’inférence : chargement du modèle, prétraitement des données, prédictions et post-traitement
Sauvegarde des artefacts : poids du modèle, configuration, encoders, normalisation
Introduction aux bonnes pratiques de versionning (Git, branches simples), tracking des expériences et gestion de requirements.txt/conda.yaml
Bonnes pratiques de structuration d’un projet ML en vue d’une future mise en production (séparation entraînement / inférence, scripts CLI ou squelette d’API)