Formation ISTQB CT-AI : tester les systèmes d’intelligence artificielle New

– Systèmes à base d’IA et systèmes conventionnels : différences de conception, d’adaptabilité et d’explicabilité, et leurs conséquences pour le test
– IA étroite, IA générale et super IA : le spectre des capacités de l’intelligence artificielle
– Types de technologies d’IA : machine learning, deep learning et autres approches
– IA générative : principes de fonctionnement et place des grands modèles de langage (LLM)
– Matériel pour les systèmes de machine learning : options disponibles pour l’entraînement et l’inférence
– Développement et hébergement des modèles d’IA : options d’implémentation, du cloud à l’auto-hébergement
– Frameworks de développement machine learning : fonctionnalités offertes pour construire et entraîner les modèles
– Réglementations et normes : leur influence sur le développement et le test des systèmes à base d’IA

– Caractéristiques qualité spécifiques à l’IA : classification des comportements selon le modèle qualité ISO/IEC 25059
– IA et sûreté de fonctionnement : considérations particulières lorsque l’IA intervient dans des systèmes critiques
– Critères d’acceptation pour les systèmes à base d’IA : formuler des critères adaptés au comportement probabiliste

– Formes de machine learning : apprentissage supervisé, non supervisé et par renforcement
– Workflow de machine learning : les étapes de création d’un système ML, des données au déploiement
– Modèles pré-entraînés, fine-tuning et RAG (retrieval-augmented generation) : leur rôle dans les systèmes d’IA modernes
– Préparation des données : activités de collecte, nettoyage et transformation
– Jeux d’entraînement, de validation et de test : rôles respectifs dans le développement d’un modèle
– Métriques de performance fonctionnelle pour la classification : calcul et interprétation à partir de la matrice de confusion
– Réseaux de neurones : structure et fonctionnement d’un réseau de neurones profond
– Mesures de couverture pour les réseaux de neurones : évaluer la profondeur du test

– Systèmes IA verrouillés et adaptatifs : impact du mode d’évolution du système sur sa testabilité
– Approche statistique du test : pourquoi le comportement probabiliste impose des verdicts statistiques
– Oracles de test pour les systèmes IA : défis posés par le non-déterminisme et solutions applicables
– Test de l’IA générative : approches pour évaluer les sorties des modèles génératifs
– Red teaming : mise à l’épreuve adversariale des systèmes d’IA générative
– Niveaux de test des systèmes de machine learning : du test des données d’entrée au test d’acceptation
– Test fondé sur les risques : application aux systèmes de machine learning

– Risques liés aux données d’entrée : panorama des risques et des approches de test pour les atténuer
– Test des biais : détecter les biais introduits par les données
– Test du pipeline de données : vérifier les transformations subies par les données jusqu’au modèle
– Test de représentativité : s’assurer que les données reflètent le domaine opérationnel
– Test des contraintes de jeu de données : vérifier le respect des contraintes définies sur les données
– Test de la justesse des labels : contrôler la qualité de l’étiquetage

– Risques liés aux modèles ML : approches de test pour la réduction des risques
– Documentation du modèle : objectifs et champ de la revue de documentation
– Test de performance fonctionnelle : mise en œuvre sur des systèmes de machine learning probabilistes
– Test adversarial : éprouver la robustesse du modèle face à des entrées hostiles
– Test métamorphique : dériver des cas de test quand l’oracle traditionnel fait défaut
– Test de dérive (drift) : surveiller les modèles en exploitation
– Détection du surapprentissage et du sous-apprentissage par le test
– A/B testing et back-to-back testing : comparer des modèles entre eux ou à une référence

– Risques du développement ML : approches de test pour sécuriser le cycle de développement
– Test de déploiement des systèmes de machine learning : formes de test pour fiabiliser la mise en production

– Modalités de l’examen : QCM de 40 questions, 60 minutes, seuil de réussite de 29 points sur 44 (temps additionnel de 25 % pour les candidats passant l’examen dans une langue autre que leur langue maternelle)
– Examen blanc : passage d’un test en conditions réelles
– Stratégies de réponse : gestion du temps, lecture des questions, élimination des distracteurs
– Révision ciblée : synthèse des points clés par chapitre du syllabus
– Passage de l’examen de certification ISTQB® Certified Tester AI Testing (CT-AI), inclus dans la formation