Cours de master

Charge

32 h par cours
Cours magistraux
20 h

5 modules × 4 h

  • Fondements théoriques et concepts clés
  • Principes d'architecture distribuée
  • Exercices techniques guidés
Travaux pratiques
8 h

1 TP pratique par module (1,5-2 h)

  • Devoirs d'ingénierie pratiques
  • Revues collaboratives de code et d'architecture
Projet final
4 h

1 atelier capstone dédié

  • Déploiement d'un pipeline de données de production de bout en bout
  • Accompagnement et revue technique de projet

Langue et outils

Bilingue
Enseignement
Français et anglais

Modalités d'enseignement

Cours en français Terminologie en anglais Q&R bilingue
Supports
Anglais

Livrables du cours

Diapositives Dépôts de code Devoirs Examens

Évaluation

4 composantes
Examen final
50%
Devoirs de module
20%
Projet final
15%
Assiduité et participation
15%
  • Data Engineering 2

    Fall 2025-2026

    • Master’s Year 2
    • 12 étudiants

    La suite en deuxième année : passer de la construction d'un pipeline à son exploitation, face aux modes de défaillance de la production.

    Module 1 : Flux de données synchrones et asynchrones

    • Compromis entre modèles de flux : mise en regard de la requête-réponse bloquante et des files de messages, pour évaluer couplage et tolérance à la latence.
    • Propagation des défaillances aval : comment la contre-pression et la croissance des files évitent la perte d'enregistrements sous forte charge.
    • Lab : le même pipeline d'ingestion implémenté deux fois (HTTP bloquant contre file découplée), puis mis en défaut sous charge synthétique pour comparer perte d'enregistrements et latence de traitement.

    Module 2 : Conception de pipelines résilients et idempotence

    • Le principe d'idempotence : Airflow garantit qu'une tâche peut être rejouée ; c'est votre modèle de données et votre stratégie transactionnelle qui doivent garantir que le rejeu est sans danger.
    • Mécanique du rejeu sûr : UPSERT sur clé métier unique, patrons MERGE par table de staging, et suppression-avant-écriture transactionnelle sur des partitions de date.
    • Orchestration contre idempotence : distinguer la configuration des rejeux d'un DAG Airflow des garanties transactionnelles au niveau de la base.
    • Lab : un DAG Airflow multi-tâches écrit avec rejeux par tâche, backoff exponentiel et UPSERT idempotents, mis en échec en cours d'exécution puis réparé par un backfill daté sur la fenêtre manquante.

    Module 3 : Traitement à grande échelle avec Apache Spark

    • Mécanique du traitement distribué : exécution de transformations Apache Spark sur des sources opérationnelles PostgreSQL.
    • Lecture des plans d'exécution : analyse des plans Spark via EXPLAIN pour repérer les étapes de shuffle et les débordements sur disque.
    • Lab : une transformation de jointure et d'agrégation écrite en Spark sur des tables sources PostgreSQL, refactorée une fois le plan d'exécution révélant les goulots de shuffle, avec comparaison des temps d'exécution.

    Module 4 : Journalisation, supervision et observabilité

    • Suivi structuré des erreurs : intégration d'identifiants de tâche contextuels et d'identifiants d'exécution avec Loguru.
    • Supervision opérationnelle : construction de tableaux de bord temps réel et de règles d'alerte à seuil dans Datadog.
    • Lab : un pipeline instrumenté avec des enregistrements Loguru structurés expédiés vers Datadog, avec une alerte de défaillance automatisée déclenchée et vérifiée sous injection d'erreurs synthétiques.

    Module 5 : Packaging et livraison

    • Conteneurisation de l'environnement : empaquetage de pipelines de données Python dans des images Docker reproductibles.
    • Versionnement des données et des artefacts : suivi des jeux de données et des modèles intermédiaires avec DVC.
    • Automatisation CI/CD : construction de workflows automatisés avec GitHub Actions pour pousser les images vers le GitHub Container Registry.
    • Lab : un pipeline empaqueté en image Docker avec suivi de données DVC et un workflow GitHub Actions qui construit, teste et publie les conteneurs à chaque commit sur la branche principale.

    Projet final : Pipeline d'ingestion tolérant aux pannes

    • Architecture technique et flux de données : pipeline d'ingestion de bout en bout portant les données d'une source opérationnelle PostgreSQL à travers une transformation Spark vers une cible analytique, planifié comme un DAG Airflow avec rejeux et un chemin de backfill fonctionnel.
    • Exploitabilité, conteneurisation et supervision : journalisation Loguru structurée remontée sur un tableau de bord Datadog, le pipeline complet étant conteneurisé et livré par CI.
    • Rapport écrit et soutenance orale : dépôt exécutable en une seule commande, accompagné d'un schéma d'architecture et d'une soutenance des choix de rejeu, de délai d'expiration et d'idempotence.
  • Data Engineering 1

    Spring 2024-2025

    • Master’s Year 1
    • 16 étudiants

    Le cours d'ingénierie des données de première année : comment les données analytiques sont stockées, déplacées et traitées à un volume qui ne tient plus sur une seule machine.

    Module 1 : Fondamentaux du big data et limites mémoire

    • Les frontières de la machine unique : identifier la limite mémoire à partir de laquelle le traitement sur une seule machine échoue et l'outillage distribué devient nécessaire.
    • Exécution en mémoire contre par blocs : comparaison entre chargement intégral du jeu de données en mémoire et traitement par blocs partitionnés.
    • Lab : la même agrégation exécutée sur un jeu de données tenu entier en mémoire puis sur un jeu lu et partitionné par blocs, chronométrée dans les deux cas pour situer la limite de la machine unique.

    Module 2 : Entrepôts de données et modélisation dimensionnelle

    • Architectures OLTP et OLAP : pourquoi le stockage analytique est structuré autrement que les bases opérationnelles transactionnelles.
    • Modélisation en schéma en étoile : définition des faits, des dimensions conformes, des clés de substitution et du grain explicite dans PostgreSQL.
    • Lab : un schéma en étoile conçu à partir d'une source opérationnelle normalisée et créé dans PostgreSQL, puis interrogé pour mesurer les performances des requêtes analytiques.

    Module 3 : Architectures ETL et transformations sûres

    • Étapes du pipeline : extraction, nettoyage, conformation et chargement des données des systèmes opérationnels vers les entrepôts.
    • Logique de transformation : écriture de routines ETL robustes en Python avec des opérations de base de données atomiques.
    • Lab : un job ETL Python extrayant depuis une base opérationnelle, conformant les enregistrements et les chargeant dans un schéma en étoile PostgreSQL.

    Module 4 : Traitement à grande échelle avec Apache Spark

    • Paradigmes de calcul distribué : traitement distribué des données via les abstractions DataFrame d'Apache Spark.
    • Comparaison de passage à l'échelle : évaluation du calcul distribué Spark face à une exécution Python sur machine unique.
    • Lab : réécriture des transformations ETL Python en opérations DataFrame Spark sur des extractions plus volumineuses, pour identifier le point de bascule où le distribué devient gagnant.

    Module 5 : Analytique et reporting

    • Service analytique : connexion des entrepôts opérationnels aux outils de BI pour le reporting métier.
    • Modélisation sémantique des mesures : construction de rapports Power BI sur des schémas en étoile conformes, avec des mesures modélisées plutôt que des calculs au niveau du visuel.
    • Lab : Power BI connecté à un schéma en étoile PostgreSQL, avec un tableau de bord construit sur des dimensions conformes et des mesures sémantiques explicites.

    Projet final : Entrepôt de la source au tableau de bord

    • Architecture technique et flux de données : pipeline de bout en bout d'une source opérationnelle jusqu'à un tableau de bord Power BI publié.
    • Exploitabilité et modélisation : implémentation d'un schéma en étoile avec définitions de grain explicites, clés de substitution et pipelines de transformation atomiques.
    • Rapport écrit et soutenance orale : remise des définitions de schéma, du code ETL et soutenance des choix de modélisation dimensionnelle (grain, clés et agrégats).
  • Machine Learning

    Fall 2024-2025

    • Master’s Year 2
    • 12 étudiants

    Le cours d'apprentissage automatique appliqué de la formation, mené de la formulation d'un problème métier déterministe en problème apprenable jusqu'à la décision de savoir si le résultat signifie quelque chose ou si l'expérience doit être repensée.

    Module 1 : Apprentissage supervisé et classification déséquilibrée

    • Le cadre, et ce qui le rend difficile : le jeu de données de fraude bancaire ULB, qui porte 284 807 transactions dont 492 fraudes (0,17 % de classe positive).
    • Le piège de la justesse : montrer pourquoi une référence naïve prédisant zéro fraude atteint 99,83 % de justesse, ce qui impose une évaluation par le score F1.
    • Ingénierie de caractéristiques sous contrainte : travailler avec 28 colonnes de composantes principales, où Time et Amount sont les principales caractéristiques disponibles pour la transformation.
    • Compromis entre estimateurs : évaluation des arbres de décision, des forêts aléatoires et de la régression logistique dans Scikit-learn, au regard des hypothèses sur les données.
    • Lab : douze étudiants en trois équipes, chaque équipe ajustant un estimateur (arbre de décision, forêt aléatoire, régression logistique) sur une préparation Pandas partagée dans Google Colab, en comparant justesse et F1 à l'échelle de la salle.

    Module 1 Devoir : Benchmark de détection de fraude

    • Défi individuel sur Colab : un devoir individuel dans Google Colab où le jeu de données et les métriques d'évaluation sont fixés, tandis que la sélection de caractéristiques, le choix d'estimateur et le réglage des hyperparamètres sont libres.
    • Les trois leviers : sélection et préparation des caractéristiques, choix de l'estimateur, et optimisation des hyperparamètres.
    • Rendu attendu : un notebook commenté portant la meilleure justesse et le meilleur score F1 atteints, reproductible directement depuis le notebook.
    • Argumentaire oral : défendre quels leviers ont fait bouger le score et quels paramètres n'ont eu qu'un effet négligeable.

    Module 2 : Descente de gradient et optimisation (à la main)

    • Optimisation depuis les principes : apprendre la descente de gradient comme le mécanisme sous-jacent de l'ajustement d'un modèle, et non comme un appel de bibliothèque.
    • Paramètres de convergence : analyse des taux d'apprentissage, des surfaces de perte et des pas de mise à jour des paramètres.
    • Lab : descente de gradient implémentée depuis la dérivée en NumPy pur, en traçant les courbes de perte pour différents taux d'apprentissage jusqu'à observer stagnation ou divergence.

    Module 3 : Apprentissage non supervisé et clustering (à la main)

    • Représentation non supervisée : découvrir la structure latente sans étiquettes de vérité terrain.
    • Mécanique des K-moyennes : étape d'affectation, règle de mise à jour des centroïdes, et choix du k optimal par inertie et analyse de silhouette.
    • Lab : K-moyennes implémenté à la main en NumPy (affectation, mise à jour des centroïdes, test de convergence) et validé contre Scikit-learn.

    Module 4 : Évaluation de modèle et courbes de diagnostic

    • Validation de la généralisation : techniques de validation croisée séparant l'ajustement à l'entraînement de la performance en généralisation.
    • Visualisation de diagnostic : lecture des matrices de confusion, des compromis précision-rappel et des courbes d'apprentissage Matplotlib.
    • Lab : un classifieur validé par validation croisée sur une cible déséquilibrée, avec matrices de confusion et courbes d'apprentissage Matplotlib utilisées pour diagnostiquer sous-apprentissage et surapprentissage.

    Module 5 : Le flux de travail pratique et l'export de modèle

    • Intégration de bout en bout : extraction des données depuis PostgreSQL, préparation des caractéristiques dans Pandas, ajustement de pipelines Scikit-learn et évaluation des métriques.
    • Reproductibilité et persistance : export des artefacts de pipeline ajustés avec leurs métadonnées d'évaluation.
    • Lab : un script de flux de travail Python de bout en bout (requête ➔ préparation ➔ ajustement ➔ évaluation), avec artefacts de modèle et métriques persistés ensemble.

    Projet final : Étude de prédiction appliquée

    • Architecture technique et flux de données : étude de prédiction supervisée menée d'une extraction PostgreSQL à une préparation de caractéristiques Pandas, jusqu'à un modèle Scikit-learn réglé battant une référence naïve.
    • Exploitabilité et réglage du pipeline : recherche d'hyperparamètres validée par validation croisée sur des pipelines scikit-learn, avec persistance des métriques.
    • Rapport écrit et soutenance orale : rendu sous forme de notebook comportant les figures d'évaluation Matplotlib, défendu sur la question de savoir si les résultats empiriques soutiennent la conclusion finale.