CAE
2020 – 2022 et 2023 – 2024
Ingénierie de données et infrastructure infonuagique pour un leader mondial de la simulation et de la formation.
Aperçu
Mandat de longue durée sur deux périodes, construisant et optimisant l'entrepôt de données d'entreprise, concevant des pipelines ETL, déployant des tableaux de bord en temps réel et architecturant des solutions d'ingestion de données sans serveur sur Azure.
Contributions clés
Implémentation de solutions ETL via Azure Data Factory pour l'ingestion de données de multiples sources, incluant SQL Server et Oracle on-premise, pour alimenter l'entrepôt de données Azure Synapse.
Conception de nombreux flux de données dans Azure Data Factory et développement de jobs Databricks utilisant PySpark pour la transformation complète des données.
Participation au développement d'une bibliothèque ETL standardisée Python/PySpark pour rationaliser divers processus de nettoyage et de modélisation de données.
Optimisation et création de multiples procédures stockées en T-SQL pour alimenter les tables de dimensions et de faits dans l'entrepôt de données.
Analyse de données, liaison avec diverses équipes de domaines d'affaires pour identifier les tables de faits et de dimensions, et architecture du schéma en étoile pour l'entrepôt de données.
Déploiement d'un tableau de bord Dash mis à jour en quasi temps réel pour l'équipe Healthcare Cloud, utilisant des séries temporelles et des Azure Functions Python.
Conception et implémentation d'une architecture sans serveur utilisant Azure Functions V3 en .NET Core C# pour l'ingestion de données depuis SAP ARIBA vers le lac de données.
Assurance du fonctionnement optimal de l'infrastructure infonuagique, utilisant des ARM Templates et gérant le pipeline Azure DevOps.
Amélioration du processus de développement et de contrôle de source pour une équipe de plus de 10 ingénieurs de données.
Participation à l'intégration de nouveaux employés en les familiarisant avec la solution et en configurant leur environnement de travail.
Années sur deux mandats
Ingénieurs de données supportés
Architecture d'entrepôt de données