Référence
2274/MTL/0910
Date de démarrage
Au plus vite
Localisation du poste
Montréal ou Québec (hybride)
Durée
Permanent
Description
Nous recherchons un Ingénieur de données intermédiaire (R22 - VIM/VNA) afin de rejoindre notre équipe de conseillers du bureau de Québec ou de Montréal dans le cadre d'un poste permanent.
Ce poste est en mode hybride nécessitant une présence sur site d'un jour par semaine à Québec ou à Montréal.
Agissant à titre de conseiller / consultant de Chrome Technologies, le candidat interviendra auprès de nos clients dans la réalisation des projets qu'ils nous ont confiés.
Tâches
L'ingénieur de données intermédiaire effectura aux activités suivantes:
- Définir et mettre en oeuvre les mécanismes de mesure de la qualité des données provenant de la RAMQ et importées dans Microsoft Fabric;
- Traduire les règles de qualité définies par l'équipe de gouvernance des données en règles et contrôles techniques automatisés;
- Concevoir et développer les traitements permettant de mesurer les différentes dimensions de la qualité des données, notamment la complétude, la validité, l'exactitude, la cohérence, l'unicité, l'intégrité référentielle et la fraîcheur;
- Concevoir les mécanismes d'exécution automatisée des contrôles de qualité à chaque chargement des données;
- Développer les mécanismes d'historisation des résultats afin de permettre le suivi de l'évolution de la qualité des données dans le temps;
- Développer les mécanismes d'identification, de catégorisation et de suivi des anomalies de qualité;
- Concevoir les mécanismes permettant de suivre l'exécution des contrôles, les volumes traités, les erreurs et les résultats obtenus;
- Concevoir et maintenir les modèles de données et modèles sémantiques nécessaires à l'exploitation des métriques de qualité dans Power BI;
- Assurer l'intégration des mécanismes de mesure de la qualité aux architectures et patrons de traitement de données existants dans Microsoft Fabric;
- Concevoir une solution suffisamment générique et réutilisable pour permettre l'application progressive des mécanismes de mesure à d'autres sources de données;
- Optimiser les traitements de qualité, les requêtes, les pipelines et les notebooks afin d'assurer leur performance sur des volumes importants de données;
- Mettre en place les mécanismes de contrôle de version, d'intégration et de déploiement continu (CI/CD) pour les traitements, règles de qualité et composants développés;
- Collaborer étroitement avec l'équipe de gouvernance des données afin de valider la traduction technique des règles de qualité et de résoudre les enjeux d'implantation;
- Documenter les principaux traitements, règles, métriques et mécanismes techniques mis en place;
- Accompagner les équipes dans la mise en oeuvre et l'évolution de la solution de mesure de la qualité des données.
Exigences
- Maîtrise de la langue française parlée et écrite.
- Baccalauréat (1er cycle) dans le domaine des technologies de l'information, en administration des affaires, en gestion ou dans un domaine connexe;
- Détenir une certification de spécialisation délivrée par une autorité compétente et reconnue dans le domaine des technologies de l'information.
- Posséder CINQ (5) ans d'expérience en ingénierie de données;
- Détenir plus de QUATRE (4) ans d'expérience en intelligence d'affaires, dont TROIS (3) ans en ingénierie de données dans le réseau de la santé du Québec;
- Détenir UN (1) an d'expérience avec Fabric ou Databricks;
- Démontrer la participation active à au moins DEUX (2) mandats dans le développement de solutions analytiques intégrant des systèmes d'informations cliniques provinciaux et des établissements (ex. Clinibase, SIURGE, Med-urge, BDCU, MED-ECHO, Opera, SIMASS, SILP);
- Posséder une expérience en développement de mécanismes automatisés de contrôle et de mesure de la qualité des données;
- Posséder une expérience dans l'implantation de règles de qualité couvrant plusieurs dimensions des données et dans l'historisation des résultats de contrôle;
- Posséder une expérience avec les pratiques d'intégration et de déploiement continus (CI/CD) et la livraison automatisée de solutions de données.
- Outils et langages : Git/GitHub, SQL, Python, Power BI; Connaissances de Microsoft Fabric (Lakehouse, Data Warehouse, Direct Lake, pipelines, notebooks) et des environnements Spark;
- Maîtrise de T-SQL, DAX et formats JSON;
- Connaissance d'outils et plateformes Azure (p. ex. Azure Data Lake Gen2, Data Factory) et d'outils de gouvernance et de métadonnées (p. ex. Microsoft Purview);
- Connaissance des principes et méthodes de mesure de la qualité des données, notamment la complétude, la validité, l'exactitude, la cohérence, l'unicité, l'intégrité référentielle et la fraîcheur;
- Expérience dans la conception de traitements automatisés permettant le calcul, l'historisation et le suivi de métriques de qualité des données;
- Connaissance des techniques d'optimisation des requêtes SQL, des traitements Spark, des pipelines et des notebooks;
- Connaissance des pratiques de contrôle de version, d'intégration continue et de déploiement continu (CI/CD);
- Connaissance des principes de modélisation de données et capacité à concevoir des modèles sémantiques adaptés à l'exploitation des métriques de qualité;
- Bonne compréhension des principes de gouvernance, de sécurité, de traçabilité et de gestion des métadonnées;
- Capacité à traduire des règles de gouvernance et de qualité des données en contrôles techniques automatisés.
Postuler à cette opportunité
Retour
