Ingénieur de données databricks

Ingénieur de données Databricks

Durée: 6-12 mois renouvelable

Lieu: mode hybride centre-ville de Montréal

Contexte: C'est pour joindre l'équipe Plateformes et outils de données dans le cadre d'une réorganisation ayant mené à la création de nouvelles squads (Marketing et RH). Le rôle est orienté à environ 60-65 % projets et 35-40 % opérations, avec une forte composante de développement et d'administration de la plateforme Azure Databricks.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données batch et temps réel.
• Mettre en place et optimiser les solutions sur Azure Databricks.
• Participer à l'ingestion, la transformation et la préparation des données provenant de multiples sources.
• Développer des solutions conformes aux standards d'architecture et de gouvernance des données.
• Collaborer avec les équipes d'analytique, de science des données et les parties prenantes d'affaires.
• Diagnostiquer et résoudre les incidents liés aux pipelines et aux plateformes de données.
• Participer aux cérémonies Agile, à l'estimation des user stories et à l'amélioration continue des pratiques d'ingénierie de données.

Compétences requises

• Eexpérience comme Ingénieur de données.
• 4+ ans d'expérience Databricks à titre de configurateur, développeur ou administrateur
• Maîtrise obligatoire de: Delta Lake, Unity Catalog, Workspaces, Lakeflow, Databricks Asset Bundles
• Solide expérience avec Python, PySpark et Spark.
• Expérience avec Azure Data Factory (ADF) et Azure Data Lake.
• Maîtrise de SQL et des bases de données relationnelles.
• Expérience en modélisation de données et architecture Medallion.
• Connaissance des Slowly Changing Dimensions (SCD).
• Expérience avec Azure DevOps, Git et pipelines CI/CD.