Intelli5 recrute un.e Architecte Databricks Senior
Vous rejoignez le Centre d'Expertise Databricks d'Intelli5 pour concevoir, faire approuver et piloter des plateformes Databricks de bout en bout - ingestion, Lakehouse, gouvernance, analytique et IA, en Azure ou AWS. Selon les mandats, vous travaillez directement chez nos clients ou aux côtés des équipes de Databricks.
Le Centre d'Expertise regroupe nos architectes et ingénieurs Databricks : il porte nos offres de déploiement et de migration, nos accélérateurs et notre partenariat avec Databricks. Vous en êtes un membre à part entière : vous appliquez ses pratiques dans vos mandats et vous les faites évoluer avec vos pairs, retours d'expérience, accélérateurs, normes d'architecture.
Responsabilités principales
- Définir l'architecture cible Databricks (workspaces, catalogues, zones médaillon, calcul, réseau, sécurité) et la faire approuver par les comités d'architecture.
- Concevoir et encadrer les pipelines d'ingestion et de transformation (batch, streaming, CDC) avec Lakeflow, Spark et Delta Lake, en imposant les standards de qualité, de tests et de CI/CD.
- Déployer et administrer Unity Catalog : modèle de gouvernance, contrôles d'accès fins, lignage, partage de données, conformité (Loi 25, exigences sectorielles).
- Mener des migrations vers Databricks (dbt, Snowflake, Dremio, entrepôts et lacs existants, Hadoop/Synapse) : évaluation, plan, exécution, validation.
- Concevoir les couches analytiques et IA : Databricks SQL, tableaux de bord AI/BI et Genie, MLflow, Agent Bricks, Unity AI Gateway et Databricks AI Search.
- Optimiser coûts et performance (serverless, dimensionnement, Photon, Liquid Clustering, tables système, FinOps) et instaurer l'observabilité.
- Produire la documentation d'architecture, les normes et les gabarits ; former et encadrer les ingénieurs de données.
- Livrer en collaboration directe avec les architectes et les équipes de services professionnels de Databricks lorsque le mandat le demande.
- Contribuer à l'avant-vente technique : estimation, démonstrations, preuves de concept, réponses techniques aux appels d'offres.
Compétences techniques requises: couverture globale de la plateforme
La liste ci-dessous couvre l'ensemble de la plateforme : personne ne la maîtrise entièrement, et nous ne l'exigeons pas. Nous cherchons des architectes qui ont une vue d'ensemble solide de tous ces domaines et de réelles forces dans plusieurs d'entre eux ; les profils de l'équipe se complètent. Le niveau indiqué entre parenthèses est la profondeur visée pour un senior dans ses domaines forts.
- Lakehouse et stockage (expert) : Delta Lake, architecture médaillon, Liquid Clustering, Deletion Vectors, modélisation dimensionnelle et Data Vault, Iceberg/UniForm.
- Ingénierie de données (expert) : Lakeflow Declarative Pipelines (ex-DLT), Lakeflow Connect (CDC, SaaS), Lakeflow Jobs, Spark/PySpark, Spark SQL, Structured Streaming, Auto Loader.
- Gouvernance et sécurité (expert) : Unity Catalog (catalogues, schémas, volumes, lignage, ABAC, masquage, RLS/CLS), Delta Sharing, Lakehouse Federation, Clean Rooms, SCIM/SSO, réseau privé.
- Analytique et BI (avancé) : Databricks SQL, entrepôts serverless, tableaux de bord AI/BI, Genie, Power BI/Tableau sur Databricks, metric views.
- IA et apprentissage machine (avancé) : MLflow (expériences, registre, évaluation, traçage), Agent Bricks et Custom Agents, Model Serving et Foundation Model APIs, Databricks AI Search (ex-Vector Search), Unity AI Gateway, Genie Agents, feature engineering.
- Plateforme et opérations (expert) : Azure et AWS (idéalement les deux), Terraform et Databricks Asset Bundles, CI/CD (GitHub/Azure DevOps), workspaces et comptes, Serverless compute, tables système, FinOps, observabilité.
- Applications et transactionnel (intermédiaire) : Databricks Apps, Lakebase, intégration API et événementielle.
- Migration (avancé) : dbt vers Databricks, Snowflake, Dremio, Synapse/Hadoop, outils d'évaluation et de conversion, validation et réconciliation des données.
Langages : Python et SQL courants ; Scala un atout. Connaissance des outils voisins (dbt, Fivetran, Kafka/Event Hubs, Airflow/ADF) attendue pour les intégrations.
Expérience, certifications et profil recherché
- 5 ans et plus en ingénierie ou architecture de données, dont 3 ans et plus sur Databricks en production et 3 ans et plus en rôle d'architecte.
- Au moins deux déploiements de plateforme Databricks menés de bout en bout, dont une migration (Unity Catalog, Snowflake, dbt ou équivalent).
- Expérience en environnement d'entreprise à forte exigence de gouvernance (finance, assurance, secteur public ou grande entreprise) un atout.
Certifications :
- Databricks Certified Data Engineer Professional, atout (etre pret a la passer si la personne ne l'a pas).
- Databricks Certified Generative AI Engineer Associate ou Machine Learning Professional (atout).
- Databricks Certified Data Analyst Associate ou Platform Administrator (atout).
- Microsoft Azure Solutions Architect Expert ou AWS Solutions Architect Professional (atout).
Compétences relationnelles, langue et conditions
- Capacité à présenter et défendre une architecture devant des directions TI, des comités d'architecture et des équipes de sécurité.
- Leadership technique : encadrement d'équipes de 3 à 8 ingénieurs, revues de code et d'architecture, transfert de connaissances.
- Autonomie en contexte multi-intervenants (client, Databricks, fournisseur infonuagique, Intelli5).
- Français professionnel requis ; anglais professionnel requis pour les mandats avec Databricks et hors Québec.
