architecte informatique Data Azure / Databricks / Snowflake — Part-time puis Full-time (IT) / F[...]

Architecte Data Azure senior (10 ans+) recruté en mission de transformation — plateforme Databricks/Snowflake à recadrer architectur , équipe interne à coacher, stratégie data à 3 ans à définir. Il challenge diplomatiquement la direction technique actuelle , conçoit l'architecture cible , industrialise les pipelines en Terraform/Azure DevOps, gouverne la plateforme via Unity Catalog, et transfère les compétences sans créer de dépendance.

Missions principales

Audit & Recadrage Diplomatique de l'Architecture Existante

• Analyser l'architecture data actuelle : identifier les problèmes structurels, les anti-patterns, les risques opérationnels
• Formuler les recommandations de façon constructive
• Convaincre le management et les équipes de changer de direction : argumentation technique, démonstration par les risques, roadmap de transition réaliste
• Conduire des revues d'architecture régulières pour maintenir la cohérence dans la durée

Définition de l'Architecture Cible

• Concevoir l'architecture data cible : zones medallion (raw/processed/curated), formats (Delta Lake / Snowflake selon les cas d'usage), partitionnement, clés de distribution
• Définir les patterns d'intégration entre Databricks et Snowflake pour éviter les silos
• Produire le DAT complet, défendable en comité de direction
• Définir la stratégie de gouvernance : Unity Catalog, RBAC, RLS, Data Lineage, catalogue de données

Industrialisation des Pipelines & DataOps

• Concevoir et implémenter les pipelines ETL/ELT sur Databricks et Snowflake (Snowpipe, Streams & Tasks)
• Mettre en place les pipelines CI/CD Azure DevOps (YAML) avec Terraform pour l'infrastructure as code
• Tests automatisés data : qualité, contrats, régression — culture DataOps production réelle
• Structurer les environnements dev/staging/prod avec isolation et promotion contrôlée

Sécurité & Conformité

• IAM Azure, RBAC Unity Catalog, RLS Snowflake, Key Vault
• Conformité RGPD : pseudonymisation, chiffrement, audit trail, droit à l'oubli

Coaching & Transfert de Compétences

• Revues de code, revues d'architecture, sessions de formation sur les patterns et standards
• Documentation des décisions (ADR) et bonnes pratiques pour assurer la continuité sans dépendance
• Montée en compétences sur Unity Catalog, Delta Live Tables, optimisation Snowflake, Terraform

Stratégie Data à 3 ans

• Roadmap data : quick wins, transformations structurelles, jalons, dépendances
• Veille technologique : évolutions Databricks/Snowflake/Azure, data mesh, data fabric
• Cadrage des POCs nécessaires avant l'implémentation à grande échelle

Profil candidat

Profil recherché

• 10 à 15 ans, dont 5 ans en architecture data et 3 ans sur plateformes Azure/Databricks/Snowflake en production réelle — pas de sandbox, pas de POC uniquement
• Expérience en mission de conseil ou de transformation : l'influence sans autorité hiérarchique s'apprend dans ce contexte
• Expérience de coaching ou mentoring d'équipes data : transfert sans créer de dépendance

Soft skills clés

• Diplomatie et influence (critère n°1) : convainc un client de changer de direction par la démonstration et la confiance, pas par l'autorité
• Pédagogie : valorise l'existant avant de proposer des changements
• Humilité technique : écoute le contexte avant de prescrire
• Présentation et communication : à l'aise en comité de direction, en revue d'architecture, en présentation de roadmap
• Patience

Compétences requises

Databricks — Must Have (++)

• Delta Lake : optimisation, Z-ordering, vacuum, Data Skipping, liquid clustering
• Unity Catalog : mise en place en production, RBAC, Data Lineage
• Delta Live Tables, MLflow apprécié
• Intégration ADF / Azure DevOps / Terraform

Snowflake — Must Have (++)

• Administration réelle : virtual warehouses, sizing, Snowpipe, Streams & Tasks
• Sécurité : RBAC, RLS, masking policies, encryption
• Tuning performance : clustering keys, materialized views, query profiling
• ACCOUNT_USAGE monitoring, optimisation des coûts

Azure Data & IaC — Must Have (++)

• Azure Data Factory / Synapse, Event Hub / Service Bus, Azure Monitor, Key Vault
• Terraform — modules, state management, multi-comptes : critère central
• Azure DevOps YAML pipelines : CI/CD data, tests automatisés, promotion d'environnements

DataOps & Code — Must Have

• PySpark / Python / SQL avancé — écrire, auditer et optimiser du code data
• Tests automatisés data : Great Expectations, dbt tests ou équivalent
• Medallion architecture, lakehouse patterns, data mesh concepts

Nice-to-have :

• MLflow, Azure ML
• RPA : connaissance fonctionnelle (Power Automate, UiPath)
• dbt, data contracts