Data Engineers Boosted by DuckDB & Polars in 2025

Objectif de la mission

Aider les entreprises à migrer vers AWS et concevoir des pipelines data scalables en réduisant ainsi les coûts d'infrastructure jusqu'à 40% (FinOps). Utilisation de Spark, Airflow et AWS.

Missions principales

• Migration vers AWS
• Conception de pipelines data scalables

Profil recherché

• Compétence en Spark et Airflow
• Expérience avec AWS

Note d'actualité

Depuis un an, on assiste à un phénomène remarquable: le processing local revient en force et est 10 fois plus rapide. Les outils tels que DuckDB, Polars et bientôt le processing WASM permettent de rendre l'analyse locale plus rapide que certains jobs distribués.

Cette tendance s'explique par

• Performance monstrueuse (vectorisé, Rust, colonne)
• Local‑first: idéal pour prototyper, debug et benchmarker
• Coût = zéro
• Intégration naturelle avec Python, Pandas, Parquet, SQL
• Idéal pour tester un pipeline avant de l'envoyer en production

Cette tendance permet

• Un prototype plus rapide
• Un debug plus facile
• Une réduction des coûts cloud
• L'évitement de lancer un cluster pour un simple dataset de 5–20Go
• Une agilité énorme dans la phase exploration

Le combo 2025

DuckDB + Polars + Parquet, une nouvelle stack 'légère' incontournable pour les Data Engineers.