Data Engineers Boosted by DuckDB & Polars in 2025

Offre active

Mission publiée sur Laotop# Data Engineers Boosted by Duck

DB & Polars in 2025Consultez les informations essentielles de la mission, puis candidatez depuis votre espace freelance.

Adresse**Abdenacer Keraghel, Paris (assuming this is the location associated with his Linked

In profile)**## Description de l'offre**Objectif de la mission:**Aider les entreprises à migrer vers AWS et concevoir des pipelines data scalables en réduisant ainsi les coûts d'infrastructure jusqu'à -40% (Fin

Ops). Utilisation de Spark, Airflow et AWS.**Missions principales:**

• Migration vers AWS
• Conception de pipelines data scalables**Profil recherché:**
• Compétence en Spark et Airflow
• Expérience avec AWS**Note d'actualité:**Depuis un an, on assiste à un phénomène remarquable: le processing local revient en force et est 10 fois plus rapide. Les outils tels que Duck

DB, Polars et bientôt le processing WASM permettent de rendre l'analyse locale plus rapide que certains jobs distribués. Cette tendance s'explique par:* **Performance monstrueuse (vectorisé, Rust, colonne)*** **Local-first: idéal pour prototyper, debug et benchmarker*** **Coût = zéro*** **Intégration naturelle avec Python, Pandas, Parquet, SQL*** **Idéal pour tester un pipeline avant de l'envoyer en production**Cette tendance permet:

• Un prototype plus rapide
• Un debug plus facile
• Une réduction des coûts cloud
• L'évitement de lancer un cluster pour un simple dataset de 5–20 Go
• Une agilité énorme dans la phase exploration**Le combo 2025:**Duck

DB + Polars + Parquet → une nouvelle stack "légère" incontournable pour les Data Engineers.1Vous postulez avec votre profil Laotop.**Après votre candidature**Si votre profil correspond, Laotop publie ou prépare un commentaire Linked

In avec votre lien profil et un lien de réponse client. Sans retour sous 10 jours, la candidature est clôturée sans relance.

#J-18808-Ljbffr