Data Engineer / Sciences : RAG NLP LLM H/F

Contexte de la mission

Dans le cadre de projets innovants liés à l'Intelligence Artificielle et au traitement des données, vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM. Votre mission consistera à concevoir, développer et déployer des solutions avancées en traitement du langage naturel (NLP), Retrieval-Augmented Generation (RAG) et Large Language Models (LLM).

Vous serez impliqué dans des projets variés, tels que :

Le développement de pipelines de données pour alimenter des modèles d'IA.

La conception de systèmes RAG pour améliorer la précision des réponses générées par l'IA.

L'intégration et l'optimisation de LLM pour des applications métiers (chatbots, analyse de texte, génération de contenu, etc.).

La collaboration avec des équipes pluridisciplinaires (Data Engineers, Dev

Ops, experts métiers).

Missions principales

Développement de pipelines de données et d'infrastructures IA

Concevoir et maintenir des pipelines ETL/ELT pour collecter, nettoyer et transformer des données.

Automatiser les processus de traitement de données à grande échelle.

Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité).

Modélisation et traitement du langage naturel (NLP)

Développer des modèles de NLP pour des tâches spécifiques (classification, extraction d'entités, traduction automatique, etc.).

Fine-tuner des modèles de langage pré-entraînés (BERT, T5, etc.).

Évaluer et améliorer la qualité des modèles NLP.

Conception et optimisation de systèmes RAG

Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.

Intégrer des bases de connaissances vectorielles (Pinecone, Weaviate, FAISS).

Optimiser la pertinence et la rapidité des systèmes RAG.

Intégration et déploiement de LLM

Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.

Adapter les LLM à des cas d'usage spécifiques (chatbots, génération de texte, analyse de sentiments, etc.).

Travailler sur l'efficacité énergétique et la scalabilité des modèles.

Collaboration et industrialisation

Collaborer avec les équipes Dev

Ops pour déployer les solutions en production (Docker, Kubernetes, CI/CD).

Participer à la mise en place de tests automatisés pour valider les performances des modèles.

Documenter les processus, les architectures et les résultats.

Veille technologique et innovation

Suivre les avancées en NLP, RAG et LLM (recherches académiques, nouvelles bibliothèques, etc.).

Proposer des solutions innovantes pour améliorer les systèmes existants.

Participer à des ateliers ou formations pour monter en compétences.

Environnement & méthodologies

Langages et frameworks :Python (obligatoire), Tensor

Flow, Py

Torch, Hugging Face (Transformers), Lang

Chain, Llama

Index.

Bibliothèques NLP : NLTK, spa

Cy, scikit-learn.

Outils :Data Engineering : Apache Spark, Apache Airflow, Kafka.

Dev

Ops/MLOps : Docker, Kubernetes, Git, CI/CD, MLflow.

Bases de données : SQL (Postgre

SQL, My

SQL), No

SQL (Mongo

DB), bases vectorielles (Pinecone, Weaviate, FAISS).

Cloud : AWS (Sage

Maker, Bedrock), Azure (Open

AI, Cognitive Services), GCP (Vertex AI).

Méthodologies : Agile (Scrum, Kanban), MLOps, Dev

Ops.