[FBO] Lead AI / RAG Engineer – Python, SharePoint & QA (IT) / Freelance

Développeur Python IA & Connectivité SharePoint

Mission

• Concevoir et développer un chatbot IA centralisé à l'échelle de la banque, intégrant SharePoint comme source de données principale
• Garantir la qualité, la fiabilité et la couverture de tests du chatbot via une stratégie QA rigoureuse

Responsabilités

• Concevoir l'architecture du chatbot (orchestration, RAG, gestion du contexte, multi-turn)
• Développer les composants IA : ingestion, embedding, retrieval, génération (LLM on-premise ou API)
• Intégrer les modèles LLM avec les sources de connaissance SharePoint
• Optimiser les performances (latence, throughput, qualité des réponses)
• Gestion des prompts, templates, et évaluation des réponses (prompt engineering)
• Développement d'outils et services en Go (performance-critical, sidecar utilities)

Connectivité SharePoint

• Intégration avec Share

  Point Online / On-Premise via API Graph ou Share

  Point REST API
• Authentification : OAuth2, Azure AD, certificats app-only, managed identities
• Crawling et indexation des documents, pages, listes, et bibliothèques SharePoint
• Gestion des permissions et de la sécurité au niveau des sites/documents (respect des ACLs dans le retrieval)
• Synchronisation et rafraîchissement incrémental du contenu SharePoint
• Gestion des métadonnées, types de contenu, et structures de sites complexes (multi-sites, multi-tenants)
• Gestion des quotas API Graph (throttling, retry, pagination)

QA / Testing — Focus Principal

• Concevoir et implémenter la stratégie de test end-to-end du chatbot
• Tests unitaires (pytest, Go testing) — couverture des composants IA, connecteurs SharePoint, orchestration
• Tests d'intégration : SharePoint API mocking, vector store, LLM endpoints
• Tests de contrat API (schema validation, Pydantic AI schema enforcement)
• Tests de non-régression sur les réponses IA :
• Golden datasets et évaluation automatique des réponses
• Scoring de qualité (relevance, faithfulness, hallucination detection)
• A/B testing des prompts et des versions de modèles
• Tests de charge et de performance (locust / k6) — simulation multi-utilisateurs concurrents
• Tests de sécurité :
• Injection de prompts (prompt injection, jailbreak)
• Fuite de données (data exfiltration, cross-tenant leakage)
• Accès non autorisés (bypass d'ACLs SharePoint)
• Tests de robustesse LLM : edge cases, context overflow, model fallback, timeout handling
• Observabilité de la qualité via Langfuse :
• Tracing des chaînes RAG (retrieval → génération → réponse)
• Évaluation continue des réponses en production (drift detection, feedback loops)
• Dashboards de qualité (latence, token usage, user satisfaction, error rates)
• Alerting sur dégradation de qualité
• Mise en place de pipelines CI/CD avec gates de qualité (tests, linting, évaluation IA)
• Gestion des environnements de test (dev / staging / prod) avec données représentatives

Architecture & Intégration

• Concevoir le pipeline de données : SharePoint → extraction → chunking → embedding → vector store
• Exposer le chatbot via API REST (FastAPI) et interface utilisateur
• Intégration avec les systèmes internes (SSO, logging, audit, monitoring)
• Gestion multi-langues (FR/EN)

Stack Technique

• Langages : Python 3.11+, Go
• IA / LLM : Pydantic AI, Lang

  Chain / Llama

  Index, v

  LLM, Hugging Face, Open

  AI-compatible APIs
• Observabilité IA / QA : Langfuse (tracing, évaluation, monitoring)
• Vector Store : Milvus / Qdrant / pgvector
• Share

  Point : Microsoft Graph API, Share

  Point REST API, MSAL
• API : FastAPI, Pydantic
• Testing : pytest, pytest-asyncio, Go testing, locust, k6
• CI/CD : GitLab CI, Tekton
• Observabilité infra : Prometheus, Grafana, OpenTelemetry
• Conteneurisation : Docker, Kubernetes / OpenShift

Compétences Requises

• Développement Python en production (min. 3 ans) avec solides bases en architecture logicielle
• Expérience en Go (services performants, CLI tools, sidecar components)
• Expérience avec les frameworks LLM : Pydantic AI, Lang

  Chain, Llama

  Index et patterns RAG
• Expérience avec Langfuse (ou équivalent) pour le tracing et l'évaluation des chaînes IA
• Expérience d'intégration avec Share

  Point Online et/ou Share

  Point On-Premise (API Graph, REST, CSOM)
• Connaissance d'Azure AD : OAuth2, app registrations, permissions déléguées vs application
• Maîtrise des pratiques de testing : unitaires, intégration, E2E, contract, charge
• Expérience avec les vector stores et les pipelines d'embedding
• CI/CD et automatisation des tests — culture qualité forte
• Compréhension des enjeux de sécurité en environnement bancaire (confidentialité, audit, traçabilité)
• Bonus : expérience avec Microsoft Graph webhook/Change API, Azure Functions