Expert Observabilité IA & Agentic AI – Splunk / SOC (IT) / Freelance

Dans le cadre de l’industrialisation de solutions d’Intelligence Artificielle Générative au sein d’un environnement de cybersécurité, nous recherchons un Expert Observabilité IA & Agentic AI .

Vous interviendrez au sein d’un environnement SOC sur des problématiques à la croisée de la cybersécurité, de l’IA générative, du Cloud et de l’observabilité .

L’objectif du poste est de concevoir, implémenter et opérer les mécanismes permettant d’assurer la fiabilité, la sécurité, la performance, la qualité et la traçabilité des agents IA utilisés dans les opérations de cybersécurité.

Vous contribuerez notamment à la mise en place d’une plateforme agentique industrialisée et à son intégration avec les outils du SOC, notamment Splunk .

Vos principales responsabilités

1. Observabilité des systèmes IA

• Définir et mettre en œuvre la stratégie d’observabilité de la plateforme agentique.

• Mettre en place le monitoring des agents IA, workflows et chaînes d’orchestration.

• Superviser les architectures basées sur LangChain / LangGraph .

• Mettre en place la collecte et la corrélation des métriques techniques, fonctionnelles et métier.

• Concevoir des dashboards permettant de suivre en temps réel les performances et la qualité des agents.

• Assurer la traçabilité des interactions entre les utilisateurs, les agents, les LLM et les différents outils.

• Mettre en place des mécanismes de détection des comportements anormaux ou inattendus.

• Identifier les hallucinations, dérives et dégradations de performance des modèles.

2. AI Reliability Engineering

• Concevoir et mettre en œuvre des frameworks d’évaluation continue des agents IA.

• Définir les KPI de qualité, performance et fiabilité des agents.

• Mettre en place des mécanismes de suivi des SLA / SLO.

• Identifier les causes racines des défaillances des agents et des workflows.

• Optimiser continuellement la qualité et les performances des solutions IA.

• Suivre et optimiser les coûts d’utilisation des modèles et infrastructures.

3. Sécurité des systèmes IA

• Identifier et superviser les risques liés à l’utilisation de systèmes d’IA générative.

• Participer à la définition des mécanismes de gouvernance des agents IA.

• Détecter les comportements anormaux, malveillants ou dangereux des agents.

• Participer aux analyses de risques liées aux systèmes IA.

• Contrôler les accès, permissions et interactions entre les agents et les systèmes externes.

• Contribuer à la sécurisation des architectures RAG, LLM et Agentic AI .

• Mettre en place des mécanismes de traçabilité et d’audit des actions réalisées par les agents.

4. Intégration avec le SOC et Splunk

• Intégrer les événements et logs des plateformes IA dans Splunk .

• Concevoir les dashboards d’exploitation et de supervision.

• Développer des alertes de détection spécifiques aux systèmes IA.

• Créer des corrélations entre les événements de cybersécurité et les événements générés par les agents IA.

• Exploiter les capacités SIEM/SOAR pour superviser les risques liés aux agents.

• Contribuer à la création de nouveaux use cases de détection.

• Produire les indicateurs nécessaires aux équipes SOC et aux équipes opérationnelles.

• Participer à l'amélioration continue des capacités de détection et de réponse.

5. RUN & Amélioration continue

• Assurer le maintien en condition opérationnelle de la plateforme d’observabilité.

• Investiguer les incidents liés aux agents et aux composants IA.

• Analyser les dysfonctionnements et identifier les causes racines.

• Participer à la résolution des incidents de production.

• Optimiser les performances, la disponibilité et les coûts.

• Documenter les architectures, procédures et mécanismes de supervision.

• Participer à l'amélioration continue de la plateforme.

Environnement techniqueIA Générative & Agentic AI

• Architectures Agentic AI

• LangChain

• LangGraph

• AWS Bedrock

• Agents Bedrock

• LLM

• RAG

• Embeddings

• Bases de données vectorielles

• MCP

• LangSmith

• LLM Observability

• LLM Evaluation

Cybersécurité

• Environnement SOC

• CERT / CSIRT

• Incident Response

• Threat Hunting

• MITRE ATT&CK

• Sécurité des systèmes IA

• AI Risk / AI Governance

SIEM / SOAR

• Splunk / Splunk Enterprise Security

• SOAR

• Cortex XSOAR

• Corrélation d'événements

• Détection et alerting

Développement & DevOps

• Python avancé

• APIs REST

• Git

• GitLab CI/CD

• Infrastructure as Code

• Terraform

Cloud

• AWS

• AWS Bedrock

• Services AWS liés à l'IA et à la sécurité