Dév IA générative / LLMOps / AWS - Freelance
Freelance Massy (Essonne)
Description de l'offre
Contexte de la mission
Dans le cadre du développement et de l’industrialisation de ses services d’intelligence artificielle générative, un acteur majeur des services financiers renforce son équipe dédiée à l’IA.
Cette équipe conçoit et opère une plateforme IA interne basée sur AWS, destinée à différents utilisateurs :
clients finaux via des applications digitales ;
collaborateurs en relation avec les clients ;
équipes internes et fonctions support ;
applications RH et métiers.
La plateforme repose sur une architecture de microservices et intègre notamment des mécanismes de guardrails, d’observabilité, de monitoring, d’alerting, d’ingestion documentaire et d’évaluation des modèles.
Les cas d’usage couvrent principalement :
les assistants conversationnels et chatbots ;
les architectures RAG ;
les assistants destinés aux conseillers ;
les agents métiers ;
les voicebots et les usages liés à la relation client ;
l’automatisation de processus opérationnels.
Dans un environnement fortement réglementé et exposé aux utilisateurs finaux, une attention particulière est portée à la fiabilité des réponses, à la maîtrise des hallucinations, à la sécurité des données et à la conformité des traitements.
Objet de la mission
Le consultant intervient en qualité de développeur IA générative / LLMOps.
Il contribue à concevoir, industrialiser, maintenir et faire évoluer les capacités d’intelligence artificielle générative de la plateforme.
Son rôle couvre l’ensemble du cycle de vie des composants IA :
conception ;
développement ;
évaluation ;
mise en production ;
supervision ;
optimisation ;
amélioration continue.
Il intervient sur les cas d’usage existants et participe à la création de nouveaux agents, assistants et services IA.
L’objectif est de garantir la performance, la sécurité, la qualité, l’observabilité, la conformité et la capacité de montée en charge des solutions développées.
Responsabilités principales
Développement et industrialisation
Développer des applications IA en Python.
Concevoir des API et des microservices basés sur des LLM.
Développer des agents et systèmes multi-agents.
Concevoir et industrialiser des chaînes RAG.
Mettre en œuvre des mécanismes de recherche sémantique et de gestion des bases documentaires.
Développer des composants réutilisables pour la plateforme IA.
Intégrer les composants IA dans les environnements Cloud AWS.
Contribuer à la mise en production et au maintien en conditions opérationnelles des services.
Orchestration et agents IA
Utiliser des frameworks tels que LangChain, LangGraph, Semantic Kernel ou équivalent.
Concevoir des agents sur Amazon Bedrock et AgentCore.
Définir les interactions entre agents, outils, sources documentaires et services métiers.
Mettre en œuvre des mécanismes de contrôle, de limitation et de supervision des agents.
Garantir la robustesse et la traçabilité des chaînes d’exécution.
RAG et qualité des réponses
Concevoir des architectures RAG fiables et évolutives.
Structurer et maintenir les bases de connaissances.
Optimiser les mécanismes d’indexation, de recherche et de récupération documentaire.
Mettre en œuvre des stratégies avancées de prompt engineering.
Définir des jeux de tests et des critères d’évaluation.
Mesurer la pertinence, la précision, la cohérence et la qualité des réponses.
Identifier et réduire les risques d’hallucination.
Vérifier l’efficacité réelle des guardrails et des mécanismes de contrôle.
Évaluation, monitoring et exploitation
Mettre en place des chaînes d’évaluation automatisées des modèles et des prompts.
Définir les métriques de qualité, de performance et de coût.
Développer les composants de monitoring et d’observabilité.
Suivre les dérives de comportement et de performance des modèles.
Diagnostiquer les incidents affectant les applications IA.
Prioriser les anomalies et contribuer à leur résolution dans les délais opérationnels attendus.
Participer à l’amélioration continue des capacités de la plateforme.
LLMOps, MLOps et CI/CD
Intégrer les composants IA dans les pipelines CI/CD.
Industrialiser la gestion des prompts, des modèles, des configurations et des jeux d’évaluation.
Automatiser les tests fonctionnels, de non-régression et de performance.
Mettre en place les mécanismes de versionnement et de traçabilité.
Contribuer à la reproductibilité des déploiements.
Participer à l’optimisation des coûts et de la consommation des ressources AWS.
Accompagner la montée en charge des services IA.
IA responsable et conformité
Sécuriser les usages de l’intelligence artificielle générative.
Protéger les données sensibles et personnelles.
Mettre en œuvre les guardrails et les contrôles de sécurité adaptés.
Garantir la traçabilité et l’explicabilité des traitements.
Contribuer à la conformité avec le RGPD, l’AI Act et les politiques internes.
Participer à la définition des règles d’usage et des contrôles de qualité.
Identifier les risques liés aux données, aux modèles, aux prompts et aux réponses générées.
Accompagnement métier et relation client
Comprendre les processus métiers et les enjeux de la relation client.
Identifier et qualifier de nouveaux cas d’usage.
Accompagner les Product Owners et les équipes métiers dans l’adoption de l’IA générative.
Animer des ateliers de cadrage, de conception et d’évaluation.
Mesurer la valeur apportée par les solutions développées.
Contribuer aux cas d’usage chatbot, voicebot et Amazon Connect.
Maintenir un niveau de qualité compatible avec des usages exposés aux clients finaux.
Livrables attendus
Chaînes RAG industrialisées.
Agents, assistants et composants IA métiers.
Microservices et API Python.
Frameworks et bibliothèques de prompts.
Pipelines d’évaluation et jeux de tests.
Métriques de qualité, de performance et de coût.
Composants de monitoring et d’observabilité.
Mécanismes de guardrails et de contrôle des réponses.
Documentation d’architecture et d’exploitation.
Dossiers de sécurité et de conformité.
Prototypes évalués et composants industrialisés intégrés à la plateforme.
Documentation des procédures de mise en production et de résolution d’incidents.
Rapports d’analyse et recommandations d’amélioration.
Qualités attendues
Autonomie et sens des responsabilités.
Forte culture de la production et de la qualité logicielle.
Capacité à résoudre rapidement des problèmes complexes.
Esprit critique et capacité à challenger les choix techniques.
Sensibilité aux enjeux de sécurité, de conformité et de confidentialité.
Pédagogie et capacité à travailler avec des équipes métiers et techniques.
Goût du travail collectif et du partage de connaissances.
Veille active sur les évolutions de l’IA générative et des plateformes LLM.
Modalités pratiques
Localisation : sud de la région parisienne.
Télétravail : possible selon les règles internes, avec une présence sur site de trois jours par semaine.
Environnement : Cloud AWS, plateforme IA interne, architecture microservices.
Contexte : équipe produit et plateforme, environnement réglementé, applications internes et services exposés aux clients.
Profil recherché
Compétences techniques requises
Python avancé.
Développement d’applications, d’API et de microservices IA.
Large Language Models et IA générative.
LangChain, LangGraph, Semantic Kernel ou frameworks équivalents.
Amazon Bedrock et AgentCore.
Architectures RAG et recherche sémantique.
Bases vectorielles et gestion de bases documentaires.
Prompt engineering avancé.
Évaluation et monitoring des modèles.
MLOps et LLMOps.
CI/CD et industrialisation de composants IA.
AWS et services Cloud associés.
Observabilité, monitoring et gestion des incidents.
Chatbots, assistants conversationnels et voicebots.
Amazon Connect, idéalement.
Compétences complémentaires
Expérience de la mise en production de solutions IA générative.
Expérience dans des environnements bancaires, financiers ou réglementés.
Maîtrise des problématiques de performance, de coût et de montée en charge.
Connaissance des architectures microservices.
Expérience sur des plateformes d’évaluation automatisée.
Connaissance des enjeux de sécurité des LLM et des systèmes agentiques.
Expérience dans l’automatisation de processus métiers.
Connaissance des pratiques DevSecOps et SRE.
Pré-requis indispensables
Expérience concrète de la production et de l’exploitation de solutions IA.
Capacité à diagnostiquer et prioriser un incident opérationnel.
Expérience démontrée de la vérification de l’efficacité des guardrails.
Capacité à industrialiser des solutions au-delà du stade POC ou expérimental.
Très bon niveau de français professionnel.
Disponibilité pour intervenir sur site dans le sud de la région parisienne au moins deux jours par semaine, idéalement trois.
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours