Senior Data Scientist GenAI - Pharma - Freelance

Description de l'offre

Contexte

La plateforme permet aux équipes d’un groupe pharmaceutique international de construire des personas synthétiques de leurs audiences (professionnels de santé et patients) et d'interagir avec elles comme avec de vraies personnes, pour mieux comprendre ces publics et décider avec plus de confiance. Chaque persona s'appuie sur de la recherche et de la psychologie, et son profil détaillé permet au moteur de répondre en restant fidèle au personnage.

La plateforme passe du stade prototype à celui de produit. L'enjeu est de garantir que les personas restent crédibles, cohérents et dignes de confiance à grande échelle — ce poste porte la couche IA générative et évaluation qui rend cela possible.

Missions

• Accompagner en mission l'équipe produit pour concevoir et faire évoluer le système LLM derrière les personas — prompting, choix de modèles et mémoire — et mettre en place les cadres d'évaluation qui garantissent la qualité, détectent les régressions et assurent la conformité et l'explicabilité des personas.

1. Prompting, modèles & mémoire

• Challenger et améliorer les prompts de génération de persona (inspirés actuellement de TinyTroupe)

• Séparer le socle fixe du persona (description, instructions de rôle, portées par le system prompt) de son état dynamique (état cognitif et émotionnel courant)

• Évaluer l'intérêt d'adopter un framework de prompting structuré, ou d'en construire un en interne

• Concevoir et maintenir la mémoire du persona — l'ID-RAG, une base de données graphe mise à jour à chaque interaction — et en garantir la fidélité au fil de l'évolution du persona

• Choisir le modèle adapté à chaque tâche, la génération, la réponse et le scoring ne nécessitant pas forcément le même modèle

• Explorer, à plus long terme, un modèle dédié aux personas et aux personnalités

2. Évaluation & qualité

• Construire les contrôles de qualité des réponses et une méthodologie de scoring : qualité, cohérence inter-sessions, détection d'hallucination, détection de sortie de personnage

• Mettre en place un golden dataset et un benchmark reproductible, à rejouer après chaque changement de prompt, de modèle ou de profil, pour détecter les régressions au plus tôt

• Définir et suivre les métriques de succès, à commencer par l'adoption (utilisateurs qui reviennent sur un même persona d'une session à l'autre)

• Définir et faire respecter les standards d'étude de marché qu'un persona doit atteindre avant sa publication en tant que persona « officiel »

• Garantir la conformité des données sous-jacentes : droits d'usage et RGPD

• Rendre le système explicable : tracer les traits et réponses d'un persona jusqu'aux données source, pour construire la confiance des équipes marque et étude de marché

3. Collaboration transverse

• Travailler en étroite collaboration avec les experts psychologie et recherche utilisateur/langage de l'équipe, pour traduire les critères de crédibilité des personas (richesse du profil, cohérence dans le personnage, détection de dérive) en signaux d'évaluation mesurables

Stack technique

Requise :

• Python

• LangChain (ou équivalent)

• Snowflake

• Environnement AWS (S3, Lambda, SageMaker, Bedrock, etc.)

Appréciée :

• Base de données graphe (pour l'ID-RAG / la mémoire)

• Weights & Biases / Weave

• Docker

Modalités de la mission

• Collaboration étroite avec les ingénieurs PersonaLab, les product managers, et les experts côté humain (psychologie/UX)

• Environnement agile, cycles d'itération rapides

• Rythme : 3 jours sur site / 2 jours en télétravail

Profil recherché

1. Expertise GenAI & LLM — expérience concrète en prompt engineering, évaluation de LLM et fine-tuning
2. Expérience sur des systèmes agentiques / LLM — orchestration de modèles, conception de mémoire, patterns de raisonnement
3. Méthodologie d'évaluation — expérience avérée dans la construction de frameworks de validation et de golden datasets pour systèmes LLM
4. Fondamentaux data science — méthodologies de scoring, significativité statistique, établissement de baselines
5. Intérêt réel pour la psychologie et la personnalité — suffisant pour dialoguer de manière crédible avec les experts qui définissent le modèle de profil/persona
6. Bon niveau d'anglais — écrit et oral, pour collaborer avec des équipes internationales et rédiger de la documentation technique
7. Expérience avec les bases de données graphe (modélisation mémoire/état) (apprécié)
8. Compétences en recherche utilisateur et langage — capacité à évaluer la qualité des réponses d'un persona (ton, langage, construction des phrases) et à détecter une dérive de personnalité (apprécié)
9. Familiarité avec les outils d'observabilité LLM et de détection d'hallucination (apprécié)
10. Connaissance du RGPD et des exigences de conformité des données pour la recherche marketing (apprécié)

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours