QA lead transverse - applicatif delivery & AI - Freelance

Description de l'offre

QA Lead transverse – Applicatif, Delivery & IA

Contexte Dans le cadre de l'industrialisation de produits digitaux intégrant de l'IA générative, l'équipe recherche un QA Lead transverse chargé de définir et piloter la stratégie qualité sur 3 axes : applicatif, delivery, et IA. Interviendra aux côtés des équipes Produit, Dev, Architecture, DevOps, Data/IA et Cybersécurité sur l'ensemble du cycle de vie produit.

Missions

Qualité applicative

• Définir stratégie de tests et critères d'acceptation

• Concevoir/exécuter tests fonctionnels, techniques, API, intégration, non-régression

• Identifier les parcours critiques et automatiser leur validation

• Suivre les anomalies jusqu'à résolution

• Participer aux décisions Go/No Go

• Garantir la qualité des échanges applications/API/services

Qualité du delivery

• Intégrer les tests automatisés en CI/CD

• Définir et mettre en place des quality gates

• Fiabiliser release, déploiement, rollback

• Contrôler la couverture de tests avant mise en production

• Mettre en place tests de performance, charge, résilience

• Analyser les incidents de production, contribuer à l'amélioration continue

• Accompagner l'adoption des pratiques shift-left

• Construire des indicateurs qualité partagés

Qualité des solutions IA

• Définir une stratégie d'évaluation des fonctionnalités IA/GenAI

• Constituer jeux de tests et référentiels de réponses attendues

• Mesurer pertinence, fidélité, complétude, stabilité des réponses

• Identifier et mesurer les hallucinations

• Tester les chaînes RAG (ingestion, recherche, contexte, génération)

• Garantir la non-régression lors des changements de modèles/prompts/sources

• Tester les risques prompt injection, jailbreak, fuite de données

• Automatiser les campagnes d'évaluation IA

• Définir métriques et seuils d'acceptation (Go/No Go)

• Traduire les attentes métier subjectives en critères mesurables

Compétences recherchées

• Solide expérience QA Engineering, automatisation, stratégie de tests

• Tests web, API, E2E, intégration, non-régression

• Playwright, Cypress, Selenium (ou équivalent)

• Postman, REST Assured (ou équivalent)

• CI/CD & qualité logicielle : Azure DevOps, GitLab CI, GitHub Actions, Jenkins, SonarQube

• Tests de performance : K6, JMeter, Gatling

• Bonne compréhension architectures cloud, API, microservices

• Python pour automatisation et évaluation IA

• Compréhension LLM, prompt engineering, architectures RAG

• Outils d'évaluation IA : Promptflow, RAGAS, DeepEval (ou équivalent)

• Azure OpenAI / Azure AI Foundry (apprécié)

• Sensibilité sécurité IA, RGPD, AI Act

Profil recherché

Profil recherché

Environ 7 ans d’expérience minimum en QA, dont une expérience significative en automatisation.

Expérience de QA Lead ou de référent qualité dans un environnement multi-produits.

Expérience concrète sur une application intégrant de l’IA générative fortement souhaitée.

Capacité à construire la stratégie autant qu’à intervenir opérationnellement.

Excellente communication avec les équipes Produit, Développement, DevOps, Architecture, Sécurité et IA.

Forte autonomie, esprit critique et capacité à challenger les pratiques existantes.

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours