Spécialiste en évaluation et assurance qualité de l'IA

Optisigma recrute pour des mandats de réalisation de solutions en intelligence artificielle.

Tes missions seront notamment:

• Démontrer la qualité et la maîtrise des solutions d'IA par des évaluations, tests et contrôles;
• Constituer et maintenir les jeux d'évaluation, la vérité terrain et les cas d'essai;
• Exécuter des évaluations automatisées et humaines, avant et après la mise en service;
• Réaliser des tests adverses et analyser les incidents liés à l'IA;
• Mesurer la qualité des réponses, les corrections humaines et les taux d'escalade;
• Rédiger des rapports d'évaluation distinguant faits observés, hypothèses et éléments à valider;
• Contribuer à l'amélioration continue des règles, des invites et des garde-fous.

Exigences

Tu as le profil suivant :

• Expérience pertinente selon le niveau visé : junior (1 à 3 ans), intermédiaire (4 à 6 ans) ou sénior (7 ans et plus);
• Expérience en évaluation ou en assurance qualité de solutions d'IA ou d'apprentissage automatique;
• Connaissance des métriques et méthodes d'évaluation des LLM;
• Maîtrise de Python pour l'automatisation des évaluations;
• Expérience en tests adverses (red teaming) (atout);
• Connaissance des cadres en IA responsable (atout);
• Communiquer aisément à l'oral comme à l'écrit dans un français professionnel.

Informations contractuelles

Nos avantages :

• Assurances collectives comprenant le dentaire, la télémédecine, le paramédical++
• Des programmes REER
• Des formations adaptées à tes objectifs professionnels
• Une équipe dynamique à taille humaine, à l'écoute de tes besoins
• Et bien plus !

Mode de travail:

• Mode hybride