Spécialiste en évaluation et assurance de l’IA
Montréal | Hybride | Permanent ou pigiste incorporé
Systematix est à la recherche d’un(e) Spécialiste en évaluation et assurance de l’intelligence artificielle pour contribuer à des initiatives stratégiques en IA et participer à l’amélioration continue de solutions innovantes déployées dans des environnements d’affaires complexes.
Vous jouerez un rôle clé dans l’évaluation, la validation et l’amélioration de la qualité des systèmes d’intelligence artificielle afin d’assurer leur performance, leur fiabilité et leur maîtrise opérationnelle.
Vos responsabilités
- Concevoir, maintenir et enrichir les jeux d’évaluation, les cas d’essai et les ensembles de référence utilisés pour mesurer la performance des solutions d’IA;
- Réaliser des évaluations automatisées et humaines avant le déploiement et en production;
- Effectuer des essais de robustesse et des tests adverses afin d’identifier les risques, les comportements indésirables et les signaux critiques manqués;
- Mesurer et analyser la qualité des réponses générées par les systèmes d’IA;
- Suivre les taux de correction humaine, d’escalade et les indicateurs de qualité opérationnelle;
- Analyser les incidents liés à l’IA et contribuer à la mise en place de mesures correctives;
- Produire des rapports d’évaluation rigoureux distinguant clairement les faits observés, les hypothèses et les éléments à valider;
- Participer à l’amélioration continue des règles d’affaires, des invites (prompts), des mécanismes de contrôle et des garde-fous.
Profil recherché
Vous possédez une expérience pertinente dans plusieurs des domaines suivants :
- Assurance qualité de solutions d’intelligence artificielle;
- Évaluation de modèles d’IA ou d’IA générative;
- Élaboration de scénarios de tests et de protocoles d’évaluation;
- Analyse de résultats, métriques de performance et indicateurs de qualité;
- Validation de systèmes automatisés;
- Gestion et analyse d’incidents;
- Amélioration continue et contrôle qualité.
- Niveau de français avancé, tant à l'oral qu'à l'écrit.
- Permis de travail valide permettant de travailler au Canada.
Atouts
- Expérience avec des solutions d’IA générative ou des grands modèles de langage (LLM);
- Connaissance des enjeux liés à l’IA responsable, à la gouvernance ou à la gestion des risques.
Pourquoi joindre Systematix?
En vous joignant à Systematix, vous intégrerez une équipe reconnue pour son expertise et sa contribution à des projets stratégiques auprès de grandes organisations canadiennes.
Pour les employés permanents admissibles, nous offrons un programme complet d'avantages sociaux, comprenant notamment :
- Assurance collective (soins médicaux, dentaires, vie et invalidité);
- Programme d'aide aux employés et à leur famille;
- Congés et vacances;
Systematix accueille également les candidatures de consultants incorporés souhaitant réaliser leur mandat à titre de pigiste.
Pour postuler, veuillez mettre en évidence dans votre CV vos réalisations en évaluation, validation, assurance qualité, tests, contrôle ou amélioration continue de solutions d’intelligence artificielle.
