QA Developer, AI Assistant

At Poka, we're changing how the world's industrial teams work - capturing the knowledge of their best people and putting it in every operator's hands.

Our connected worker platform is purpose-built for manufacturing and the wider industrial world, with industrial AI inside the shift, not on top of it. The result: frontline performance that becomes compounding knowledge and measurable impact - every shift, every site, every region.

We're proud to support global leaders like Nestlé, Bosch, Mars, and Danone across 3,000+ sites in 70+ countries. And as a fast-growing part of the IFS family, you'll join a team whose daily work directly shapes the platform behind how modern manufacturing gets done.

Aperçu du poste

Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.

En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.

En quoi c'est différent de la QA traditionnelle

• Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
• Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
• Tu écris du Python chaque semaine.
  
  

Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.

Ce dont tu seras responsable

• Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
• Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
• Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
• Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
• Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
• Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
• Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
• Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
  
  

Ce que tu apportes

• AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
• De 2 à 4 ans d'expérience pertinente
• Un parcours en automatisation des tests ou comme SDET
• Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
• Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
• Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
• De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.
  
  

Atouts

• Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
• De l'expérience avec des outils d'IA pour accélérer les tests
• Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
• De l'expérience en tests de sécurité ou en tests adverses
• Une connaissance de la pyramide des tests et de l'approche shift-left
• De l'expérience B2B ou sur des plateformes industrielles
• Une connaissance de Jira
  
  

Les technologies que tu utiliseras

• Python
• TypeScript
• Claude Code
• Framework d'évaluation (promptfoo)
• AWS
• Docker
• Et bien d'autres
  
  

On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.

Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.

Si ça te ressemble, tu es probablement la personne qu'on cherche !