QA Engineer GenAI

Opis stanowiska: Poszukujemy QA Engineer z ponad 5-letnim doświadczeniem , który będzie odpowiadał za testowanie systemów opartych na Generative AI. Kluczowe obszary to LLM (Large Language Models), chatboty, agenci AI oraz RAG (Retrieval-Augmented Generation). Zakres obowiązków: Projektowanie i wykonywanie testów dla systemów GenAI Walidacja jakości odpowiedzi modeli AI pod kątem poprawności, spójności i bezpieczeństwa Automatyzacja testów i monitorowanie jakości modeli Współpraca z zespołem AI oraz programistami w celu optymalizacji działania systemów Wymagania: 5 lat doświadczenia w QA, w tym testowaniu systemów AI Doświadczenie w testowaniu LLM, chatbotów, agentów AI i RAG Znajomość metod oceny jakości modeli AI Automatyzacja testów (Python, pytest, Playwright/Cypress) Doświadczenie w testowaniu integracji i REST API Znajomość narzędzi do testowania GenAI (np. LangChain Test, Promptfoo, DeepEval) Bardzo dobra znajomość języka angielskiego (C1)

Location: Warszawa, PL

Posted Date: 4/19/2025