QA Engineer (m/f/n)

Dla jednego z naszych partnerów biznesowych poszukujemy specjalisty na stanowisko QA Engineer (m/f/n)

Oferta:

• Stawka do ok. 125 zł/h netto+VAT

• Kontrakt B2B z SHIMI

• Praca w 100% zdalna

• Start: ASAP

• Czas trwania projektu: do 14.12.2026, z realną perspektywą kontynuacji przez co najmniej 12 miesięcy w związku z planowanym rozwojem projektu w 2027 roku

O projekcie

Dotyczy automatyzacji produkcji gazet reklamowych dla regionalnego wydawcy. Na podstawie zamówionych reklam i insertów system określa wielkość wydania. Pipeline’y AI generują treści redakcyjne na podstawie e-maili, danych owydarzeniach i materiałów archiwalnych. Dwa solvery oparte na OR-Tools CP-SAT odpowiadają za dobór treści i układ stron. Końcowym wynikiem jest gotowy do druku PDF w jakości 300 dpi, zgodny z PDF/X-3.

W procesie pozostają dwa punkty kontroli manualnej:

• akceptacja redakcyjna,

• akceptacja przed drukiem.

System pracuje na niejednorodnych i często niekompletnych danych wejściowych. Część rozwiązania jest niedeterministyczna ze względu na wykorzystanie AI, a część opiera się na optymalizacji matematycznej.

Model pracy: duża samodzielność; osoba otrzymuje cele i dostęp do systemów, samodzielnie definiuje specyfikację testów i prowadzi temat, współpracując z Tech Leadem.

Stack technologiczny

• Python

• PostgreSQL

• AWS EKS

• LangGraph

• LiteLLM

• Langfuse

• Redis

• Grafana

• React

• TypeScript

Wymagania must-have

• poziom Senior i doświadczenie w samodzielnym prowadzeniu QA w co najmniej jednym projekcie,

• doświadczenie w samodzielnym tworzeniu i wdrażaniu test concept / test strategy,

• bardzo dobra znajomość automatyzacji testów w Pythonie i pytest,

• doświadczenie w konfiguracji i utrzymywaniu testów w pipeline’ach CI,

• doświadczenie w testowaniu backendów i systemów danych, w tym API, data pipelines, batch processing i integracji,

• doświadczenie w generowaniu syntetycznych lub rule-based danych testowych,

• doświadczenie w runtime, performance i volume testing systemów backendowych lub batchowych,

• doświadczenie w testowaniu parallel processing,

• umiejętność projektowania scenariuszy wydajnościowych, definiowania metryk analizowania bottlenecków,

• doświadczenie w automatyzacji testów frontendu, np. Playwright lub narzędzie porównywalne,

• doświadczenie w testach manualnych i exploratory testing,

• doświadczenie z defect classification, severity levels i release criteria,

• angielski C1 (to język projektu)

Dodatkowe atuty

• doświadczenie w testowaniu systemów AI / ML / LLM,

• doświadczenie w evaluation i pracy z niedeterministycznymi wynikami,

• znajomość Langfuse lub podobnych narzędzi,

• doświadczenie w tworzeniu AI-supported test agents lub LLM-based test automation,

• property-based testing,

• doświadczenie w testowaniu systemów optymalizacyjnych lub planistycznych,

• doświadczenie w walidacji PDF lub materiałów do druku,

• doświadczenie w branży publishing / media,

• znajomość języka niemieckiego.

Zakres odpowiedzialności

1. Test concept i podejście do QA

• stworzenie i utrzymywanie koncepcji testów,

• określenie poziomów testów i podziału odpowiedzialności pomiędzy development i QA,

• risk-based prioritization,

• określenie podejścia do środowisk i danych testowych,

• zdefiniowanie klasyfikacji błędów i severity levels,

• określenie kryteriów dla blockerów,

• zdefiniowanie acceptance i release criteria dla testowych wydań oraz produkcyjnego go-live,

• przygotowanie dokumentacji umożliwiającej nowym osobom rozpoczęcie testów bez dodatkowego walkthrough.

2. Test automation

• przygotowanie koncepcji automatyzacji testów i jej wdrożenie,

• testy integracyjne i API,

• testowanie pipeline’ów,

• automatyzacja w Pythonie z wykorzystaniem pytest,

• integracja testów z CI,

• testy regresji PDF, w tym visual comparison, preflight i walidacja PDF/X-3,

• automatyzacja testów frontendu, np. przy użyciu Playwright,

• opcjonalnie wykorzystanie AI-supported testing, np. LLM-driven browser agents, generowanie przypadków testowych lub danych testowych.

3. Test data

• generowanie syntetycznych, zróżnicowanych danych testowych według zdefiniowanych reguł,

• uwzględnianie niekompletnych danych, błędów formatów, duplikatów i edge case’ów,

• testowanie różnych kombinacji wielkości wydań i struktury reklam,

• budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań,

• property-based testing, np. Hypothesis.

4. Mierzenie jakości

• definiowanie i automatyczne zbieranie metryk jakościowych,

• monitorowanie trendów i regresji.

Przykładowe metryki dla solvera:

• fill rate,

• white space,

• stosunek reklam do treści redakcyjnych,

• naruszenia reguł,

• runtime względem search budget.

Przykładowe metryki dla pipeline’ów AI:

• zgodność długości tekstu z założonym limitem,

• regresje po zmianie promptu lub modelu.

5. Runtime, performance i volume testing

• pomiar czasu wykonania, throughputu i jakości wyniku,

• testowanie dużych wydań,

• testowanie ponownych uruchomień wynikających z późnych zmian,

• testowanie kilku tytułów produkowanych równolegle,

• analiza runtime i jakości wyników solvera,

• testy wolumenowe oparte na syntetycznych danych,

• profiling i analiza metryk w Grafanie,

• testowanie skalowania w AWS EKS,

• uwzględnienie docelowego wdrożenia rozwiązania na większą skalę oraz późniejszego rozszerzenia rozwiązania na dzienniki.

6. Manual testing

• exploratory testing,

• release testing w obszarach, w których automatyzacja nie jest uzasadniona lub nie została jeszcze wdrożona,

• planowanie i dokumentowanie testów manualnych.