Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid

Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid

Wynagrodzenie: 20 000–25 000 PLN miesięcznie (UoP brutto lub adekwatna stawka B2B netto + VAT)

Forma współpracy: Umowa o pracę lub B2B

Lokalizacja: Warszawa

Tryb pracy: Hybrydowy

Szukamy Data Engineera do zespołu rozwijającego systemy, które przetwarzają ogromne ilości danych i wykorzystują modele ML do podejmowania decyzji w czasie rzeczywistym. Dużym wyzwaniem jest zapewnienie jakości danych i wydajności ich przetwarzania przy bardzo wysokim obciążeniu. To praca dla kogoś, kto lubi szukać wąskich gardeł, rozwiązywać złożone problemy techniczne i budować rozwiązania, które niezawodnie działają na produkcji.

Co będziesz robić:

• Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.

• Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.

• Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.

• Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.

• Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.

• Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.

• Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.

Czego oczekujemy:

• Masz co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.

• Bardzo dobrze znasz Pythona i SQL.

• Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.

• Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.

• Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.

• Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.

• Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.

Mile widziane:

• ClickHouse lub StarRocks.

• Kubernetes i narzędzia GitOps.

• Go.

• Doświadczenie z systemami przetwarzającymi dane w czasie rzeczywistym lub projektami ML.

Nie musisz mieć doświadczenia w konkretnej branży ani pracować wcześniej z systemami o takiej skali. Ważne, żebyś potrafił(-a) wykorzystać swoje doświadczenie w nowych, bardziej wymagających warunkach.

Zespół:

Dołączysz do zespołu rozwijającego rozwiązania, które dostarczają dane do modeli ML wykorzystywanych w systemach produkcyjnych.

Będziesz pracować bezpośrednio z data scientistami, ale w obszarze inżynierii danych oczekujemy dużej samodzielności. To rola z realnym wpływem na jakość danych, wydajność i niezawodność całego systemu – nie tylko na pojedynczy etap ETL.

Stack technologiczny:

Python i SQL jako główne technologie; Spark, Polars lub podobne narzędzia do przetwarzania dużych zbiorów danych; analityczne bazy kolumnowe, w tym ClickHouse lub StarRocks. Przydatne będą również Kubernetes, narzędzia GitOps i znajomość Go.

Jak wygląda proces:

Rekrutację prowadzi Optineo. Zaczynamy od krótkiej rozmowy zapoznawczej. Potem umawiamy się na dłuższy wywiad o Twoim doświadczeniu i oczekiwaniach. W trakcie rozmów szybko odkryjemy karty: poznasz nazwę klienta i szczegóły pracy. Wspólnie zdecydujemy, czy idziemy dalej, a informacje o Tobie trafią do klienta wyłącznie za Twoją zgodą. To konkretne, otwarte stanowisko, a nie zbieranie CV na zapas.