Data Engineer

Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:

Data Engineer (Python / Azure)

Zakres obowiązków:

• Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń

• Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML

• Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą

• Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych

• Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów

• Praca z repozytoriami Git i procesami CI/CD klienta

• Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych

Wymagania:

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer

• Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT

• Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML

• Dobra znajomość SQL

• Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations

• Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric

• Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions

• Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem

• Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym

Mile widziane:

• Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości

• Znajomość zasad przygotowania modeli danych pod Power BI

• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament

Oferujemy:

• Prywatną opiekę medyczną

• Dofinansowanie karty sportowej

• Stałe wsparcie konsultanta

• Program rekomendacji pracowników