Senior Data Engineer (Python / Azure)

Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:

Senior Data Engineer (Python / Azure)

Zakres obowiązków:

• Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta

• Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion

• Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy

• Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania

• Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych

• Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi

• Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych

• Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych

• Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta

Wymagania:

• Minimum 5 lat komercyjnego doświadczenia w data engineeringu

• Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse

• Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion

• Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności

• Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL

• Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML

• Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych

• Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric

• Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions

• Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi

• Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem

Mile widziane:

• Znajomość Infrastructure as Code: Terraform lub Bicep

• Znajomość projektowania modeli danych na potrzeby Power BI

• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament

Oferujemy:

• Prywatną opiekę medyczną

• Dofinansowanie karty sportowej

• Stałe wsparcie konsultanta

• Program rekomendacji pracowników