Spark Data Lakehouse Developer

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.

Aktualnie poszukujemy profilu na stanowisko: Spark Data Lakehouse Developer

Informacje organizacyjne:

• Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).

• Budżet: do 145 PLN/h netto + VAT.

• Tryb pracy: Zdalnie (wymagana obecność w biurze we Wrocławiu 1 dzień w miesiącu).

• Wymiar pracy: Full-time. Projekt o charakterze długofalowym (long-term).

• Dostępność: Mile widziany start ASAP (akceptujemy standardowe okresy wypowiedzenia).  

• Sektor: Bankowość / Sektor Finansowy.  

• Projekt i Twoja Rola:

  • Dołączysz do zespołu Data Platform u naszego klienta, stabilnej instytucji z sektora finansowego. Będziesz kluczową osobą odpowiedzialną za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS (MongoDB) oraz budowę i skalowanie nowoczesnego środowiska Data Lakehouse. To rola, w której zaawansowany development w ekosystemie Spark i zarządzanie potężnymi wolumenami łączy się z dbałością o najwyższą jakość danych.

• Proces rekrutacji: Szybki i konkretny – krótki screening z naszym zespołem, a następnie docelowa, merytoryczna rozmowa techniczna z managerami po stronie klienta.

• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:

  • Projektowanie i implementacja procesów (Spark-SQL / PySpark) do porównywania danych w warstwie ODS (MongoDB) z systemami źródłowymi.

  • Kompleksowa budowa, wersjonowanie i utrzymanie warstw danych w architekturze Data Lakehouse (raw → bronze → silver → gold) z wykorzystaniem technologii takich jak Apache Iceberg, Delta Lake lub Hudi.

  • Integracja środowiska Spark z MongoDB z użyciem dedykowanego konektora (optymalizacja odczytów i zapisów, schema inference, partitioning).

  • Wdrażanie reguł Data Quality, wykrywanie duplikatów, braków i anomalii oraz generowanie alertów jakościowych.

  • Tuning wydajnościowy procesów Spark (m.in. caching, broadcast joins, Adaptive Query Execution) oraz optymalizacja kosztowa zapytań analitycznych.

  • Automatyzacja deploymentów (Docker, Kubernetes, Spark Operator, Jenkins) oraz rozwój i konfiguracja monitoringu aplikacji (Prometheus, Grafana).

  • Praca w metodyce Agile (Scrum/Kanban) oraz pełnienie roli mentora dla Data Engineerów i analityków

Oczekiwania:

• Minimum 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark (PySpark, Spark-SQL, DataFrames, Structured Streaming).

• Doświadczenie w pracy z bazą MongoDB (odczyt/zapis danych, modelowanie dokumentowe, indeksowanie).

• Praktyczna znajomość architektury Data Lakehouse, w tym zarządzanie tabelami wersjonowanymi z wykorzystaniem Apache Iceberg (lub gotowość do szybkiej migracji kompetencji z Delta Lake / Hudi).

• Biegłość w języku Python oraz SQL.

• Sprawne poruszanie się w środowisku CI/CD (automatyzacja z wykorzystaniem Jenkins) oraz biegła obsługa narzędzi wspierających (Jira, Confluence).

• Znajomość narzędzi do monitoringu, metryk i logów (Prometheus, Grafana).

Oferujemy:

• Długofalową współpracę B2B z IT LeasingTeam przy zaawansowanym technologicznie projekcie w branży finansowej.

• Dostęp do pakietu benefitów: karta Multisport, prywatna opieka medyczna.

• Możliwość pracy z nowoczesnym, niezwykle pożądanym na rynku stosem technologicznym wokół ekosystemu Data Lakehouse.

• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś – gramy w otwarte karty na każdym kroku rekrutacji.