Lead Software Engineer

Lead Software Engineer (Data Platform / Analytics IT – Apache Iceberg)

Lokalizacja i model pracy:
Lokalizacja: Kraków
Model hybrydowy: 6 dni w miesiącu z biura
Współpraca w modelu B2B Contracting przez Antal

Zakres obowiązków:

• Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla bieżących wdrożeń i długoterminowego rozwoju platformy.

• Prowadzenie projektowania oraz wdrażania procesów przetwarzania danych i zarządzania tabelami z wykorzystaniem PySpark oraz Apache Iceberg.

• Optymalizacja wydajności i kosztów związanych z wykorzystaniem Apache Iceberg, w tym strategii partycjonowania, rozmiaru plików, klastrowania danych oraz efektywności zapytań.

• Odpowiedzialność za utrzymanie i rozwój operacji administracyjnych w Apache Iceberg (m.in. kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików) oraz automatyzację tych procesów.

• Wykorzystywanie dogłębnej znajomości architektury wewnętrznej Apache Iceberg (metadane, manifesty, snapshoty, specyfikacje partycjonowania, ewolucja schematów) do rozwiązywania problemów i usprawniania działania platformy.

• Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, praktyki CI/CD, rozwój monitoringu i gotowości produkcyjnej.

• Wsparcie dla usług i zbiorów danych utrzymywanych przez zespół, w tym udział w dyżurach produkcyjnych (jeśli wymagane).

• Mentoring i wsparcie mniej doświadczonych inżynierów, aktywny udział w dyskusjach technicznych oraz podejmowaniu decyzji projektowych.

• Współpraca z zespołami architektonicznymi, platformowymi oraz obszarem governance w celu zapewnienia bezpiecznych, skalowalnych i zgodnych z wymaganiami rozwiązań.

Wymagania:

• Bardzo dobra praktyczna znajomość PySpark, w szczególności:

  • DataFrame API,

  • optymalizacji wydajności,

  • debugowania,

  • optymalizacji zadań Spark.

• Praktyczne doświadczenie z Apache Iceberg, obejmujące:

  • techniki optymalizacji (partycjonowanie, organizacja i rozmiar plików, wydajność operacji odczytu i zapisu),

  • znajomość architektury wewnętrznej (snapshoty, manifesty, pliki metadanych, ewolucja schematów i partycji),

  • realizację i automatyzację operacji utrzymaniowych w środowiskach produkcyjnych (kompakcja danych, usuwanie przestarzałych snapshotów, czyszczenie metadanych, usuwanie osieroconych plików).

• Silne podstawy inżynierii oprogramowania: projektowanie niezawodnych i łatwych w utrzymaniu systemów, pisanie czytelnego i testowalnego kodu oraz rozwinięte umiejętności rozwiązywania problemów.

• Doświadczenie w utrzymaniu produkcyjnych środowisk przetwarzania danych oraz odpowiedzialne podejście właścicielskie (obsługa incydentów, analiza przyczyn źródłowych, działania stabilizujące).

• Umiejętność efektywnej pracy zespołowej, bardzo dobre zdolności komunikacyjne oraz umiejętność wpływania na decyzje w międzynarodowym środowisku.

• Samodzielność, inicjatywa, odpowiedzialność za pełny cykl dostarczania rozwiązań oraz dobra organizacja pracy.

• Bardzo dobra znajomość języka angielskiego w mowie i piśmie.

Oferujemy:

• Pracę w międzynarodowym środowisku jednej z największych instytucji finansowych na świecie.

• Udział w strategicznych projektach związanych z platformami danych, analityką i nowoczesnymi technologiami Big Data.

• Współpracę z globalnymi zespołami ekspertów z Polski, Wielkiej Brytanii, Indii i Chin.

• Realny wpływ na architekturę, rozwój oraz kierunek technologiczny platform wykorzystywanych przez biznes naszego Klienta.

• Możliwość pracy z nowoczesnym stosem technologicznym, w tym Apache Iceberg, PySpark i rozwiązaniami chmurowymi.

• Kulturę opartą na współpracy, wymianie wiedzy i wysokich standardach inżynierskich.

• Elastyczny model pracy hybrydowej.

• Bogaty pakiet benefitów, w tym prywatną opiekę medyczną, ubezpieczenie na życie, kartę sportową.

• Konkurencyjne wynagrodzenie i stabilne zatrudnienie w globalnej organizacji.