Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą. Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów.
 
Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT. Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R&D Center na czele z NexioBot  naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji.
 
Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Model hybrydowy: Kraków / Praca 2x w tygodniu z biura Klienta

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Twój zakres obowiązków

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.

• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.

• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.

• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.

• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).

• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

• Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.

• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).

• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).

• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.

• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.

• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).

• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

• Mile widziane: Doświadczenie w domenie bankowej lub finansowej.

To oferujemy

• Stabilność zatrudnienia - długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.

• Elastyczne formy współpracy - umowa B2B, umowa o pracę lub zlecenie.

• Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.

• Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.

• Wewnętrzny program poleceń.

• Możliwość finansowania certyfikatów IT.

• W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.

• Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem.

• Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.