Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Technologie, których używamy

Wymagane

• Jenkins
• Python
• PySpark
• Hadoop
• Spark
• BigQuery
• Google Cloud Platform
• SQL

O projekcie

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.
• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

• Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

Mile widziane

• Doświadczenie w domenie bankowej lub finansowej.

To oferujemy

• Stabilność zatrudnienia – długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.
• Elastyczne formy współpracy – umowa B2B, umowa o pracę lub zlecenie.
• Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.
• Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.
• Wewnętrzny program poleceń.
• Możliwość finansowania certyfikatów IT.
• W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.
• Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem.
• Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.

Benefity

• angielski
• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• dofinansowanie szkoleń i kursów
• owoce
• spotkania integracyjne
• opieka stomatologiczna
• kawa / herbata
• program rekomendacji pracowników
• inicjatywy dobroczynne

Nexio Management Sp. z o.o.

Nexio Management to zaufany partner biznesowy w drodze do cyfrowej przyszłości. Posiadamy prawie 20-letnie doświadczenie na rynku IT w Polsce i poza jej granicami. Prowadzimy działania w oparciu o transparentne i szczere relacje. Tworzymy innowacyjne rozwiązania technologiczne, kreując przy tym interesujące i rozwojowe środowisko pracy dla naszych ekspertów. Obecnie zatrudniamy 550 konsultantów, którzy świadczą usługi IT dla Klientów na całym świecie. Nasza główna siedziba mieści się w Warszawie, poza tym mamy biura w Rumunii oraz Wielkiej Brytanii. Posiadamy również własne R&D Center, które jest miejscem powstawania innowacyjnych projektów m.in.: w obszarach testów, Big Data, Cloud czy AI.W ramach naszych usług tworzymy szyte na miarę rozwiązania, utrzymujemy i rozwijamy nawet najbardziej wymagające systemy IT. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Tak się u nas pracuje