Spark / Data Lakehouse Developer (k/m/x)

Technologie, których używamy

Wymagane

• Apache Spark
• PyTorch

Mile widziane

• MongoDB
• Apache Airflow

O projekcie

rozwijającego nowoczesną platformę danych

Twój zakres obowiązków

• Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark
• Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych
• Integracja procesów Spark z MongoDB
• Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg
• Optymalizacja wydajności procesów i zapytań Spark
• Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń
• Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych
• Współpraca z zespołami technicznymi oraz udział w code review

Nasze wymagania

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming
• Doświadczenie z MongoDB i MongoDB Spark Connector
• Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge
• Znajomość Python
• Doświadczenie z Jenkins
• Znajomość Prometheus i Grafana
• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna

Etapy rekrutacji

• Rozmowa techniczna
• Rozmowa z klientem

B2B.NET S.A.

B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.