Spark / Data Lakehouse Developer (m/k/n)

Technologie, których używamy

Wymagane

• Apache Iceberg
• MongoDB
• Python
• PySPark
• Prometheus
• Grafana
• Jenkins

Mile widziane

• MongoSB Spark Connector
• Structured Streaming
• Delta Lake
• Apache Hudi

O projekcie

Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe.

Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• Projektowanie i implementacja procesów w Spark SQL / PySpark
• Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
• Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
• Integracja Apache Spark z MongoDB
• Budowa i rozwój warstw Data Lakehouse
• Optymalizacja wydajności procesów Spark
• Rozwój CI/CD dla aplikacji i procesów danych
• Monitoring procesów oraz diagnozowanie problemów produkcyjnych
• Tworzenie dokumentacji technicznej i udział w code review

Nasze wymagania

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames
• Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge
• Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany
• Znajomość Python / PySpark
• Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
• Doświadczenie z Jenkins
• Znajomość Prometheus i Grafana
• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence

Etapy rekrutacji

• Rozmowa techniczna
• Rozmowa z klientem

B2B.NET S.A.

B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.