Spark / Data Lakehouse Developer (m/k/n)

O projekcie

• Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe.

• Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości.

Twój zakres obowiązków

• Projektowanie i implementacja procesów w Spark SQL / PySpark

• Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi

• Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii

• Integracja Apache Spark z MongoDB

• Budowa i rozwój warstw Data Lakehouse

• Optymalizacja wydajności procesów Spark

• Rozwój CI/CD dla aplikacji i procesów danych

• Monitoring procesów oraz diagnozowanie problemów produkcyjnych

• Tworzenie dokumentacji technicznej i udział w code review

Nasze wymagania

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych

• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames

• Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge

• Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany

• Znajomość Python / PySpark

• Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych

• Doświadczenie z Jenkins

• Znajomość Prometheus i Grafana

• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence