Spark / Data Lakehouse Developer (k/m/x)

Poszukujemy osoby z doświadczeniem w obszarze Apache Spark i Data Lakehouse, która dołączy do zespołu rozwijającego nowoczesną platformę danych. Rola obejmuje projektowanie i rozwój procesów przetwarzania oraz jakości danych, budowę warstw Data Lakehouse, integrację z MongoDB, optymalizację wydajności oraz monitoring rozwiązań działających w środowisku produkcyjnym.

Zakres obowiązków

• Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark

• Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych

• Integracja procesów Spark z MongoDB

• Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg

• Optymalizacja wydajności procesów i zapytań Spark

• Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń

• Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych

• Współpraca z zespołami technicznymi oraz udział w code review

Wymagania

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych

• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming

• Doświadczenie z MongoDB i MongoDB Spark Connector

• Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge

• Znajomość Python

• Doświadczenie z Jenkins

• Znajomość Prometheus i Grafana

• Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence