Spark / Data Lakehouse Developer (k/m/x)

O projekcie

Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości.

Tak organizujemy naszą pracę

Tak pracujemy

• agile
• scrum
• kanban

Twój zakres obowiązków

• Projektowanie i implementacja procesów w Spark SQL / PySpark
• Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
• Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
• Integracja Apache Spark z MongoDB
• Budowa i rozwój warstw Data Lakehouse
• Optymalizacja wydajności procesów Spark
• Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Nasze wymagania

• Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames
• Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse
• Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark
• Umiejętność programowania w Pythonie w kontekście przetwarzania danych
• Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins
• Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych
• Doświadczenie w pracy w metodyce Scrum

Mile widziane

• Znajomość MongoDB Spark Connector
• Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)
• Znajomość Delta Lake
• Znajomość Apache Hudi
• Doświadczenie w pracy w metodyce Kanban
• Znajomość Jira
• Znajomość Confluence

To oferujemy

• Kontrakt B2B
• Praca zdalna
• Język pracy: polski + angielski
• Prywatna opieka medyczna
• Dofinansowanie zajęć sportowych
• Wsparcie formalne od dokumentów po onboarding

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna

Etapy rekrutacji

• Rozmowa z rekruterem
• Rozmowa techniczna
• Rozmowa z Klientem

B2B.NET S.A.

B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.