Spark / Data Lakehouse Developer

Kogo szukamy?

Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Oczekiwania

• min. 4 lata doświadczenia z Apache Spark,

• bardzo dobra znajomość PySpark i Spark SQL,

• doświadczenie z MongoDB i MongoDB Spark Connector,

• praktyczna znajomość Apache Iceberg,

• doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold,

• znajomość CI/CD i Jenkins,

• znajomość Prometheus i Grafana,

• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.

Wymagania

• umiejętność optymalizacji procesów Spark,

• doświadczenie w rekoncyliacji i kontroli jakości danych,

• znajomość partitioningu, caching, broadcast joins i AQE,

• doświadczenie w pracy z dużymi zbiorami danych,

• samodzielność i analityczne podejście do rozwiązywania problemów,

• umiejętność współpracy z zespołami Data, QA i DevOps.

Oferujemy

• pracę przy nowoczesnej platformie Data Lakehouse,

• udział w ciekawych projektach związanych z dużymi zbiorami danych,

• pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana,

• możliwość rozwoju i wpływu na rozwiązania technologiczne,

• współpracę z doświadczonym zespołem,