Spark / Data Lakehouse Developer

Technologie, których używamy

Wymagane

• Apache Spark
• PySpark
• Spark
• MongoDB
• Apache
• Jenkins
• Python
• Prometheus
• Grafana

O projekcie

Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse. Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.

Twój zakres obowiązków

• Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
• Synchronizacja danych z systemami źródłowymi.
• Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
• Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).

Nasze wymagania

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
• Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
• Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
• Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
• Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
• Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Benefity

• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne

• Jeśli po przeczytaniu tego ogłoszenia masz poczucie, że to rola, w której możesz realnie coś zbudować — bardzo możliwe, że właśnie Ciebie szukamy.

Ideamotive

Czym jest Ideamotive?

Agile’owa firma świadcząca usługi w zakresie tech team extension IT dla klienta korporacyjnego (głównie w Polsce).

Nasza firma została uznana przez Forbes 3 lata z rzędu jako jedna z najprężniej rozwijających się organizacji IT w Polsce oraz znalazła się na liście Financial Times 1000.

Team delivery składa się z 60 osób, core biznesowy z 12 osób i mamy chrapkę na wzrosty, więc podejście “can do” i nastawienie na działanie są tutaj niezbędne.

Mamy bardzo zgrany, zaangażowany zespół, lubimy to, co robimy.

Poczytaj o naszych wartościach: https://www.ideamotive.co/about

Jeżeli taka atmosfera jest zgodna z Twoimi oczekiwaniami, zaaplikuj! Zobaczmy jaką historię możemy razem napisać.

Tak się u nas pracuje