Data Engineer (Spark)

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Zakres obowiązków

• Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.

• Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.

• Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.

• Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.

• Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.

• Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.

• Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.

• Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.

• Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.

• Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.

• Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.

• Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Wymagania obowiązkowe (must-have)

• Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data

• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.

• Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.

• Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.

• Bardzo dobra znajomość języka Python i SQL.

• Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.

• Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.

• Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.

• Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

Dodatkowym atutem będzie

• Doświadczenie w pracy z Delta Lake lub Apache Hudi.

• Znajomość Kubernetes, Dockera i Spark Operator.

• Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.

• Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.

• Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.