Data Engineer (Spark)

Technologie, których używamy

Wymagane

• PyTorch

Mile widziane

• Kubernetes
• Docker
• Prometheus
• Grafana
• Jenkins
• MongoDB
• Apache Spark
• PyTorch

O projekcie

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Tak organizujemy naszą pracę

Tak pracujemy

• koncentrujesz się na jednym projekcie
• masz wpływ na wybór narzędzi i technologii
• masz wpływ na rozwiązania technologiczne
• agile
• scrum

Skład zespołu

• backend developer
• devOps
• data scientist
• programista testów automatycznych
• tester manualny
• product owner
• project manager
• scrum master

Twój zakres obowiązków

• Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
• Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
• Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
• Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
• Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
• Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
• Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.
• Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.
• Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.
• Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
• Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.
• Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Nasze wymagania

• Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
• Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
• Bardzo dobra znajomość języka Python i SQL.
• Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
• Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
• Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

Mile widziane

• Doświadczenie w pracy z Delta Lake lub Apache Hudi.
• Znajomość Kubernetes, Dockera i Spark Operator.
• Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
• Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
• Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.

To oferujemy

• Praca zdalna
• B2B: 1200 PLN/MD

Tak pracujemy nad projektem

• code review
• Continuous Integration
• DevOps
• active monitoring
• dokumentacja
• narzędzia do trackowania zadań
• testy integracyjne
• testy jednostkowe

Takie dajemy możliwości rozwoju

• mentoring
• szkolenia zewnętrzne

Etapy rekrutacji

• CV
• Introductory interview
• Technical interview

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Welcome to Upvanta, where our motto is “We Care More”.

Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.