Databricks Engineer

Technologie, których używamy

Wymagane

• Databricks
• SQL
• Python
• Apache Spark
• PySpark
• Data Lake
• Lakehouse
• Delta Lake

Mile widziane

• Microsoft Azure
• Oracle
• Azure Data Factory.
• Microsoft Fabric.
• Apache Kafka
• GitHub Copilot

System operacyjny

• Windows

O projekcie

Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce.

Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję.

W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• agile

Twój zakres obowiązków

• Projektowanie, tworzenie i rozwijanie procesów przetwarzania danych z wykorzystaniem Databricks.
• Budowanie i utrzymywanie pipeline'ów ETL/ELT oraz integracja danych pochodzących z różnych systemów.
• Tworzenie i optymalizacja procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
• Rozwój rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
• Praca z danymi w środowisku chmurowym oraz integracja rozwiązań cloud i on-premise.
• Monitorowanie jakości danych, wydajności i niezawodności procesów.
• Automatyzacja wdrożeń oraz rozwój procesów CI/CD.
• Współpraca z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.

Nasze wymagania

• Minimum 4 lata doświadczenia w obszarze Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
• Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
• Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
• Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
• Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Mile widziane

• Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
• Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
• Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość Microsoft Fabric.
• Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
• Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
• Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

To oferujemy

• Długofalową współpracę w modelu B2B.
• Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce.
• Pracę z nowoczesnymi technologiami przetwarzania danych.
• Współpracę z doświadczonym zespołem technologicznym.
• Prywatną opiekę medyczną Luxmed.
• Kartę Multisport
• Pracę hybrydową z warszawskiego biura, min. 1 dzień w tygodniu.

Tak pracujemy nad projektem

• Continuous Deployment
• Continuous Integration
• DevOps

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne

Etapy rekrutacji

• Rozmowa HR - 20 min
• Spotkanie z klientem - 1 godzina

Moondigo sp. z o.o.

Moondigo is a technology company specializing in DevOps, DevSecOps, and cloud services. It helps organizations accelerate software delivery, enhance security, and optimize IT infrastructure.