Databricks Engineer

Opis oferty

Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce.

Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję.

W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

Co oferujemy?

• Długofalową współpracę w modelu B2B.
• Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce.
• Pracę z nowoczesnymi technologiami przetwarzania danych.
• Współpracę z doświadczonym zespołem technologicznym.
• Prywatną opiekę medyczną Luxmed.
• Kartę Multisport
• Pracę hybrydową z warszawskiego biura, min. 1 dzień w tygodniu.

Wymagania

• Minimum 4 lata doświadczenia w obszarze Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
• Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
• Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
• Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
• Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Mile widziane

• Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
• Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
• Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość Microsoft Fabric.
• Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
• Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
• Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

Zakres obowiązków

• Projektowaniem, tworzeniem i rozwijaniem procesów przetwarzania danych z wykorzystaniem Databricks.
• Budowaniem i utrzymywaniem pipeline'ów ETL/ELT oraz integracją danych pochodzących z różnych systemów.
• Tworzeniem i optymalizacją procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
• Rozwojem rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
• Pracą z danymi w środowisku chmurowym oraz integracją rozwiązań cloud i on-premise.
• Monitorowaniem jakości danych, wydajności i niezawodności procesów.
• Automatyzacją wdrożeń oraz rozwojem procesów CI/CD.
• Współpracą z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.