Senior Data Engineer

Senior Data Enginner (Azure, Databricks) poszukiwany!

Dołącz do długoterminowego projektu realizowanego dla globalnej firmy z branży turystycznej, specjalizującej się w rejsach rzecznych, morskich i oceanicznych oraz wyprawach ekspedycyjnych. 🛳️

Klient zarządza rozbudowaną flotą i dużymi wolumenami danych wykorzystywanych w procesach operacyjnych, finansowych, raportowych i analitycznych. Poszukujemy doświadczonego Senior Data Engineera, który będzie rozwijać i optymalizować nowoczesną platformę danych opartą na technologiach Microsoft Azure i Databricks.

Stawka: 145 pln/h netto

Współpraca: B2B

100% zdalnie

Twoje codzienne zadania:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.

• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.

• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.

• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).

• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.

• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.

• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.

• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.

• Optymalizacja potoków danych i kosztów infrastruktury.

• Współpraca z architektami danych, analitykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.

• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Must have:

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.

• Bardzo dobra znajomość Python, SQL i Apache Spark.

• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.

• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.

• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.

• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.

• Znajomość architektury Lakehouse.

• Doświadczenie w pracy z CI/CD i Azure DevOps.

• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.

• Umiejętność diagnozowania problemów i optymalizacji rozwiązań przetwarzających duże wolumeny danych.

• Angielski na poziomie min. B2

Jeśli masz doświadczenie w budowaniu nowoczesnych platform danych i chcesz rozwijać rozwiązania oparte na Azure oraz Databricks, zapraszamy do aplikowania! :)