Senior Data Engineer

Kim jesteśmy?

Lumicode Sp. z o.o. jest częścią Grupy Pentacomp, która od blisko 30 lat dostarcza rozwiązania IT i usługi technologiczne dla największych przedsiębiorstw oraz instytucji sektora publicznego.

Realizujemy projekty wspierające cyfrową transformację naszych klientów, łącząc doświadczenie z nowoczesnymi technologiami.

O projekcie

Dołączysz do międzynarodowego projektu realizowanego dla firmy z branży turystycznej, specjalizującej się w organizacji rejsów rzecznych, morskich i oceanicznych oraz wypraw ekspedycyjnych. Projekt koncentruje się na rozwoju i modernizacji platformy danych opartej na technologiach Microsoft Azure, Azure Databricks i architekturze Lakehouse.

Wymagania

• Praktyczna znajomość Apache Spark, Python oraz SQL

• Doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory i Azure Data Lake

• Znajomość usług Azure Synapse Analytics oraz Azure Data Explorer

• Doświadczenie w projektowaniu, rozwijaniu i optymalizacji procesów ETL/ELT

• Znajomość architektury Data Lakehouse i doświadczenie w pracy z rozwiązaniami Databricks

• Praktyczna znajomość Delta Live Tables (DLT) oraz Unity Catalog

• Doświadczenie w implementacji procesów CI/CD z wykorzystaniem Azure DevOps

• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitoringiem i logowaniem

• Umiejętność optymalizacji wydajności, zapewniania jakości danych oraz rozwiązywania problemów w środowiskach produkcyjnych.

• Zdolność do współpracy z zespołami technicznymi i biznesowymi przy realizacji projektów danych

Zakres obowiązków

• Rozwój i utrzymanie nowoczesnych rozwiązań z obszaru inżynierii danych w środowisku Azure, obejmujących Databricks, Synapse Analytics oraz architekturę Data Lakehouse

• Projektowanie, wdrażanie i optymalizacja przepływów ETL/ELT, umożliwiających efektywną integrację i przetwarzanie danych z różnych źródeł

• Implementacja rozwiązań przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark

• Rozwijanie i utrzymywanie pipeline’ów danych, workflowów Databricks oraz rozwiązań opartych na Delta Live Tables

• Udział w modernizacji platformy danych, migracjach technologicznych oraz wdrażaniu Unity Catalog

• Tworzenie i rozwój frameworków przetwarzania danych opartych na metadanych oraz rozwiązań wspierających orkiestrację procesów

• Współpraca z Data Architectami, zespołami platformowymi i analitykami w zakresie projektowania oraz wdrażania rozwiązań zgodnych z wymaganiami biznesowymi i standardami architektonicznymi

• Dbanie o jakość, bezpieczeństwo, spójność i dostępność danych oraz niezawodność całej platformy

• Analizowanie i rozwiązywanie problemów występujących w środowisku produkcyjnym, identyfikowanie ich przyczyn oraz wdrażanie odpowiednich usprawnień

• Rozwijanie procesów CI/CD oraz automatyzacja wdrożeń, infrastruktury i zadań operacyjnych

• Konfiguracja i rozwój mechanizmów monitorowania, logowania oraz kontroli działania procesów danych

• Optymalizacja wydajności przetwarzania, wykorzystania zasobów i kosztów utrzymania platformy

• Udział w przeglądach technicznych, rozwijaniu standardów inżynierskich oraz wdrażaniu dobrych praktyk w zakresie zarządzania danymi (data governance)

• Wspieranie zespołu poprzez dzielenie się wiedzą i mentoring techniczny

• Dostarczanie skalowalnych rozwiązań danych wspierających raportowanie, analitykę oraz inicjatywy z obszaru AI/ML