Senior Data Engineer (Azure)

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne środowisko danych wspierające przetwarzanie, integrację oraz wykorzystanie informacji w różnych obszarach biznesowych.

Projekt koncentruje się na rozwoju skalowalnej platformy danych w środowisku Azure. Zakres współpracy obejmuje budowę i optymalizację procesów przetwarzania danych, rozwój pipeline’ów oraz wykorzystanie Azure Databricks, Azure Data Lake i Azure Data Factory.

Do realizacji projektu poszukujemy osoby do współpracy w roli Senior Data Engineer. Istotnym elementem roli będzie projektowanie rozwiązań uwzględniających wydajność, niezawodność oraz skalowalność przetwarzania dużych wolumenów danych.

📍 Tryb Współpracy: 100% zdalnie

⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością

🧑‍💻 CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?

• Projektowaniem i rozwijaniem skalowalnych pipeline’ów oraz procesów przetwarzania danych w środowisku Azure

• Rozwojem rozwiązań wykorzystujących Azure Databricks do transformacji i przetwarzania dużych zbiorów danych

• Budową oraz rozwojem warstwy przechowywania danych opartej na Azure Data Lake

• Tworzeniem i utrzymywaniem procesów integracji oraz orkiestracji danych z wykorzystaniem Azure Data Factory

• Implementacją procesów transformacji danych w Pythonie i SQL

• Integracją danych pochodzących z różnych systemów i źródeł

• Optymalizacją pipeline’ów, zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności

• Monitorowaniem jakości i poprawności przetwarzanych danych oraz diagnozowaniem problemów w przepływach danych

• Rozwijaniem mechanizmów wspierających niezawodność i utrzymywalność platformy danych

• Udziałem w podejmowaniu decyzji technicznych dotyczących architektury i dalszego rozwoju środowiska Data

🔍 CZEGO OD CIEBIE OCZEKUJEMY?

Must have:

• Minimum 6 lat komercyjnego doświadczenia w Data Engineering

• Bardzo dobra, praktyczna znajomość Azure Databricks w rozwiązaniach produkcyjnych

• Doświadczenie w projektowaniu i rozwijaniu rozwiązań wykorzystujących Azure Data Lake

• Bardzo dobra znajomość Azure Data Factory oraz doświadczenie w tworzeniu i orkiestracji pipeline’ów danych

• Bardzo dobra znajomość SQL, w tym tworzenie złożonych zapytań i optymalizacja operacji na danych

• Bardzo dobra znajomość Pythona w kontekście przetwarzania i transformacji danych

• Doświadczenie w projektowaniu procesów ETL/ELT oraz integracji danych z wielu źródeł

• Umiejętność optymalizacji wydajności procesów przetwarzania dużych wolumenów danych

• Doświadczenie w analizowaniu problemów związanych z jakością, spójnością i przepływem danych

• Umiejętność samodzielnego projektowania rozwiązań oraz podejmowania decyzji technicznych w obszarze Data Engineering

• Znajomość języka angielskiego na poziomie minimum C1, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym

Nice to have:

• Doświadczenie z architekturą Lakehouse

• Znajomość Delta Lake

• Doświadczenie z rozwiązaniami CI/CD dla pipeline’ów i platform danych

• Znajomość zagadnień związanych z data quality, monitoringiem oraz governance danych

🤝 DLACZEGO WARTO?

• Udział w projekcie opartym na Azure Databricks, Azure Data Lake i Azure Data Factory

• Rozwój skalowalnej platformy przetwarzającej dane pochodzące z wielu źródeł

• Złożone zagadnienia obejmujące integrację, transformację, jakość oraz optymalizację przetwarzania danych

• Udział w podejmowaniu decyzji dotyczących rozwiązań technicznych oraz dalszego rozwoju architektury platformy danych

📍 Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.

TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)