Senior Data Engineer

Dla naszego klienta z branży turystycznej i rejsowej poszukujemy doświadczonej osoby na stanowisko Senior Data Engineera. Projekt jest długoterminowy i dotyczy rozwoju globalnej platformy danych opartej na ekosystemie Azure.

Szczegóły współpracy

• Rola: Senior Data Engineer

• Start: ASAP

Czym się zajmiesz

• Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse)

• Wdrażanie i optymalizacja procesów ETL/ELT: pobieranie, transformacja i udostępnianie danych z wielu domen biznesowych

• Tworzenie rozwiązań do przetwarzania danych w Pythonie, SQL i Apache Spark

• Wsparcie migracji i modernizacji platformy, w tym wdrożenia Unity Catalog oraz aktualizacji platformy

• Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków metadata-driven i procesów orkiestracji

• Współpraca z architektami, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne

• Dbanie o jakość, niezawodność, wydajność i bezpieczeństwo danych

• Analiza incydentów produkcyjnych, wyszukiwanie przyczyn źródłowych i wdrażanie działań naprawczych

• Udział we wdrażaniu CI/CD, automatyzacji infrastruktury, monitoringu i dobrych praktyk operacyjnych

• Optymalizacja pipeline’ów, struktur przechowywania danych i obciążeń przetwarzania pod kątem wydajności i kosztów

• Udział w przeglądach rozwiązań i architektury oraz promowanie standardów inżynierskich i zasad governance

• Dzielenie się wiedzą, mentoring i wspieranie rozwoju technicznego zespołu

• Ścisła współpraca z Data Architektami i zespołami platformowymi, aby zapewnić zgodność z architekturą korporacyjną i zasadami Lakehouse

• Dostarczanie niezawodnych, skalowalnych fundamentów danych dla raportowania, analityki i inicjatyw AI/ML

Wymagania techniczne

• Apache Spark

• Python

• SQL

• Azure Cloud: Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer

• Databricks

• CI/CD i Azure DevOps

• Power BI

• Doświadczenie w budowie i utrzymaniu procesów ETL/ELT

• Doświadczenie z Delta Live Tables (DLT)

• Doświadczenie z Unity Catalog

• Zrozumienie architektury Lakehouse

• Doświadczenie w automatyzacji infrastruktury, monitoringu i logowaniu

Czego jeszcze oczekujemy

• Silnych umiejętności analitycznych i rozwiązywania problemów

• Samodzielności oraz wysokiego poziomu ownership i odpowiedzialności

• Proaktywnego podejścia do identyfikowania ryzyk, blokerów i możliwości usprawnień

• Bardzo dobrej komunikacji i umiejętności pracy z interesariuszami technicznymi i biznesowymi

• Doświadczenia w pracy w dynamicznym środowisku ze zmieniającymi się priorytetami

• Umiejętności podejmowania pragmatycznych decyzji i dowożenia rezultatów przy niepełnych wymaganiach

• Doświadczenia w zespołach cross-funkcyjnych

• Znajomości zasad data governance, bezpieczeństwa i compliance

• Komfortu pracy w środowisku o relatywnie niskim poziomie formalnych procesów

• Elastyczności, odporności i dobrej organizacji pracy

• Umiejętności samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań