BI Data Engineer – ETL / Data Warehouse / Lakehouse

Dla jednego z naszych klientów szukamy BI Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów ETL/ELT, hurtowni danych, architektury Data Lakehouse oraz rozwiązań BI. To rola łącząca Data Engineering, Business Intelligence, Data Warehousing i Data Governance. Będziesz pracować zarówno nad warstwą danych i pipeline'ami, jak i nad rozwiązaniami raportowymi oraz jakością, lineage i bezpieczeństwem danych.

Data Governance & Security - W ramach roli będziesz również odpowiedzialny/a za:

• zarządzanie warstwą semantyczną BI – KPIs, metrics catalog, naming conventions, row-level security,

• zarządzanie dostępami oraz bezpieczeństwem danych zgodnie z GDPR i wewnętrznymi politykami ochrony danych,

• egzekwowanie zasad data lineage i data stewardship,

• utrzymywanie dokumentacji technicznej, m.in. data dictionaries, lineage, design specifications i runbooks.

Zakres odpowiedzialności

• Projektowanie i implementacja end-to-end procesów ETL/ELT oraz workflowów orkiestracji.

• Implementacja data contracts oraz zarządzanie ewolucją schematów danych.

• Projektowanie i utrzymanie Enterprise Data Warehouses, Data Lakes i Data Lakehouses.

• Budowanie i rozwój rozwiązań Business Intelligence.

• Implementacja mechanizmów data quality oraz monitorowania kondycji danych.

• Praca z data observability, w tym data lineage i freshness, oraz definiowanie i monitorowanie SLA/SLO.

• Optymalizacja kosztów i wydajności platform BI oraz hurtowni danych poprzez m.in.:

  • partitioning,

  • caching,

  • clustering,

  • query optimisation,

  • resource scaling.

• Zbieranie i analiza wymagań biznesowych dotyczących pipeline'ów, storage'u i raportowania.

• Wspieranie self-service BI poprzez przygotowywanie curated datasets, certified reports oraz wsparcie i szkolenia użytkowników.

• Projektowanie nowoczesnych architektur BI dla środowisk cloud, on-premises i hybrid.

• Implementacja warstw data virtualisation, zapewniających zunifikowany dostęp do heterogenicznych źródeł danych.

• Projektowanie i rozwój aplikacji raportowych i analitycznych – dashboardów, KPI oraz narzędzi self-service BI.

• Projektowanie modeli danych, w tym dimensional models, zgodnie z wymaganiami biznesowymi.

• Projektowanie i optymalizacja fizycznych schematów baz danych poprzez indexing, partitioning i odpowiednie strategie storage.

• Analiza wydajności, query tuning i optymalizacja zasobów, zgodnie z kierunkiem wyznaczonym przez Technical/Solution Architect.

• Projektowanie i realizacja testów dla rozwiązań BI, w tym:

  • data validation,

  • regression testing,

  • contract testing,

  • automated pipelines zintegrowanych z CI/CD.

• Deployment i konfiguracja systemów BI z wykorzystaniem infrastructure-as-code, version control oraz environment management.

Wymagania

• Wykształcenie:

  • Master's degree + min. 5 lat doświadczenia zawodowego, lub

  • Bachelor's degree + min. 7 lat doświadczenia, lub

  • wykształcenie średnie + min. 12 lat doświadczenia.

• Praktyczne doświadczenie w projektowaniu i implementacji procesów ETL/ELT.

• Doświadczenie w dimensional modelling i projektowaniu hurtowni danych.

• Doświadczenie z architekturą Data Lakehouse.

• Doświadczenie w obszarze data governance i data lineage.

• Znajomość wymagań GDPR w kontekście platform danych i raportowania.

• Bardzo dobra znajomość języka angielskiego – min. B2.

• Umiejętność pracy zarówno z zespołami technicznymi, jak i interesariuszami biznesowymi.

• Analityczne, uporządkowane i szczegółowe podejście do pracy.

Mile widziane

• Microsoft Data Analyst Associate

• Azure Data Engineer Associate

• Amazon Certified Data Analytics – Specialty