Data Engineer (K/M/N)

Opis projektu

Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP). Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi.

Zakres współpracy

• analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP

• dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA

• projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform

• implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt

• integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych

• implementacja mechanizmów CDC (Change Data Capture)

• projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow

• zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów

• projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab

• automatyzacja testowania, wdrażania i wersjonowania procesów danych

• definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in. GCS, BigQuery, Cloud Composer i Dataproc

• monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty w warstwie logiki danych

• optymalizacja wydajności i kosztów przetwarzania, w tym optymalizacja zapytań, partycjonowania i klastrowania w BigQuery

• refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych

• implementacja mechanizmów walidacji i kontroli jakości danych

• projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy

• konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags

• zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID

• współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog

• współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance

• przygotowywanie i aktualizacja dokumentacji technicznej

• przeprowadzanie code review oraz wsparcie merytoryczne zespołów data

Wymagania obligatoryjne

• minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP

• praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych

• znajomość BigQuery, w tym modelowania danych, SQL, optymalizacji zapytań, partycjonowania i klastrowania

• praktyczna znajomość Cloud Composer / Apache Airflow

• znajomość Dataproc, Dataflow i Datastream

• znajomość Cloud Run / Cloud Run Functions

• znajomość Cloud Storage w zakresie przetwarzania danych

• bardzo dobra znajomość Python i SQL

• znajomość GitLab, w tym CI/CD i wersjonowania

• znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych

• znajomość wzorców integracji danych: batch, streaming i CDC

• doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne

• znajomość mechanizmów kontroli dostępu do danych w GCP, w tym IAM, authorized views, row-level i column-level security oraz policy tags

• znajomość Workforce Identity Federation, w tym zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID

• znajomość Dataplex Universal Catalog w zakresie klasyfikacji, tagowania i katalogowania danych

• rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem

• znajomość zagadnień integracji GCP z platformą Informatica IDMC

• znajomość architektury multi-cloud governance, obejmującej SAP Datasphere i Azure Databricks

• wysokie umiejętności komunikacyjne, organizacyjne i analityczne

Wymagania dodatkowe

• certyfikat Google Cloud, np. Professional Data Engineer