Data Engineer (K/M/N)

Technologie, których używamy

Wymagane

• Google Cloud Platform
• Python
• SQL
• GitLab
• Terraform
• Informatica PowerCenter
• Azure DevOps
• BigQuery
• Cloud Composer / Apache Airflow
• Dataproc
• Dataflow
• Datastream
• Cloud Run / Cloud Run Functions
• Google Cloud Storage
• IAM
• Workforce Identity Federation
• Microsoft Entra ID
• BigQuery Row-Level Security / Column-Level Security
• Policy Tags
• Dataplex Universal Catalog
• Informatica IDMC
• SAP Datasphere
• Azure Databricks
• ETL / ELT
• CDC

O projekcie

Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)

Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania

Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• masz wpływ na rozwiązania technologiczne
• koncentrujesz się na rozwoju produktu
• agile

Skład zespołu

• architekt
• devOps
• data scientist
• product owner
• project manager

Twój zakres obowiązków

• rozwój, utrzymanie i optymalizacja procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)
• projektowanie architektury przepływów danych
• implementacja procesów ETL/ELT
• integracja danych z różnych źródeł (on-premise, chmura, API, pliki, strumienie)
• automatyzacja i orkiestracja procesów przetwarzania
• zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości
• integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi
• dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA
• implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt
• implementacja mechanizmów CDC (Change Data Capture)
• projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow
• zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów
• projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab
• automatyzacja testowania, wdrażania i wersjonowania procesów danych
• definiowanie zasobów IaC związanych z przetwarzaniem danych (GCS, BigQuery, Cloud Composer, Dataproc)
• monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty
• optymalizacja wydajności i kosztów przetwarzania (optymalizacja zapytań, partycjonowanie, klastrowanie w BigQuery)
• refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych
• implementacja mechanizmów walidacji i kontroli jakości danych
• projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy
• konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags
• zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID
• współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog
• współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance
• przygotowywanie i aktualizacja dokumentacji technicznej
• przeprowadzanie code review oraz wsparcie merytoryczne zespołów data

Nasze wymagania

• minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP
• praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych
• znajomość BigQuery (modelowanie danych, SQL, optymalizacja zapytań, partycjonowanie, klastrowanie)
• praktyczna znajomość Cloud Composer / Apache Airflow
• znajomość Dataproc, Dataflow i Datastream
• znajomość Cloud Run / Cloud Run Functions
• znajomość Cloud Storage w zakresie przetwarzania danych
• bardzo dobra znajomość Python i SQL
• znajomość GitLab (CI/CD i wersjonowania)
• znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych
• znajomość wzorców integracji danych: batch, streaming i CDC
• doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne
• znajomość mechanizmów kontroli dostępu do danych w GCP (IAM, authorized views, row-level i column-level security, policy tags)
• znajomość Workforce Identity Federation i zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID
• znajomość Dataplex Universal Catalog (klasyfikacja, tagowanie, katalogowanie danych)
• rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem
• znajomość zagadnień integracji GCP z platformą Informatica IDMC
• znajomość architektury multi-cloud governance obejmującej SAP Datasphere i Azure Databricks
• wysokie umiejętności komunikacyjne, organizacyjne i analityczne

Mile widziane

• certyfikat Google Cloud, np. Professional Data Engineer
• certyfikat Google Cloud Professional Data Engineer

To oferujemy

• Okres współpracy: 12 miesięcy
• Dyspozycyjność: elastyczna, uzależniona od zapotrzebowania projektowego

Tak pracujemy nad projektem

• code review
• dokumentacja
• narzędzia do trackowania zadań

Takie dajemy możliwości rozwoju

• mentoring
• wymiana wiedzy technicznej w firmie

Etapy rekrutacji

• Ocena CV
• Rozmowa online