Konsultant IT – GCP Data Engineer (K/M)

Technologie, których używamy

Wymagane

• Google Cloud Platform
• BigQuery
• SQL
• Python
• Cloud Composer
• Apache Airflow
• Dataproc
• Dataflow
• Datastream
• BigQuery Dataform
• Cloud Storage
• Cloud Run
• Terraform
• IAM

Mile widziane

• SAP Datasphere / SAP BDC
• Azure Databricks
• dbt
• Google Cloud Professional Data Engineer

O projekcie

Poszukujemy Konsultanta IT specjalizującego się w Google Cloud Platform (GCP), który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie procesów przetwarzania danych oraz modelu uprawnień dostępu do danych.

Osoba na tym stanowisku będzie współpracować z zespołami data, infrastruktury, bezpieczeństwa i governance przy rozwoju rozwiązań integracyjnych w środowisku chmurowym i multi-cloud.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• Analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w GCP.
• Projektowanie, rozwój i utrzymanie procesów ETL/ELT z wykorzystaniem BigQuery, Dataproc, Dataflow i Dataform.
• Integracja danych z różnych źródeł z wykorzystaniem mechanizmów batch, streaming i CDC.
• Projektowanie i utrzymanie orkiestracji procesów danych w Cloud Composer / Apache Airflow.
• Rozwój potoków CI/CD w GitLab oraz automatyzacja wdrożeń z wykorzystaniem Terraform w zakresie zasobów przetwarzania danych.
• Optymalizacja wydajności i kosztów przetwarzania danych oraz monitorowanie procesów i reagowanie na incydenty.
• Projektowanie i wdrażanie modelu uprawnień do danych w GCP, w tym IAM, row-level security, column-level security i policy tags.
• Konfiguracja dostępu do zasobów danych dla grup federowanych z Microsoft Entra ID z wykorzystaniem Workforce Identity Federation.
• Współpraca z zespołami governance i bezpieczeństwa w zakresie klasyfikacji danych, jakości danych i zgodności z wymaganiami, w tym RODO.
• Tworzenie i aktualizacja dokumentacji technicznej, przeprowadzanie code review oraz wspieranie pozostałych członków zespołu.

Nasze wymagania

• Minimum 3 lata doświadczenia na stanowisku Data Engineer lub konsultanta GCP.
• Praktyczna znajomość GCP, w szczególności BigQuery, Cloud Composer / Apache Airflow, Dataproc, Dataflow i Datastream.
• Bardzo dobra znajomość SQL i Python oraz doświadczenie w tworzeniu i optymalizacji procesów ETL/ELT z wykorzystaniem Dataform lub dbt.
• Znajomość wzorców integracji danych: batch, streaming i CDC oraz doświadczenie w integracji danych z różnych źródeł.
• Znajomość Cloud Storage, Cloud Run, GitLab CI/CD i Terraform w zakresie przetwarzania danych.
• Doświadczenie w zarządzaniu dostępem do danych w GCP, w tym IAM, authorized views, row-level security, column-level security i policy tags.
• Znajomość Workforce Identity Federation i integracji z Microsoft Entra ID.
• Znajomość Dataplex Universal Catalog w zakresie klasyfikacji, katalogowania i tagowania danych.
• Rozumienie zasad data governance, ochrony danych wrażliwych i wymagań RODO.
• Znajomość integracji GCP z Informatica IDMC oraz środowisk SAP Datasphere i Azure Databricks.
• Umiejętność analitycznego myślenia, samodzielnego rozwiązywania problemów i współpracy z różnymi zespołami.

Mile widziane

• Certyfikat Google Cloud, np. Professional Data Engineer.
• Doświadczenie w projektowaniu rozwiązań dla środowisk multi-cloud.

To oferujemy

• Udział w rozwoju zaawansowanych rozwiązań do przetwarzania i integracji danych w środowisku GCP.
• Możliwość pracy z nowoczesnymi technologiami chmurowymi i rozwiązaniami z obszaru data governance.
• Współpracę z zespołami specjalistów z obszaru danych, architektury i bezpieczeństwa.
• Możliwość rozwoju kompetencji technicznych przy realizacji złożonych projektów integracyjnych.

BCF Software Sp. z o.o.

Bright coders’ factory - nasza nazwa mówi sama za siebie, ponieważ nasze oprogramowanie znajduje się w sercach wiodących światowych firm. Nasi klienci to stabilne, najwyższej klasy globalne organizacje, dysponujące najnowocześniejszymi technologiami.

W BCF wierzymy, że ludzie są innowacyjni z pasji. W naszym portfolio znajdują się projekty z różnych branż, m.in. motoryzacyjnej, AI, e-commerce, rozrywkowej - na pewno znajdziesz coś dla siebie. :)

Piszemy kod żeby ułatwiać ludziom życie. Chcemy żeby każdy czuł się u nas wyjątkowo i wiedział, że jego praca ma znaczenie. Jako firma zatrudniająca wielu specjalistów wiemy, że nasz potencjał wciąż rośnie. W zależności od etapu Twojej kariery wybierzemy najbardziej odpowiednie i atrakcyjne oferty projektów. Reszta należy do Ciebie.

Tak się u nas pracuje