Data Engineer (energy)

Data Engineer odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP). Branża energetyczna. Okazjonalne wizyty w biurze w Warszawie.

Wymagania

Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer

−    Bardzo dobre umiejętności komunikacyjne oraz organizacyjne.

−    Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi.

−    Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym.

−   Gotowość do okazjonalnych wizyt w biurze klienta w Warszawie.

Kompetencje techniczne

−    Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics:

−    BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.

−    Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.

−    Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.

−    Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.

−    Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

−    Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.

−    Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej.

−    Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.

Języki Programowania

−    Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas).

−    SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych.

Bazy Danych:

−    MySQL: Zrozumienie relacyjnych baz danych, optymalizacja zapytań, praca z danymi transakcyjnymi (CSZZ).

−    PostgreSQL, MS SQL Server: Znajomość tych baz danych jako źródeł danych.

Koncepcje i Metodologie:

−    Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury.

−    ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.

−    Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).

−    Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania.

−    Wersjonowanie Danych (Data Versioning): Zrozumienie technik wersjonowania schematów i danych.

Narzędzia i Procesy Deweloperskie:

−    Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests).

−    CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).

−    Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging.