Data Engineer (GCP) [M/F]

Opis oferty

Do naszego zespołu poszukujemy Data Engineera, który wesprze projekt migracji istniejącego rozwiązania do monitorowania jakości danych (Data Quality) z platformy legacy do środowiska GCP z wykorzystaniem BigQuery i dbt Core. Jeśli masz doświadczenie w budowaniu pipeline’ów danych, pracy z SQL i nowoczesnymi platformami danych oraz interesuje Cię obszar Data Quality i migracji rozwiązań do chmury, zapraszamy do aplikowania.

Wymagania

• Min. 4-letnie doświadczenie na stanowisku Data Engineer.
• Praktyczne doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych.
• Bardzo dobra znajomość SQL.
• Doświadczenie w projektowaniu i implementacji procesów ETL/ELT.
• Doświadczenie w pracy z nowoczesnymi platformami danych i rozwiązaniami chmurowymi.
• Doświadczenie w migracji, transformacji i przetwarzaniu danych.
• Znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych.
• Doświadczenie w integracji systemów oraz projektowaniu przepływów danych.
• Praktyczna znajomość GCP.
• Doświadczenie w pracy z Google BigQuery.
• Doświadczenie z dbt Core.
• Umiejętność analitycznego myślenia i samodzielnego rozwiązywania problemów.
• Umiejętność współpracy w zespołach interdyscyplinarnych.

Zakres obowiązków

• Projektowanie, budowanie i rozwój pipeline’ów danych oraz procesów ETL/ELT.
• Implementacja i rozwój mechanizmów oraz metryk Data Quality w dbt Core.
• Migracja istniejących kontroli jakości danych z rozwiązania legacy do środowiska GCP.
• Przygotowywanie mapowań pomiędzy obecnym a docelowym rozwiązaniem.
• Tworzenie i rozwój kontroli jakości danych z wykorzystaniem BigQuery i SQL.
• Budowanie repozytoriów służących do przechowywania i monitorowania wyników kontroli Data Quality.
• Integracja rozwiązania z usługami platformy Google Cloud Platform (GCP).
• Optymalizacja wydajności procesów przetwarzania danych i wykonywania kontroli jakości.
• Wsparcie procesów testowania technicznego i biznesowego oraz walidacji danych.
• Przygotowywanie i aktualizacja dokumentacji technicznej oraz operacyjnej.
• Współpraca z Data Modelerami, Business Analystami, Test Engineerami oraz pozostałymi członkami zespołu.