Data Engineer

Poszukujemy osoby na stanowisko Data Engineer do projektu związanego z migracją i rozwojem procesów przetwarzania danych w środowisku Google Cloud Platform. Rola obejmuje pracę z dużymi wolumenami danych, budowę i optymalizację procesów przetwarzania oraz migrację rozwiązań z Oracle do GCP.

Zakres obowiązków

• Projektowanie i rozwój rozwiązań Data Engineering w GCP

• Migracja i przebudowa procesów przetwarzania danych z Oracle/on-premise do GCP

• Projektowanie i rozwój procesów batch oraz streaming

• Projektowanie struktur i modeli danych w BigQuery

• Tworzenie i optymalizacja zapytań SQL dla dużych wolumenów danych

• Analiza i modyfikacja procesów ETL w Informatica PowerCenter

• Implementacja transformacji, walidacji i integracji danych

• Przygotowywanie testów jednostkowych i integracyjnych

• Diagnozowanie problemów związanych z przetwarzaniem i jakością danych

• Tworzenie i aktualizacja dokumentacji technicznej

Wymagania

• Minimum 2 lata komercyjnego doświadczenia w obszarze integracji lub przetwarzania danych

• Praktyczne doświadczenie z Google Cloud Platform

• Bardzo dobra znajomość BigQuery

• Doświadczenie z Cloud Storage i Pub/Sub

• Praktyczne doświadczenie z Oracle

• Bardzo dobra znajomość SQL, w tym optymalizacja zapytań i praca z dużymi wolumenami danych

• Doświadczenie developerskie z Informatica PowerCenter, w tym samodzielna analiza i modyfikacja procesów ETL

• Znajomość Python w zakresie transformacji i integracji danych