Data Engineer (K/M/N)

Technologie, których używamy

Wymagane

• Google Cloud Platform (GCP)
• BigQuery
• Cloud Storage
• Cloud Dataflow
• Cloud Composer
• Datastream
• Dataplex
• Pub/Sub
• Dataform
• Python
• Pandas
• SQL
• MySQL
• PostgreSQL
• MS SQL Server
• ETL / ELT
• Git
• CI/CD
• Cloud Monitoring
• Cloud Logging
• Data Governance
• Medallion Architecture

O projekcie

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• koncentrujesz się na jednym projekcie
• masz wpływ na rozwiązania technologiczne
• masz wpływ na produkt
• agile

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics - WYMAGANIE KONIECNZE!.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Tak pracujemy nad projektem

• statyczna analiza kodu
• dokumentacja
• automatyzacja testów
• testy funkcjonalne
• testy integracyjne
• testy jednostkowe

Takie dajemy możliwości rozwoju

• mentoring
• wsparcie merytoryczne od liderów technologicznych

Etapy rekrutacji

• Ocena CV
• Rozmowa Online