Data Engineer

Technologie, których używamy

Wymagane

• Google Cloud Platform
• Oracle
• SQL
• Informatica PowerCenter
• Python

Mile widziane

• PostgreSQL

O projekcie

Poszukujemy Middle Data Engineerów, którzy dołączą do projektu migracji danych i procesów przetwarzania ze środowiska on-premise/Oracle do Google Cloud Platform.

Projekt koncentruje się na budowie i przebudowie procesów Data Engineering z wykorzystaniem BigQuery, Pub/Sub i Cloud Storage, a także na migracji istniejących procesów ETL realizowanych w Informatica PowerCenter.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform,
• budowa i rozwój procesów przetwarzania danych batch i streaming,
• migracja i przebudowa procesów oraz zasilania danych z Oracle/on-premise do GCP,
• projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności i kosztów,
• projektowanie i implementacja procesów wykorzystujących BigQuery, Cloud Storage i Pub/Sub,
• analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i GCP,
• tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł,
• analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP,
• implementacja transformacji, walidacji i integracji danych z wykorzystaniem SQL i Python,
• przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT,
• przygotowywanie zmian do wdrożenia oraz wsparcie wdrożeń i weryfikacji powdrożeniowej,
• diagnozowanie i usuwanie problemów związanych z przetwarzaniem i jakością danych,
• tworzenie i aktualizacja dokumentacji technicznej,
• praca z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.

Nasze wymagania

• minimum 2 lata komercyjnego doświadczenia jako Data Engineer lub na podobnym stanowisku,
• praktyczne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych,
• bardzo dobra znajomość Google Cloud Platform,
• praktyczne doświadczenie z BigQuery, Cloud Storage i Pub/Sub,
• doświadczenie w migracji lub przebudowie procesów danych z Oracle/on-premise do GCP,
• praktyczna znajomość Oracle,
• bardzo dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych,
• doświadczenie w pracy z Informatica PowerCenter, pozwalające na samodzielną analizę i modyfikację procesów ETL,
• znajomość Python w kontekście przetwarzania i transformacji danych,
• doświadczenie w budowie procesów ETL/ELT,
• znajomość procesów CI/CD i pracy z repozytorium kodu,
• umiejętność przygotowywania dokumentacji technicznej oraz testów rozwiązań.

Mile widziane

• doświadczenie w procesach migracji dużych baz danych,
• doświadczenie z PostgreSQL,
• doświadczenie w budowie procesów streamingowych,
• znajomość architektury rozwiązań Data Platform w GCP,
• doświadczenie w optymalizacji kosztów przetwarzania i składowania danych w BigQuery,
• doświadczenie z rozwiązaniami DevOps/CI/CD w środowisku GCP.

To oferujemy

• udział w dużym projekcie migracji danych z Oracle/on-premise do Google Cloud Platform,
• pracę z technologiami BigQuery, Pub/Sub i Cloud Storage,
• projekt na okres 12 miesięcy,
• hybrydowy model pracy,
• możliwość pracy przy projektowaniu, budowie i modernizacji procesów przetwarzania danych w środowisku cloud.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• ubezpieczenie na życie
• spotkania integracyjne

Etapy rekrutacji

• Rozmowa z rekruterem ok. 15 min
• Spotkanie rekrutacyjne z klientem ok. 60 min

IT CONNECT Sp. z o.o. Sp. k.

ITConnect – Twój partner w świecie nowoczesnych kadr.

Jesteśmy polską firmą z blisko 20-letnim doświadczeniem na rynku. Nasza historia zaczęła się w 2007 roku, a dziś, dzięki dynamicznej transformacji, wspieramy nie tylko sektor IT, ale również branże takie jak inżynieryjna, budowlana, telekomunikacyjna oraz wiele innych.

W ITC wierzymy, że technologia nas łączy, ale to relacje nas budują.

Nie jesteśmy zwykłym dostawcą usług – przejmujemy operacyjne wyzwania rekrutacyjne, aby nasi klienci mogli w pełni skupić się na swojej strategii i rozwoju.

Co nas wyróżnia?

•Wszechstronność: Dostarczamy nie tylko programistów i testerów, ale także inżynierów, kierowników projektów oraz analityków biznesowych.

•Elastyczne modele współpracy: Specjalizujemy się w outsourcingu personalnym (body leasing), rekrutacjach stałych, headhuntingu oraz modelu Try&Hire.

•Podejście Human-Centric: Dla nas ludzie to nie cyferki. Stawiamy na autentyczność, wellbeing i zdrowie psychiczne naszych specjalistów, co przekłada się na ich efektywność i stabilność zespołów u naszych klientów.

•Innowacyjność i stabilność: Jesteśmy laureatem Polskiej Nagrody Innowacyjności oraz wielokrotnym zdobywcą tytułu Gazele Biznesu.

Szukasz specjalistów do swojego zespołu lub nowej ścieżki zawodowej?

Skontaktuj się z nami i sprawdźmy, co możemy wspólnie zbudować!