Data Engineer

Opis oferty

Cześć! Poznaj możliwości współpracy ze Scalo!

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services, 
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie, 
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Wymagania

Kompetencje wymagane do realizacji usług:

• doświadczenie w projektowaniu i implementacji procesów ETL/ELT,
• doświadczenie w przetwarzaniu danych wsadowych lub strumieniowych,
• bardzo dobra znajomość SQL,
• znajomość co najmniej jednego języka programowania lub skryptowego, np. Python,
• znajomość architektury i zasad działania hurtowni danych oraz rozwiązań Data Lake / Lakehouse,
• znajomość zagadnień związanych z orkiestracją procesów i monitoringiem przetwarzania danych,
• doświadczenie w optymalizacji zapytań i procesów przetwarzania danych,
• doświadczenie w obsłudze dużych wolumenów danych,
• umiejętność implementowania mechanizmów zapewniania jakości danych,
• doświadczenie w korzystaniu z repozytoriów kodu i udziału w code review,
• doświadczenie w przygotowywaniu testów technicznych oraz dokumentacji,
• umiejętność współpracy z analitykami danych, architektami i zespołami technicznymi,
• samodzielność, analityczne podejście oraz umiejętność rozwiązywania problemów technicznych.

Mile widziane:

• doświadczenie z platformami chmurowymi,
• znajomość narzędzi i procesów CI/CD wykorzystywanych w rozwiązaniach inżynierii danych.

Zakres obowiązków

• projektowanie, budowa i utrzymanie przepływów danych oraz procesów ETL/ELT,
• implementacja procesów przetwarzania danych wsadowych lub strumieniowych,
• tworzenie transformacji danych oraz reguł ich walidacji i kontroli jakości,
• projektowanie i implementacja mechanizmów identyfikacji oraz obsługi błędów przetwarzania,
• integracja danych z systemów źródłowych do docelowych struktur analitycznych,
• optymalizacja zapytań SQL oraz wydajności procesów przetwarzania danych,
• analiza i usprawnianie rozwiązań obsługujących duże wolumeny danych,
• rozwój mechanizmów orkiestracji i monitorowania procesów przetwarzania,
• przygotowywanie testów technicznych i weryfikacja poprawności przetwarzanych danych,
• tworzenie i aktualizacja dokumentacji technicznej,
• wykorzystanie repozytoriów kodu oraz udział w przeglądach kodu,
• wsparcie wdrażania zmian i rozwiązywania problemów technicznych,
• współpraca z analitykami danych, data modelerami, architektami i zespołami utrzymaniowymi,
• model realizacji usług: hybrydowy – 1 dzień w tygodniu w biurze Klienta - Warszawa lub Wrocław,
• budżet projektu: do 165 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.