Big Data Engineer

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest kluczem do wspólnego sukcesu. Naszą ambicją jest zbudowanie firmy, która inspiruje i wspiera naszych pracowników.

Dla jednego z naszych klientów poszukujemy osoby na stanowisko: Big Data Engineer.

Forma współpracy: B2B / UZ

Tryb pracy: zdalny

Czas trwania projektu: Start - listopad, 3 miesiące z możliwością przedłużenia

Zakres obowiązków:

• Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT przetwarzających duże wolumeny danych w środowisku chmurowym Azure.

• Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności, skalowalności i niezawodności.

• Przygotowywanie i przetwarzanie danych na potrzeby analityki biznesowej oraz projektów Machine Learning.

• Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystania formatów Parquet i Delta Lake oraz odpowiedniego partycjonowania danych.

• Implementacja mechanizmów kontroli jakości danych oraz monitorowanie poprawności i niezawodności procesów przetwarzania.

• Zarządzanie kodem źródłowym z wykorzystaniem Git oraz wspieranie procesów CI/CD, testowania i przyrostowych wdrożeń.

• Analiza i rozwiązywanie problemów związanych z przetwarzaniem dużych zbiorów danych oraz optymalizacja istniejących rozwiązań.

• Współpraca z zespołami technicznymi, analitycznymi i biznesowymi w celu zrozumienia potrzeb dotyczących danych oraz dostarczania odpowiednich rozwiązań.
  

Wymagania:

• Dobra znajomość SQL oraz zagadnień związanych z modelowaniem danych.

• Praktyczna znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz technik optymalizacji wydajności zadań.

• Dobra znajomość języka Python w kontekście inżynierii danych oraz podstawowych zadań związanych z analizą danych.

• Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT.

• Doświadczenie w pracy z dużymi zbiorami danych ustrukturyzowanych i częściowo ustrukturyzowanych.

• Znajomość koncepcji data lake oraz formatów i technologii takich jak Parquet, Delta Lake i partycjonowanie danych.

• Podstawowa znajomość Git oraz procesów CI/CD.

• Znajomość chmurowych platform danych, takich jak Microsoft Azure lub AWS, ze szczególnym uwzględnieniem Azure.

• Podstawowa znajomość statystyki, analizy danych oraz praktyk związanych z kontrolą jakości danych.

• Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności procesów przetwarzania danych.

• Dobre umiejętności komunikacyjne oraz umiejętność efektywnej współpracy z interesariuszami biznesowymi i technologicznymi.
  

Mile widziane:

• Doświadczenie w pracy z platformą Databricks.

• Udział w projektach Machine Learning oraz znajomość specyfiki przygotowywania danych na potrzeby modeli ML.

• Doświadczenie w rozwijaniu i optymalizacji rozwiązań przetwarzających duże wolumeny danych w środowisku chmurowym.

• Znajomość dobrych praktyk w zakresie testowania, monitorowania i wdrażania rozwiązań data engineering.

Oferujemy:

• Udział w projektach związanych z przetwarzaniem dużych wolumenów danych oraz rozwojem nowoczesnych rozwiązań data engineering.

• Możliwość pracy z technologiami chmurowymi, w szczególności Microsoft Azure, oraz Apache Spark.

• Współpracę przy realizacji projektów wspierających analitykę danych i rozwój rozwiązań Machine Learning.

• Pracę zdalną.

• Elastyczną formę współpracy: B2B / UZ.

• Multisport PLUS.

• Prywatną opiekę medyczną.