Senior Azure Data Engineer

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.

Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.

Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Senior Azure Data Engineer. 

Zakres obowiązków:

• Długofalowa współpraca z polską firmą consultingową, realizującą projekty IT dla klientów krajowych jak i międzynarodowych, z różnych branż.

• Dla klienta realizującego projekt z branży lotniczej poszukujemy Senior Data Engineer'a do zespołu rozwijającego skalowalną platformę danych wspierającą predykcyjne utrzymanie silników lotniczych. Projekt koncentruje się na przetwarzaniu dużych wolumenów danych, budowie pipeline’ów danych oraz optymalizacji platformy opartej o Microsoft Azure, Databricks, Apache Spark, Python i SQL.

• Stack i koncepcje: Microsoft Azure, Azure PaaS, Databricks, Apache Spark/PySpark, Python, SQL, Terraform, Databricks, Asset Bundles, ETL/ELT.

• Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych w Azure Databricks, Apache Spark, Python i SQL.

• Projektowanie i wdrażanie procesów CI/CD dla środowiska Databricks z wykorzystaniem narzędzi Azure, Terraform oraz Databricks Asset Bundles.

• Przetwarzanie i transformacja dużych wolumenów danych operacyjnych i technicznych.

• Rozwój oraz optymalizacja procesów ETL/ELT.

• Praca z usługami Azure odpowiedzialnymi za przetwarzanie i przechowywanie danych.

• Optymalizacja wydajności procesów opartych o Apache Spark.

• Implementacja mechanizmów walidacji danych oraz kontroli jakości.

• Współpraca z Data Engineerami, Tech Leadami oraz pozostałymi interesariuszami projektu.

• Analiza wymagań biznesowych i technicznych oraz przekładanie ich na rozwiązania data engineering.

• Rozwój i utrzymanie istniejącej platformy danych.

• Rozwiązywanie problemów związanych z przetwarzaniem danych i stabilnością pipeline’ów.

• Tworzenie oraz aktualizacja dokumentacji technicznej.

Oczekujemy:

• Minimum 7 lat doświadczenia w IT, w tym 5 jako Azure Data Engineer. 

• Doświadczenie komercyjne w obszarze Data Engineering.

• Bardzo dobra znajomość Databricks.

• Doświadczenie w pracy z Apache Spark / PySpark.

• Doświadczenie w projektach związanych z przetwarzaniem Big Data.

• Bardzo dobra znajomość Python.

• Bardzo dobra znajomość SQL.

• Doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT.

• Doświadczenie z usługami Azure związanymi z przetwarzaniem i przechowywaniem danych.

• Doświadczenie we wdrażaniu CI/CD dla aplikacji Databricks.

• Znajomość Terraform i/lub Databricks Asset Bundles.

• Znajomość standardów i narzędzi wykorzystywanych w przetwarzaniu Big Data.

• Znajomość języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku.

• Mile widziana dostępność ASAP; akceptowalny jest okres maksymalnie 30 dni kalendarzowych od decyzji. 

• Mile widziane: Wykształcenie wyższe w obszarze Computer Science, Data Engineering, matematyki lub kierunków pokrewnych; Doświadczenie w projektach związanych z predykcyjnym utrzymaniem, IoT lub przetwarzaniem danych technicznych; Doświadczenie w projektach z branży lotniczej.

Oferujemy:

• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.

• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. 

• Sprawny proces rekrutacyjny - 1. Rozmowa z HR i weryfikacja języka (przez zewnętrzny podmiot), 2. Rozmowa techniczna z udziałem Team Leadera. Oba etapy online, maksymalnie po godzinie. 

• Współpraca w pełni zdalna.

• Benefity - prywatna opieka medyczna, karta Multisport. 

• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.