Data Engineer (K/M)

WYMAGANIA:

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli

• Bardzo dobra znajomość Python oraz SQL

• Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)

• Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)

• Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych

• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)

• Znajomość wektorowych baz danych i ich zastosowań w kontekście AI

• Doświadczenie w integracji z API

• Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)

• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Mile widziane:

• Doświadczenie w projektach wykorzystujących LLM (np. RAG)

• Znajomość narzędzi do orkiestracji danych (np. Airflow)

• Współpraca z zespołami ML / AI

• Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

ZADANIA: 

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)

• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności

• Modelowanie danych i projektowanie struktur bazodanowych

• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)

• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)

• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych

• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych

• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych

• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa