Data Platform Engineer with Apache Druid.

Wymagania

• Praktyczne, zaawansowane doświadczenie w zakresie ingestii danych w Apache Druid oraz tworzenia rozszerzeń dla tej platformy.
• Doświadczenie w budowaniu i utrzymywaniu potoków danych opartych na Apache Kafka.
• Doświadczenie w pracy z Apache Flink lub podobnymi technologiami przetwarzania strumieniowego.
• Bardzo dobra znajomość optymalizacji zapytań MySQL oraz strojenia wydajności baz danych w środowiskach przetwarzających dane na dużą skalę.
• Doświadczenie we wdrażaniu mechanizmów wzbogacania metadanych w ramach platform danych.
• Doświadczenie w integracji i utrzymywaniu rozwiązań RBAC w wielu repozytoriach danych.
• Praktyczne doświadczenie w pracy z usługami AWS, w szczególności S3, Aurora i IAM.
• Umiejętność rozwiązywania złożonych problemów związanych z inżynierią i architekturą platform danych.
• Dobre umiejętności analityczne, rozwiązywania problemów i współpracy zespołowej.

Dodatkowe atuty:

• Doświadczenie w pracy z ClickHouse.
• Znajomość Apache Iceberg oraz architektury typu lakehouse.
• Doświadczenie z technologiami federacji zapytań, takimi jak Trino i Amazon Athena.
• Doświadczenie w pracy z dużymi platformami analitycznymi oraz integracjami w ramach nowoczesnego ekosystemu danych.

Obowiązki

• Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup.
• Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink.
• Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania.
• Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych.
• Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych.
• Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy.
• Praca z usługami AWS, w tym S3, Aurora i IAM.
• Współpraca z zespołami realizującymi szersze inicjatywy związane z platformą danych i architekturą lakehouse.

Co oferujemy

• Kontrakt B2B za pośrednictwem Devire
• Praca zdalna
• Elastyczne godziny pracy
• Możliwość skorzystania z dodatkowych benefitów – karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie.