
DOZ S.A. · Warszawa
Analytics Engineer (m/k/os)
MidInżynieria danych / PythonMin. 3 lata doświadczeniaStacjonarnie
W skrócie
zdania wybrane z oferty- Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
- Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
- Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
Technologie
Wymagane
Mile widziane
Apache Spark
Pełny opis
z pracuj.plTechnologie, których używamy
Wymagane
- Python
- SQL
- Databricks
- PyTorch
Mile widziane
- Apache Spark
Twój zakres obowiązków
- Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
- Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
- Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
- Tworzenie reużywalnych komponentów i bibliotek w Pythonie, które standaryzują procesy ETL/ELT
- Zarządzanie infrastrukturą Azure w Terraform, w tym AKS, zasobami Databricks, bazami danych i siecią
- Konteneryzacja aplikacji i procesów danych (Docker) oraz ich orkiestracja i skalowanie na Kubernetes
- Budowa w pełni zautomatyzowanych procesów CI/CD (Azure DevOps / GitHub Actions) dla Kubernetes i Databricks
- Wdrażanie podejścia „Everything as Code”: kod, testy, Dockerfile, manifesty K8s i Terraform wersjonowane w Git
- Projektowanie systemów monitorowania, logowania i alertowania oraz observability (np. OpenMetadata)
- Optymalizacja wydajności i kosztów procesów na Azure i Databricks
- Współpraca z zespołami Data Engineering, Data Science i BI oraz mentoring w zakresie praktyk DataOps
Nasze wymagania
- Min. 3 lata doświadczenia w obszarze Data Engineering, DataOps lub DevOps dla danych
- Bardzo dobra znajomość Pythona (kod produkcyjny, tworzenie bibliotek) oraz SQL
- Praktyczne doświadczenie z Databricks i PySpark, w tym Delta Lake
- Doświadczenie z usługami chmury Azure
- Znajomość Terraform i podejścia Infrastructure as Code
- Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS)
- Doświadczenie w budowie pipeline’ów CI/CD (Azure DevOps lub GitHub Actions) oraz biegła praca z Git
- Doświadczenie z narzędziami do orkiestracji (Dagster, Airflow lub podobne)
- Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną
Mile widziane
- Doświadczenie z Apache Kafka i Change Data Capture (Debezium)
- Znajomość narzędzi observability i katalogowania danych (OpenMetadata, Prometheus, Grafana)
- Doświadczenie z Unity Catalog
- Certyfikaty Databricks lub Microsoft Azure
- Doświadczenie w branży retail lub e-commerce
To oferujemy
- 👩💻 ambitną pracę, w której nie sposób się nudzić
- 🔏możliwość dołączenia do dobrego ubezpieczenia grupowego na preferencyjnych warunkach, które zapewni poczucie bezpieczeństwa Tobie i Twoim bliskim
- 🩺prywatną opiekę medyczną dzięki, której będziesz miał możliwość skonsultowania się ze specjalistami na trenie całego kraju
- 💉akcje profilaktyczne dzięki którym chcemy zadbać o Twoje zdrowie!
- ☕pyszną kawę w miłym towarzystwie współpracowników
- 📉zniżki oraz karty rabatowe na wybrane produkty
- 💪karty sportowe dzięki którym zadbasz o swoje dobre samopoczucie
- 👼udział w akcjach CSR, bo lubimy pomagać
- 🤝regularny feedback, który pomoże rozwijać Twoje kompetencje
- Udział w akcjach CSR (np. akcje charytatywne)
Benefity
- umowa o pracę
- atrakcyjny system premiowy
- dofinansowanie do karty sportowej
- akcje profilaktyczne, programy prozdrowotne
- dofinansowanie zajęć sportowych
- prywatna opieka medyczna
- dofinansowanie szkoleń i kursów
- ubezpieczenie na życie
- zniżki na firmowe produkty i usługi
- brak dress code’u
- wyprawka dla dziecka
- wyprawka szkolna
Tak się u nas pracuje
Treść ogłoszenia pochodzi z pracuj.pl i należy do jego autora.
Historia oferty
bez zmian od publikacji- Pojawiła się też na justjoin.it
Ta sama oferta, możesz aplikować przez oba portale.
- Opublikowana na pracuj.pl