Data Engineer

Technologie, których używamy

Wymagane

• Python
• Rust
• Kafka
• Linux
• PostgreSQL

Mile widziane

• Docker
• Kubernetes

O projekcie

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Twój zakres obowiązków

• budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,
• projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,
• tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,
• implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,
• rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,
• integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,
• projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,
• tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,
• rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,
• współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,
• analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,
• współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,
• model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,
• budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Nasze wymagania

• doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia),
• dobra znajomość Pythona lub Rusta,
• praktyczna znajomość wektorowych baz danych, w szczególności Qdrant,
• znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych,
• doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API,
• znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub,
• dobra znajomość systemu Linux,
• znajomość relacyjnych baz danych, np. PostgreSQL,
• umiejętność projektowania i rozwijania procesów przetwarzania danych,
• samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.

Mile widziane

• doświadczenie z Docker, Kubernetes i CI/CD,
• znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub,
• znajomość Apache Airflow, Apache Spark lub Apache Beam,
• doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów,
• znajomość grafowych baz danych, np. Neo4j,
• doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG,
• znajomość FastAPI.

To oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Etapy rekrutacji

• CV
• Rozmowa wstępna
• Rozmowa techniczna
• Gotowe - działamy!

Brzmi interesująco? Aplikuj – czekamy na Twoje CV!

Scalo Sp. z o.o.

Scalo to firma, która od 18 lat tworzy oprogramowanie dla biznesu. Zrealizowaliśmy ponad 750 projektów dla firm z różnych branż – od startupów po międzynarodowe korporacje. Nasze doświadczenie pozwala nam szybko zrozumieć potrzeby klientów i dostarczyć rozwiązania, które faktycznie wspierają rozwój ich firm.

Tak się u nas pracuje