Senior Data Engineer (Databricks & Python)

Technologies we use

Expected

• Python
• PySpark
• Spark SQL
• Delta Lake

About the project

We are looking for an experienced Senior Data Engineer to join our Labeling Data Platform team. The platform supports the collection, processing, transformation, governance, and distribution of labeling and eLabel content across multiple systems and regulatory processes.

The role will be responsible for designing, building, and operating scalable data pipelines and data products within an Azure Databricks Lakehouse environment. You will work closely with business stakeholders, labeling specialists, solution architects, developers, and data consumers to ensure high-quality, reliable, auditable, and compliant data flows supporting global labeling operations.

The ideal candidate combines strong hands-on engineering capabilities with a deep understanding of modern Azure data platforms, Databricks Lakehouse architecture, and regulated data environments.

This is how we organize our work

This is how we work

• at the client's site

Your responsibilities

• Develop and maintain data pipelines using Azure Databricks, Python, PySpark, Spark SQL, and Delta Lake.
• Design and implement solutions following the Bronze → Silver → Gold medallion architecture.
• Ingest and process data from APIs, JSON files, Azure Storage, and enterprise systems.
• Build and maintain data quality, validation, reconciliation, monitoring, and automated data testing frameworks, including data quality – rules, schema validation, and operational controls
• Optimize performance, partitioning, and scalability of data workloads.
• Implement CI/CD, automated testing, error handling, and reprocessing processes.
• Ensure traceability, auditability, reproducibility, and controlled releases for regulated data pipelines.

Our requirements

• Strong Azure Databricks engineering with Python/PySpark, Spark SQL and Delta Lake.
• Deep knowledge of the Bronze → Silver → Gold medallion architecture shown in the diagram.
• Ingestion of structured JSON/API/file data. ADLS Gen2 and Azure storage.
• Databricks Workflows/Jobs and preferably Delta Live Tables/Lakeflow where appropriate.
• Schema enforcement/evolution. Data-quality rules, validation and reconciliation.
• Data transformation and standardization. Metadata management and lineage.
• Unity Catalog/governance experience.
• API-based ingestion/export patterns.
• Handling document metadata and references to PDF/eLabel assets.
• Performance optimization and partitioning.
• CI/CD for notebooks/code and automated data tests.
• Monitoring/error handling/reprocessing.
• Experience supporting regulated data pipelines with traceability, auditability, reproducibility and controlled releases.
• Experience working in regulated environments with strong compliance and quality requirements.

Benefits

• sharing the costs of sports activities
• private medical care
• life insurance
• integration events

Recruitment stages

• Rozmowa z rekruterem ok. 15 min
• Spotkanie rekrutacyjne z klientem ok. 60 min

IT CONNECT Sp. z o.o. Sp. k.

ITConnect – Twój partner w świecie nowoczesnych kadr.

Jesteśmy polską firmą z blisko 20-letnim doświadczeniem na rynku. Nasza historia zaczęła się w 2007 roku, a dziś, dzięki dynamicznej transformacji, wspieramy nie tylko sektor IT, ale również branże takie jak inżynieryjna, budowlana, telekomunikacyjna oraz wiele innych.

W ITC wierzymy, że technologia nas łączy, ale to relacje nas budują.

Nie jesteśmy zwykłym dostawcą usług – przejmujemy operacyjne wyzwania rekrutacyjne, aby nasi klienci mogli w pełni skupić się na swojej strategii i rozwoju.

Co nas wyróżnia?

•Wszechstronność: Dostarczamy nie tylko programistów i testerów, ale także inżynierów, kierowników projektów oraz analityków biznesowych.

•Elastyczne modele współpracy: Specjalizujemy się w outsourcingu personalnym (body leasing), rekrutacjach stałych, headhuntingu oraz modelu Try&Hire.

•Podejście Human-Centric: Dla nas ludzie to nie cyferki. Stawiamy na autentyczność, wellbeing i zdrowie psychiczne naszych specjalistów, co przekłada się na ich efektywność i stabilność zespołów u naszych klientów.

•Innowacyjność i stabilność: Jesteśmy laureatem Polskiej Nagrody Innowacyjności oraz wielokrotnym zdobywcą tytułu Gazele Biznesu.

Szukasz specjalistów do swojego zespołu lub nowej ścieżki zawodowej?

Skontaktuj się z nami i sprawdźmy, co możemy wspólnie zbudować!