Kafka Engineer (m/k/n)

Technologie, których używamy

Wymagane

• Kafka
• Terraform
• Ansible
• AWS
• GitHub Actions
• GitLab
• Python
• Bash
• Prometheus
• Grafana
• Confluent Control Center
• OpenTelemetry
• Elastic Stack
• Jira
• Confluence

O projekcie

Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.

Projekt obejmuje:

- budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS,

- implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,

- stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,

- zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

Twój zakres obowiązków

1. Architektura i projektowanie

Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS).

Dobór i konfiguracja komponentów Confluent Platform, m.in.:

Schema Registry,

Flink,

Control Center,

Tableflow.

Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność.

2. Budowa środowiska AWS

Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud.

Konfiguracja niezbędnych usług AWS, m.in.:

VPC,

IAM,

EC2,

EKS,

S3,

KMS,

Secrets Manager.

Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.

3. Replikacja i synchronizacja danych

Implementacja i konfiguracja:

MirrorMaker 2,

Cluster Linking,

Confluent Replicator.

Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS.

Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.

Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją.

4. CI/CD i Infrastructure-as-Code

Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem:

GitHub Actions,

GitLab CI,

Jenkins.

Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich.

Implementacja Infrastructure-as-Code w Terraform:

tworzenie i utrzymywanie modułów,

wersjonowanie infrastruktury,

testowanie planów,

automatyzacja procesu apply.

Automatyzacja testów integracyjnych dla środowisk Kafka.

Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń.

5. Monitoring, observability i operacje

Implementacja i utrzymywanie monitoringu z wykorzystaniem:

Prometheus,

Grafana,

Confluent Control Center,

OpenTelemetry,

Elastic Stack.

Tworzenie i utrzymywanie:

runbooków,

alertów,

SLA/SLO.

Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy.

Optymalizacja wydajności i tuning konfiguracji Kafka.

6. Bezpieczeństwo

Konfiguracja i utrzymanie mechanizmów bezpieczeństwa:

TLS,

SASL,

ACL,

RBAC.

Implementacja szyfrowania danych w spoczynku oraz podczas transmisji.

Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury.

7. Współpraca i mentoring

Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security.

Mentoring mniej doświadczonych członków zespołu.

Prowadzenie warsztatów i dzielenie się wiedzą techniczną.

Nasze wymagania

Kafka i Confluent

Minimum 4 lata doświadczenia z Apache Kafka.

Biegła znajomość:

Confluent Platform (Enterprise),

Confluent Kafka,

Confluent Cloud.

Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.

Praktyczna znajomość:

MirrorMaker 2,

Cluster Linking,

Confluent Replicator.

AWS

Praktyczna znajomość usług:

VPC,

IAM,

EC2,

EKS,

MSK,

S3,

KMS,

AWS Secrets Manager.

Środowiska hybrydowe

Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.

Infrastructure-as-Code

Bardzo dobra znajomość Terraform, w tym:

tworzenie modułów,

zarządzanie stanem i wersjonowaniem,

testowanie infrastruktury,

Terratest,

tfsec.

Znajomość Ansible.

CI/CD

Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.

Znajomość:

GitHub Actions,

GitLab CI,

Jenkins.

Doświadczenie w automatyzacji testów integracyjnych dla Kafki.

Programowanie i scripting

Znajomość:

Python,

Bash,

Ansible.

Monitoring i observability

Doświadczenie z:

Prometheus,

Grafana,

Confluent Control Center,

OpenTelemetry,

Elastic Stack.

Bezpieczeństwo

Znajomość:

TLS,

SASL,

ACL,

RBAC,

szyfrowania danych w spoczynku,

szyfrowania danych w tranzycie.

Metodyki pracy

Doświadczenie w pracy w Scrum i/lub Kanban.

Znajomość narzędzi:

Jira,

Confluence.

To oferujemy

• Tryb pracy: Zdalnie (okazjonalne wizyty w biurze Wrocław)
• Stawka: 1000-1200 PLN/MD B2B

Etapy rekrutacji

• CV
• Introductory interview
• Technical interview

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Welcome to Upvanta, where our motto is “We Care More”.

Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.