Kafka Engineer

Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.

Projekt obejmuje:

• budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS,

• implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,

• stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,

• zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

Zakres obowiązków

1. Architektura i projektowanie

• Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS).

• Dobór i konfiguracja komponentów Confluent Platform, m.in.:

  • Schema Registry,

  • Flink,

  • Control Center,

  • Tableflow.

• Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność.

2. Budowa środowiska AWS

• Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud.

• Konfiguracja niezbędnych usług AWS, m.in.:

  • VPC,

  • IAM,

  • EC2,

  • EKS,

  • S3,

  • KMS,

  • Secrets Manager.

• Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.

3. Replikacja i synchronizacja danych

• Implementacja i konfiguracja:

  • MirrorMaker 2,

  • Cluster Linking,

  • Confluent Replicator.

• Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS.

• Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.

• Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją.

4. CI/CD i Infrastructure-as-Code

• Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem:

  • GitHub Actions,

  • GitLab CI,

  • Jenkins.

• Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich.

• Implementacja Infrastructure-as-Code w Terraform:

  • tworzenie i utrzymywanie modułów,

  • wersjonowanie infrastruktury,

  • testowanie planów,

  • automatyzacja procesu apply.

• Automatyzacja testów integracyjnych dla środowisk Kafka.

• Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń.

5. Monitoring, observability i operacje

• Implementacja i utrzymywanie monitoringu z wykorzystaniem:

  • Prometheus,

  • Grafana,

  • Confluent Control Center,

  • OpenTelemetry,

  • Elastic Stack.

• Tworzenie i utrzymywanie:

  • runbooków,

  • alertów,

  • SLA/SLO.

• Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy.

• Optymalizacja wydajności i tuning konfiguracji Kafka.

6. Bezpieczeństwo

• Konfiguracja i utrzymanie mechanizmów bezpieczeństwa:

  • TLS,

  • SASL,

  • ACL,

  • RBAC.

• Implementacja szyfrowania danych w spoczynku oraz podczas transmisji.

• Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury.

7. Współpraca i mentoring

• Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security.

• Mentoring mniej doświadczonych członków zespołu.

• Prowadzenie warsztatów i dzielenie się wiedzą techniczną.

Wymagania techniczne – must-have

Kafka i Confluent

• Minimum 4 lata doświadczenia z Apache Kafka.

• Biegła znajomość:

  • Confluent Platform (Enterprise),

  • Confluent Kafka,

  • Confluent Cloud.

• Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.

• Praktyczna znajomość:

  • MirrorMaker 2,

  • Cluster Linking,

  • Confluent Replicator.

AWS

Praktyczna znajomość usług:

• VPC,

• IAM,

• EC2,

• EKS,

• MSK,

• S3,

• KMS,

• AWS Secrets Manager.

Środowiska hybrydowe

• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.

Infrastructure-as-Code

• Bardzo dobra znajomość Terraform, w tym:

  • tworzenie modułów,

  • zarządzanie stanem i wersjonowaniem,

  • testowanie infrastruktury,

  • Terratest,

  • tfsec.

• Znajomość Ansible.

CI/CD

• Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.

• Znajomość:

  • GitHub Actions,

  • GitLab CI,

  • Jenkins.

• Doświadczenie w automatyzacji testów integracyjnych dla Kafki.

Programowanie i scripting

• Znajomość:

  • Python,

  • Bash,

  • Ansible.

Monitoring i observability

• Doświadczenie z:

  • Prometheus,

  • Grafana,

  • Confluent Control Center,

  • OpenTelemetry,

  • Elastic Stack.

Bezpieczeństwo

• Znajomość:

  • TLS,

  • SASL,

  • ACL,

  • RBAC,

  • szyfrowania danych w spoczynku,

  • szyfrowania danych w tranzycie.

Metodyki pracy

• Doświadczenie w pracy w Scrum i/lub Kanban.

• Znajomość narzędzi:

  • Jira,

  • Confluence.