Data Engineer

BESKRIVELSE AV OPPDRAGET 
Bankens dataprodukter skal bygges på nytt på ny dataplattform for å flytte til moderne løsninger bedre egnet for sentralisert styring, effektiv drift, ML og AI.  Løsningen består av om lag
100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller og analyser.
Antall brukere er om lag 200.  

Moderniseringen er organisert som et prosjekt med en trinnvis implementering av virksomhetsprosesser. Prosjektet vil forvalte produksjonssatte løsninger i på ny dataplattform
i prosjektperioden etter prinsippet «You build it, you run it». Dagens og ny dataplattform vil
leve i parallell mens dagens plattform gradvis fases ut.  Det vil være behov for integrasjoner mellom nye og eksisterende løsning i denne perioden.

Til Ny data- og analyseplattform (NDP) har Norges Bank behov for bistand fra en konsulent
i rollen som Data Engineer. Rollen skal bidra til å sikre stabil, sikker og skalerbar drift
av plattformen gjennom teknisk arbeid med datainfrastruktur, produksjonssetting, automatisering, overvåking, feilhåndtering og datakvalitet.

Rollen er operativ og teknisk. Du vil eierskap for tekniske prosesser samt arbeide hands-on
med feilsøking, kode og automatisering, samtidig som du samarbeider tett med leveranseteam, sluttbrukere, plattformteam og Data Governance om drift og videreutvikling av plattformen.

ANSVAR OG OPPGAVER

Som Data Engineer vil du blant annet:

• Bidra til standardisering og beste praksis for utvikling, produksjonssetting, observability
  og drift av datapipelines på tvers av leveranseteamene.

• Utvikle og videreutvikle felles rammeverk, biblioteker, maler og verktøy som gjør det enklere for leveranseteamene å bygge robuste, skalerbare og forvaltbare dataløsninger, samt verktøy for å støtte self-service/mesh-arkitektur for sluttbrukere. 

• Eie og videreutvikle driftsprosessen for dataplattformen, inkludert ansvarsfordeling, hendelseshåndtering, eskalering og kontinuerlig forbedring.

• Etablere og videreutvikle overvåking, logging, metrics og alerting, slik at feil og avvik oppdages tidlig og kan håndteres effektivt.

• Bidra til videreutvikling og operasjonalisering av bankens AI-strategi for dataplattformen,
  i samarbeid med relevante fagmiljøer innen plattform, sikkerhet, arkitektur
  og Data Governance.

• Bidra til å utvikle og implementere bankens retningslinjer for bruk av AI i utvikling,
  drift og analytisk arbeid, herunder krav til databehandling, tilgangsstyring, sporbarhet, kvalitetssikring og menneskelig kontroll.

• Evaluere, innføre og videreutvikle godkjente AI-baserte støtteverktøy for blant annet kodeutvikling, testing, dokumentasjon og feilsøking, samt etablere prosedyrer og maler
  for bruken.

• Etablere automatiserte kontroller og kvalitetssikring av AI-generert kode og konfigurasjon før produksjonssetting, i tråd med bankens sikkerhetskrav og godkjenningsprosesser.

• Identifisere og prøve ut relevante bruksområder for AI i utvikling og drift av dataplattformen, og vurdere nytte, kvalitet, risiko og kostnader før eventuell innføring.

• Definere, følge opp og forbedre sentrale mål for reliability og datakvalitet, som data freshness, completeness, correctness, tilgjengelighet, batchsuksessrate og MTTR.

• Automatisere operative oppgaver og utvikle løsninger som reduserer operasjonell risiko
  og behovet for manuell oppfølging.

• Utvikle robuste mekanismer for retry, restart, recovery og håndtering av avhengigheter
  og feil i datapipelines.

• Bidra til utvikling og forbedring av CI/CD, deployment og releaseprosesser
  for datapipelines og øvrige komponenter på dataplattformen.

• Oppdage og klassifisere produksjonshendelser, varsle riktig leveranseteam og eie koordineringen av hendelsesprosessen fra oppdagelse til avslutning.

• Lede postmortems og følge opp at læring og korrigerende tiltak omsettes i forbedringer
  av plattformen, felles rammeverk og arbeidsprosesser, slik at risikoen for tilsvarende hendelser reduseres.

• Analysere og forbedre ytelse, skalerbarhet, ressursbruk og kostnader i Databricks og Azure.

• Dokumentere felles rammeverk, tekniske avhengigheter, driftsrutiner, feilsøkingsprosedyrer og runbooks.

• Samarbeide tett med leveranseteam, plattformteam, Data Governance
  og andre fagmiljøer for å sikre robuste og forvaltbare løsninger.

HOVEDKVALIFIKASJONER OG FERDIGHETER

Kompetanser

• Erfaring med utvikling, videreutvikling og drift av dataplattformer, datapipelines
  eller datainfrastruktur som brukes i produksjon.

• God erfaring med Azure og Databricks, eller tilsvarende skybaserte data- og analyseplattformer.

• God forståelse av distribuerte databehandlingsprosesser, batch-prosessering,
  schedulering, avhengigheter og feilhåndtering.

• Praktisk erfaring med programmering og scripting, fortrinnsvis Python og SQL.
  Erfaring med gode prinsipper for strukturert kode og automatisert testing.

• Erfaring med overvåking og observability, eksempelvis Grafana, Azure Monitor, Prometheus eller tilsvarende.

• Erfaring med logging, metrics, alerting og praktisk feilsøking av produksjonsproblemer.

• Erfaring med CI/CD, automatiserte deployments og versjonskontroll.

• Erfaring med Infrastructure as Code og automatisering av infrastruktur og driftsoppgaver.

• God forståelse av prinsipper for robusthet, skalerbarhet, tilgjengelighet og operasjonell kvalitet i produksjonssystemer.

Ønskelige kompetanser

• Erfaring med Azure-tjenester knyttet til dataplattformer, eksempelvis
  Azure Data Factory, Azure Storage, Azure SQL/PostgreSQL, Azure Monitor og Entra ID.

• Erfaring med Databricks Workflows/Jobs, Parquet, Delta Lake og Spark.

• Erfaring med Terraform eller tilsvarende Infrastructure as Code-verktøy.

• Erfaring med Azure DevOps, GitHub Actions eller tilsvarende verktøy for CI/CD
  og arbeidsflyt.

• Praktisk erfaring med AI-baserte utviklings- og støtteverktøy, inkludert kvalitetssikring
  av AI-generert kode, testing og integrasjon i etablerte utviklingsprosesser.

• Erfaring med å omsette AI-strategi og retningslinjer til tekniske kontroller,
  prosedyrer og arbeidsprosesser, gjerne i regulerte miljøer.

• Forståelse av risiko ved bruk av AI, herunder eksponering av sensitive data,
  feilaktige resultater og behov for sporbarhet og menneskelig kontroll.

• Erfaring med etablering og oppfølging av SLI, SLO og SLA for produksjonstjenester.

• Kjennskap til Site Reliability Engineering/Data Reliability Engineering og prinsipper som automatisering, error budgets, toil reduction, observability og blameless postmortems.

• Erfaring fra regulerte eller samfunnskritiske miljøer, eksempelvis finans, forsikring
  eller offentlig sektor.

• Kjennskap til DORA, ITIL eller tilsvarende rammeverk for operasjonell styring
  og hendelseshåndtering.

• Erfaring med datakvalitet, validering og automatisert kontroll av data.

• Kjennskap til ServiceNow eller tilsvarende verktøy for incident- og change management.

• Erfaring med tidsserier, statistikk eller andre datatyper og analyseområder
  som er relevante for sentralbankvirksomhet.

Utdanning

• Relevant høyere utdanning, fortrinnsvis mastergrad, innen datateknologi, informatikk, matematikk, statistikk eller tilsvarende. Relevant erfaring kan kompensere for formell utdanning.

PERSONLIGE EGENSKAPER

• Lagspiller som samarbeider godt med utviklere, plattformressurser, data engineers
  og andre fagmiljøer.

• Løsningsorientert og analytisk, med evne til å identifisere årsaken til komplekse
  tekniske problemer.

• Strukturert og i stand til å prioritere og arbeide effektivt ved produksjonshendelser
  og tidssensitive leveranser.

• Tar eierskap til problemer og følger dem gjennom fra identifisering til varig løsning.

• God erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder.

• Bruker- og produktorientert, med forståelse for at stabilitet, datakvalitet
  og forutsigbarhet er sentrale deler av produktet.

• Gode kommunikasjonsferdigheter på norsk og engelsk, både muntlig og skriftlig.

LOKASJON
Norges Bank, Bankplassen 2, Oslo

VARIGHET PÅ OPPDRAGET (OG OPSJONER)
Oppdragets varighet er fra snarest mulig etter tildeling, og til 31.12.2027. Norges Bank forbeholder seg rett til å forlenge oppdraget med 6 måneder + 6 måneder + 6 måneder. 

Intern søknadsfrist: 7,10