Dataengineers

BESKRIVELSE AV OPPDRAGET

Dagens dataplattformer skal moderniseres ved at det etableres en ny dataplattform i skyen (Azure) i perioden 2024 til 2028. Dagens løsninger skal bygges på nytt på den nye dataplattformen for å unngå å videreføre teknisk gjeld og datagjeld. Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller, statistikk og analyser.

Antall brukere er om lag 200.

Moderniseringen er organisert som et prosjekt med trinnvis implementering av virksomhetsprosesser. Prosjektet vil forvalte produksjonssatte løsninger på ny

dataplattform gjennom prosjektperioden etter prinsippet «You build it, you run it».

Dagens og ny dataplattform vil leve parallelt mens eksisterende løsninger gradvis fases ut.

Hovedplattformen bygges på Azure med Databricks som sentral plattform for databehandling, analyse og maskinlæring. Plattformen skal understøtte moderne analyse- og AI-arbeidsformer, inkludert selvbetjente analyseverktøy, notebooks, AI-assistenter og ML-løsninger for utviklere, analytikere og fagbrukere.

AI og maskinlæring er sentrale satsingsområder. Plattformen skal legge til rette for effektiv bruk av moderne AI-verktøy som Copilot, Claude og tilsvarende løsninger, både som støtte for

utvikling og som verktøy for analyse, innsikt og beslutningsstøtte.

ANSVAR OG OPPGAVER

Vi har behov for en til to Data Engineers. Som Data Engineer vil du ha fokus

på det tekniske arbeidet i tillegg til å jobbe med brukere av data. Du vil jobbe med

• Innhente data fra eksterne og interne datakilder (Azure Data Factory, Python m.m.)

• Standardisere dataintegrasjoner (filbasert, SQL, API etc,)

• Vaske, bearbeide og klargjøre data (Python)

• Tilgjengeliggjøre data i henhold til medaljong- og lakehouse-arkitektur

• Sørge for teknisk kvalitet på data.

• Modellere data

• Veilede og samarbeide med brukere av dataene

HOVEDKVALIFIKASJONER OG FERDIGHETER

Kompetanser

• Minimum 3 års erfaring, ønskelig med kandidater med 5+ år,

• innen data engineering og moderne skybaserte dataplattformer.

• Utviklingsmetodikk og rammeverk for data engineering.

• Datamodellering - relasjonsmodeller, stjerneskjema, fakta og dimensjoner o.l.

• Historisering / versjonering av data.

• Database/tabell/schema administrasjon.

• Erfaring med CI/CD, versjonskontroll og strukturerte utviklingsløp.

• God kompetanse i Python for databehandling, integrasjoner, testing og automatisering.

• God erfaring med Databricks, Delta Lake, Spark og kolonnebaserte lagringsformater

• som Parquet, inkludert ytelsesoptimalisering og kostnadseffektiv databehandling, samt design og implementering av lakehouse-, data warehouse- eller medallion-arkitekturer.

• Erfaring med tidsseriedata og behandling av store datamengder på moderne kolonnebaserte plattformer som Databricks, Snowflake eller BigQuery. God forståelse

• av hvordan lagringsformat som Parquet og Delta Lake påvirker ytelse, partisjonering, komprimering og spørringsoptimalisering.

• Forståelse av statistiske metoder og maskinlæring for analyse av tidsserier,

• eksempelvis økonomiske indikatorer, markedsdata eller andre observasjoner over tid.

• Aktiv bruk av AI-assistenter som GitHub Copilot, Claude Code eller tilsvarende i utviklingsarbeid.

• Rollen samarbeider tett med Data Reliability Engineering-teamet om etablering av standarder, automatisering, observability, AI-støttet utvikling og kontinuerlig forbedring

• av plattformen.

• Vi ønsker kandidater som aktivt benytter moderne AI-verktøy i utviklingsarbeidet

  og som ønsker å bidra til økt AI-kompetanse blant både utviklere og sluttbrukere.

• Evne å omforme brukerbehov til teknisk løsninger som skaper verdi.

• Erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder

• Erfaring med Git-basert utvikling og CI/CD-pipelines i Azure DevOps eller GitHub Actions.

• Erfaring med DataOps-prinsipper, automatisert testing og monitorering av datapipelines

  er en fordel.

Ønskelige kompetanser

• Skyteknologi fortrinnsvis Azure

• Databricks

• Behersker Python og SQL Godt

• Airflow/Dagster/Prefect for orkestrering eller tilsvarende.

• Azure Data Factory

• AI-verktøy - Claude Code, Copilot o.l.

• Azure DevOps/GitHub

Bonus med forståelse av

• Agent-baserte løsninger

• MCP

• AI governance

• AI for analysebrukere

Utdanning

Utdanning (fortrinnsvis master) innen datateknologi eller lignende retninger

Personlige egenskaper

• Lagspiller

• Løsningsorientert

• God erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder

• Bruker-/produktorientert

LOKASJON

Norges Bank, Bankplassen 2, Oslo

VARIGHET PÅ OPPDRAGET (OG OPSJONER)

Oppdragets varighet er fra snarest mulig etter tildeling, og til 31.12.2028

Norges Bank forbeholder seg rett til å forlenge oppdraget med 6 måneder + 3 måneder.

Intern søknadsfrist: 20.10