erfaringsrapport justis- og …...erfaringsrapport justis- og beredskapsdepartementet...

Erfaringsrapport Justis- og beredskapsdepartementet Deponeringsprosjektet

Stiftelsen Asta gjennomførte fra høsten 2015 til våren 2017 et deponeringsprosjekt for Justis- og

beredskapsdepartementet (JD). Dokumentet berører ulike problemstillinger vi møtte under

deponeringsprosjektet, og er en oppsummering av utviklings- og prosjektarbeidet som ble utført.

Noen av problemstillingene i rapporten er generelle, andre igjen er spesielle for JD. Vi har også gitt

plass til en presentasjon av vårt uttrekksverktøy Asta Mapper.

INNHOLDSFORTEGNELSE

Innhold

Innledning ________________________________________________________________________________________________ 1

Bakgrunn for prosjektet _________________________________________________________________________________ 4

Arkivene som inngår _____________________________________________________________________________________ 4

Ekstraordinære hendelser _______________________________________________________________________________ 6

Generelle problemstillinger ved deponering ___________________________________________________________ 6

Eldre arkiver: Veien fra Noark 3 til Noark 4 til Noark 5 _______________________________________________ 7

De mest sentrale problemstillingene ___________________________________________________________________ 7

Oppsummering _________________________________________________________________________________________ 11

Asta Mapper ____________________________________________________________________________________________ 13

Generelt om uttrekksprosjekter _______________________________________________________________________ 18

Vedlegg __________________________________________________________________________________________________ 21

INNLEDNING

1

Innledning Det mangler ikke på overskrifter, analyser og oversikter. Det er krise!

På konferanser og seminarer blir dimensjonene på problemet diskutert, og det er full

enighet: Manglende uttrekk til arkivversjon er et samfunnsproblem som bare vokser.

Konsekvensene er potensielt store. Papirene, de er vi flinke til å ordne og ta vare på.

Arkivverkets magasiner er fulle, og listen over dem som vil deponere er lang. Hvorfor

skjer ikke det samme med de elektroniske arkivene? Hvorfor er veien fra ord til handling

så mye lengre for de elektroniske arkivene?

Det er ikke veldig lenge siden digital saksbehandling og arkivering ble innført:

Tidslinje for elektronisk arkiv, uttrekk og deponering

BakgrunnDigital saksbehandling og arkivering innføres

Problemer i Riksarkivet med mottak av deponeringer

Arbeid med ASTA MAPPER igangsettes

Inntaksstopp – midlertidig for digitale arkiver (!)

ASTA MAPPER ferdigstilles

INNLEDNING

2

Hvorfor uttrekk?

Arkiv-Norge har i 2017 et stort etterslep på uttrekk av elektroniske arkiver:

Noe av forklaringen på etterslepet, ligger i tilgangen til kompetanse og verktøy. Som det

går frem av neste kapittel, hadde JD gjort flere forsøk på deponering tidligere. Det sto ikke

på viljen. Men når regningen til konsulenten er betalt og uttrekkene kommer i retur fra

Arkivverket, blir det stadig vanskeligere å overbevise om at det skal bevilges penger til

nye forsøk. I første del av dette dokumentet går vi gjennom hvordan vi løste et svært

krevende uttrekksprosjekt ved hjelp av Asta Mapper.

Lys i sikte

Forståelsen for og kunnskapen om hvordan vi skal løse problemene med etterslepet på

uttrekk er heldigvis økende. Arkivverket har tatt flere gode grep i den senere tid.

Konseptutredningen MAVOD (Modernisering av ArkivVedlikehold og Overføring til

Depot) og nyutviklingen av testverktøyet Arkade, lover godt.

I Stiftelsen Asta har vi arbeidet med uttrekk i en årrekke. Vi kjenner de praktiske

detaljene og utfordringene i uttrekksprosjekter. Andre del av dette dokumentet

presenterer uttrekksverktøyet Asta Mapper nærmere.

Avgrensning Det vi i stiftelsen er opptatt av er den veien dataene og dokumentene må ta, fra systemet

der de ble skapt, frem til et utrekk (arkivpakke) som kan testes av depot. Vi har liten eller

ingen inflytelse på systemvalg, implementering og bruk. Vi arbeider for det meste med

data som ble skapt i perioden 1985-2010. Vi forholder oss til, men har liten eller ingen

INNLEDNING

3

innflytelse på standarder som defineres, testkriterier for mottak av arkivpakker eller

hvordan disse behandles i etterkant av deponering. Vårt anliggende med Asta Mapper er

data- og dokumenters integritet fra database til arkivpakke.

Tre erkjennelser Til grunn for utviklingen av Asta Mapper og vårt arbeid i uttrekksprosjekter ligger det tre

erkjennelser:

1. Alle arkiver må ordnes.

Der det er mennesker oppstår det feil og avvik. Et verktøy for utrekk fra

elektroniske arkivbaser må ha en strukturert metode for analyse, testing og

korrigering av disse avvikene. All data- og dokumentbehandling i

uttrekksprosessen må dokumenteres.

2. Vi kommer ikke utenom «transformasjon».

Dataene skapes i mange forskjellige databaser. Det er en rekke

systemleverandører og teknologier som anvendes i arkivdanningen. Disse mange

skal bli til ett bevaringsformat. Dette gjelder også for dokumentene, som må

konverteres til arkivformat. Vi kommer ikke utenom at data lagret på forskjellige

språk, med forskjellige uttrykk i en rekke forskjellige strukturer, må oversettes til

en felles standard. Håndtering av denne transformasjonen er utgangspunktet for

utviklingen av Asta Mapper og kjernen i produktet.

3. Vi må ha kontroll på prosessen.

Vi må vite og kunne etterprøve hva som skjer med data- og dokumenter hele veien

fra systemet der de er skapt til ferdig arkivpakke. Prosessen må være generell,

altså kunne anvendes på forskjellige arkiver uavhengig av systemleverandør eller

standarder for arkivdanning (noark). Som konsekvens kan vi ikke bruke

arkivsystemenes funksjonalitet. Denne er spesiell for hvert system og vi vet ikke

konkret hvordan den virker. Av samme grunn må vi begrense bruken av 3-

partsverktøy mest mulig. Kontroll på prosessen innebærer også at den er

tilgjengelig for arkiveier. All data- og dokumentbehandling må derfor kunne

presenteres i grafiske brukergrensesnitt og/eller rapporteres ut i f.eks. excel

format.

BAKGRUNN FOR PROSJEKTET

4

Bakgrunn for prosjektet JD har en del eldre arkiver fra tidlig 90-tall og frem til 2009, som av både ukjente og ulike

årsaker ikke var blitt deponert. Det er snakk om 6 arkiver. Disse er:

• skapt i ulike arkivsystemer med ulike leverandører

• skapt i henhold til ulike versjoner av Noark-standarden

• skapt over en svært lang tidsperiode

Metadataene i disse arkivdatabasene bærer preg av å ha gjennomlevd flere

systemversjoner og konverteringer. Det er til dels mye feil og mangler i datagrunnlaget

både sett i forhold til en Noark 4- og Noark 5-deponering. I tillegg ble prosjektet samkjørt

med et pågående prosjekt for å rydde og ordne det såkalte ‘Konteinerarkivet’. Det vil si

saker, journaler og dokumenter som ble påvirket av terrorangrepet mot regjeringsbygget

2011.

Tidligere deponeringsforsøk

De eldste av arkivbasene ble forsøkt deponert i juli 2004. Etter mye frem og tilbake ble

dette gitt opp eller avbrutt i desember 2005.

Det nyeste arkivet; perioden 2004-2009, ble forsøkt deponert i januar 2010. Dette

prosjektet ble også gitt opp eller avbrutt i 2012.

[Her kunne man kanskje ha kommet i mål. Papirarkivet ble imidlertid skadet under

terroranslaget 2011. I 2011/2012 ble det i tillegg innført nytt arkivsystem fra en ny

leverandør i Justis- og beredskapsdepartementet. Dette kan ha vært medvirkende årsaker til

at deponeringsprosjektet ble gitt opp den gangen].

Raskt oppsummert hadde vi her en rekke forutsetninger for å mislykkes med en deponering.

Arkivene som inngår Arkivene som inngikk i deponeringen:

• Arkiv 1 1994-1998

• Arkiv 2 1994-1998

• Arkiv 3 1994-1998

• Arkiv 4 1995-1999

• Fellesjournalen 1991-2003

ARKIVENE SOM INNGÅR

5

• Sakarkivet 2004-2009

Arkivenes omfang

Arkivene som ble deponert var svært ulike i omfang:

• Fra i underkant av 4.000 til i overkant av 130.000 saker

• Fra 11.000 til i overkant av 598.000 journalposter

• Fra 0 til i overkant av 430.000 dokumenter

Kort om det enkelte arkiv:

Arkiv Beskrivelse Periode

Fellesjournalen Arkivet er det største arkivet når det gjelder antall

journaler, går fra 1991 og frem til 2003 – og har de

eldste dataene. Dette arkivet er skapt i DocuLive og

siden konvertert til historisk base i WebSak.

Her fikk Asta Mapper grundig teste kapasitetsevnen mot

håndtering av store mengder metadata.

(Saker: 130.045, Journaler: 598.482, Dokumenter:

11.792).

1991-

2003

Arkiv 1-4 4 av arkivene (kun journaler) er skapt i Forum WinSak i

perioden 1994-1999, en Noark 3-løsning fra Ergo

Pharma. Arkivene ble konvertert inn i DocuLive før de

siden ble konvertert over i historisk arkiv i WebSak. I

disse tilfellene har vi da data som er skapt i ett system,

konvertert til et annet og konvertert til et tredje system

før dataene deponeres.

Her fikk Asta Mapper teste funksjonaliteten rundt

håndtering av manglende metadata i postene med

avledninger og registreringer basert på data oppgitt av

arkiveier.

1994-

1999

Sakarkiv Arkivet er størst når det gjelder digitale dokumenter.

Her fikk Asta Mapper grundig teste kapasitetsevnen mot

håndtering av store mengder dokumenter og

formatkonverteringer med jobber som kunne ta opp

2004-

2009

EKSTRAORDINÆRE HENDELSER

6

mot en uke å kjøre ferdig. (Saker: 57.000, Journaler:

280.000, Dok: 430.000). Arkivet ble i tillegg skadet

under terroranslaget 2011. Dette ga ulike

problemstillinger med håndtering av dokumentene.

Ekstraordinære hendelser Det ene av disse arkivene ble skadet i

terrorangrepet i Regjeringskvartalet 22.

juli 2011. Dette arkivet var i

utgangspunktet digitalt, men ikke helt

oppdatert.

Papirarkivet ble utsatt for både

eksplosjonen og det påfølgende

sluknings- og rivningsarbeidet i

etterkant før det ble sikret og lagt i noen

kontainere (blant annet fordi man

mistenkte at asbeststøv hadde

forurenset materialet). I ettertid er

dette arkivet blitt kalt

‘Konteinerarkivet’. Hva gjør man når

deler av papirarkivet egentlig tilhørte

det elektroniske arkivet?

Som vi skal komme tilbake til ga dette

en del problemstillinger å jobbe med

under deponeringsarbeidet.

Generelle problemstillinger

ved deponering De generelle problemstillinger ved

deponering er i høy grad gjeldende også

for arkivene til Justis- og

beredskapsdepartementet.

I mange tilfeller kan vi likevel fylle ut manglende

metadata gjennom avledning. Den obligatoriske

informasjon som for eksempel ‘registrert av’,

‘saksbehandler’, og liknende viste seg ofte å mangle.

Tidligere brukere er ofte er fjernet fra registeret ved

uttrekkstidspunktet. Hvis Noark 5 krever at den aktuelle

verdien skal være med i deponeringen, kan vi ‘avlede’

denne fra et overliggende - og logisk relatert metadata

for saken – for eksempel navnet på ansvarlig enhet eller

til sist navnet på arkiveier. Hvis det ikke finnes noe

informasjon å avlede eller registrere, settes det f.eks.

‘Ikke angitt’ som verdi og på den måten får saken

igjennom – det er tross alt bedre enn å forkaste hele

saken basert på et (mer eller mindre viktig) manglende

informasjonselement.

I andre tilfeller må vi endre data for at uttrekket skal bli

konsistent. Et eksempel kan være i de tilfeller det ikke

ligger et hoveddokument på saken – noe Arkivverkets

kontroller krever. Da kan f. eks. korreksjonsrutinen gå

inn og endre det første dokumentet i rekken av

dokumenter til å bli et hoveddokument slik at saken kan

la seg deponere.

Det mest klassiske tilfellet vi har når det gjelder å

korrigere data på eldre arkivuttrekk, er å avslutte

sakene maskinelt (sette status). Dette burde selvfølgelig

vært gjort av brukerne når saken egentlig var

ferdigbehandlet, men av ulike årsaker blir sakene ofte

liggende uten å bli avsluttet...

NB: Feil i data som er registrert av bruker blir ikke

korrigert.

ELDRE ARKIVER: VEIEN FRA NOARK 3 TIL NOARK 4 TIL NOARK 5

7

Eldre arkiver: Veien fra Noark 3 til Noark 4 til Noark 5 I utgangspunktet skulle man tro det er vanskelig eller umulig å konvertere data fra et

Noark 3 system til en Noark 5 struktur som kan deponeres.

Stort sett er den viktigste arkivinformasjonen gjennomgående tilstede i alle Noark-

versjonene, slik at en konvertering fra Noark 4 til Noark 5 fint kan la seg gjøre. Også

konvertering fra Noark 3 til Noark 5 kan gå – selv om en da får et noe ‘tynnere’ arkiv når

det gjelder metadatainnhold.

De data som ofte mangler er metadata som ‘ligger rundt’ selve innholdet i sak-, journal- og

dokumentinformasjonen. Det kan være ulike datoer, hvem som har registrert, ulik bruk

av kodeverdier som beskriver sakene, osv. For utdypende informasjon, se faktaboks.

De mest sentrale problemstillingene Det er underveis i dette - og i andre prosjekter - erfart en del generelle problemstillinger

under arbeid med deponeringer. Dette er beskrevet her.

• Krever god kjennskap til Arkivverkets krav

• Krever gode arkivarkunnskaper

De enkelte arkiv som deponeres kan være opp mot 25/30 år gamle! De kan ha vært

underlagt ulike rutiner og regler og skriveregler for arkivføringen. Dette betyr at det vil

forekomme feil og avvik i arkivets metadata som må behandles før en deponering.

Dette krever gode kunnskaper om både arkivføring, de enkelte Noark-versjonenes

oppbygging og bruk av kodeverk og til sist; hvordan Arkivverket forventer at

deponeringen skal være.

«Nobody knows». En tilhørende utfordring her kan være at personene som skapte

arkivbasen ikke lenger er tilgjengelige ved deponeringen. Kunnskap og historikk om

arkivet er borte.

• Krever til tider god kapasitet av kunden

DE MEST SENTRALE PROBLEMSTILLINGENE

8

Arkiveier må være forberedt på at en reell deponering vil kreve opprydding og

preparering av data og dokumenter.

Dette kan oppleves ressurskrevende. Spesielt ved rydding av gamle arkiv, hvor arkiveier

kanskje må gå gjennom store feillister før det kan deponeres.

Det kan være store dokumentmengder – noe på papir og noe digitalt - som må håndteres,

og så videre. I en hverdag hvor de daglige rutinene også må ivaretas kan dette være

krevende.

• Kan trekke ut i tid

• Datauttrekket må være fullstendig og eksakt, ellers vil Arkivverket tilbakevise

det.

Erfaringsmessig kan det oppleves at en godkjenning fra Arkivverket kan ta svært lang tid,

fordi mottakerapparatet i Arkivverket har kapasitetsproblemer.

Det kan være krevende å få behandlet innspill vedrørende feil og svakheter i

testprogrammene (Arkade) i Arkivverket.

Hvilke rutiner finnes og hvordan er det best å håndtere ulike problemstillinger? Det kan

være frustrerende å bli henvist til forskrifter, regelverk og eventuelle prosjekter som kan

ligge langt frem i tid.

Kvaliteten på metadata Ut fra historikk kan vi se at spesifikke hendelser som arkivet kan ha vært igjennom,

påvirker datakvaliteten på uttrekkene. Hvis arkivet har vært ‘utsatt’ for

• registrering i eldre databasestrukturer (veien fra Noark 3 til Noark 4 til Noark 5

kan være lang om man ikke har et ‘veikart’)

• versjonsoverganger (endret kodeverk, og så videre.)

• konverteringer til nytt arkivsystem

• konverteringer til historisk arkiv

• eier-endringer med ulike rutiner, skriveregler etc.

• manglende konverteringer av dokumenter

• spesielle filformater

så oppstår det naturlig nok en del feil og mangler i arkivets metadata.

Og selvfølgelig, når det gjelder JD:

• skadet materiale etter feillagring, ulykker, brann, eksplosjoner (22. juli 2011).


9

Gjennomgående er det disse konkrete feil eller avvik som går igjen:

• Manglende periodeangivning

• Manglende bevaring- / kassasjonsangivelse

• Manglende avslutning av sakene

• Feil eller manglende registrering av kode for papir / digitalt arkiv

Felles for disse feilene er at de er gjennomgående i alle saker og journaler i arkivet. De er

relativt enkle å korrigere – hvis vi ser bort fra at det tar mye kjøretid å korrigere såpass

store mengder.

Skadet arkivmateriale etter 22. juli 2011

Det ene av de deponerte arkivene ble skadet i terrorangrepet den 22. juli 2011. I ettertid

er dette arkivet blitt kalt ‘Konteinerarkivet’.

Vi startet med friskt mot i 2015 med opprydding i dette arkivet.

Dette arkivet var i utgangspunktet digitalt,

men ikke helt oppdatert. Etterslep er

imidlertid ikke uvanlig. Papirarkivet ble

utsatt for både eksplosjonen og det

påfølgende sluknings- og rivingsarbeidet i

etterkant, før det ble sikret og lagt i noen

kontainere.

Før dette arkivet ble destruert måtte vi

finne hvilke dokumenter som ikke var

digitale, men lå kun på papirformat.

Tanken først var å skanne inn disse

dokumentene og legge de opp i et «tilleggsarkiv» til Fellesjournalen.

• Det ble lagd spørringer mot databasen for å finne hvilke journalposter som ikke

hadde tilknyttet digitale dokumenter – men skulle hatt det.

• Det viste seg nå at metadataene (kodene) i arkivdatabasen var av en så dårlig

kvalitet at vi ikke kunne bruke ‘normale’ spørringer som på basis av metadata i

arkivet skulle gitt oss direkte referanse til de journalene vi ønsket finne.

• Det måtte lages spesielle programmer som via ulike «veier» i databasen greide å

plukke ut de journalene som hadde papirdokumenter og manglet digitale

dokumenter.

Konteinerarkivet i Nydalen før de siste mugg- og asbestmålingene ble

utført av Mycoteam AS.


10

• Dette tok litt tid da det var relativt store mengder data i arkivdatabasen (ca.

57.000 saker, 280.000 journaler og 430.000 dokumenter).

Da journalene var identifisert var det en smal sak å digitalisere de aktuelle dokumentene.

• Mengden viste seg å være overkommelig. Det ble besluttet å importere de aktuelle

dokumentene i den opprinnelige arkivdatabasen, og gå bort fra løsningen med et

«tilleggsarkiv» for disse dokumentene.

• For å ivareta strukturen i arkivdatabasen måtte det maskinelt genereres metadata

i Noark-tabellene (DOKBESKRIV, DOKVERSJON), for de digitale dokumentene som

ble skannet og importert.

JD registrerte de nødvendige metadata, og disse ble importert disse i den eksisterende

arkivbasen. Innskanning av papirdokumenter og generering av tilhørende metadata før

deponering er nå en tilleggsfunksjonalitet i Asta Mapper.

Da det var ‘ryddet opp’ etter 22. Juli 2011 kunne vi begynne å klargjøre de andre

databasene for deponering.

Feil- og avviksituasjoner

I dette avsnittet ligger de mest forekommende feil- og avvikssituasjonene beskrevet

konkret. I tabellen under ‘Oppsummering’ ligger oversikt over mengden poster i de

enkelte arkivdatabaser. Her finner man også de feil- og avvik som er korrigert for å gjøre

arkivene deponerbare.

Antall feil og avvik er mange, men dette kommer mest av to forhold: Grunnet alder på

arkivene mangler de en del gjennomgående metadata. I tillegg mangler da alle oppføringer

disse dataene, dermed blir det store feiltall.

Arkivdatabaser er ikke feilfrie.

Ryddejobben kan synes

uoverkommelig. Asta Mapper

gjør dette maskinelt.

R

OPPSUMMERING

11

Men denne type feil er ikke de vanskeligste å korrigere. Det er ofte vanskeligere å

korrigere de få, men spesielle feil og avvik.

Det andre er at disse arkivene har gått gjennom flere konverteringer. 4 av arkivene - som

kun er journaler - er skapt i Forum WinSak i perioden 1994-1999. Dette er en Noark 3-

løsning fra Ergo Pharma. Disse arkivene ble konvertert inn i DocuLive før de siden ble

konvertert over i historisk arkiv i WebSak.

Oppsummering 1. Dataene i DocuLive databasen bærer preg av å ha gjennomlevd flere

systemversjoner og konverteringer. Det er utført en rekke korreksjoner mot

uttrekket for å få det i den stand som kreves for deponering og avlevering til Noark

5.

2. Korreksjonene går i hovedtrekk mot 'omkringliggende' data til arkivenheten, så

som statuser og prosessrelaterte datoer, f.eks. ved maskinell avskrivning av sak,

maskinell ferdigstilling (status=A) av journalposten, og så videre.

3. I den grad metadata som gjelder selve saken eller journalposten er korrigert, er

dette behandlet / godkjent spesielt av arkiveier.

4. Ved eventuelle korreksjoner mot poster på sak-, journal- og dokumentnivået blir

det lagt en merknad - korreksjonsmerknad - inn på den posten det gjøres

korreksjon mot. Denne inneholder data før og etter. Korreksjonsmerknad følger

med til deponering.

5. I de tilfeller hvor uttrekket mangler data er dette verifisert i databasen og hvis

Noark 5 krever denne informasjonen er verdien satt til 'Ikke definert'.

6. Det er ikke funnet om det er gjort formell kassasjonsvurdering på materialet. Etter

kontakt med Arkivverket besluttet arkiveier å sette materialet til B – Bevares

7. På grunn av noe restriktivt bruk av kodeverk ved deponering, må 'lokale'

kodeverdier brukt i Noark 4-løsningen, konverteres til godkjente verdier definert i

Noark 5.

– Ellers vil ikke XML-filene som skal deponeres validere. Der settes det opp

en konverteringstabell fra de lokale kodeverdiene som er brukt i systemet

over til verdier som er lovlige standardkoder i N4/N5.

OPPSUMMERING

12

Oversikt over antall poster og feil og avvik:

ARKIVDATABASE ANTALL

ARKIV-SAK-JOURNAL-DOK

ANTALL FEIL / AVVIK

ARKIV-SAK-JOURNAL-DOK

VALIDERE

XML

ARKADE

Arkiv 1. 1994-1998 1 – 3956 – 83102 – 0 6 – 14837 – 172180 – 0 Ok Ok

Arkiv 2. 1994-1998 1-11294 – 28333 – 0 3 – 11369 – 95160 – 0 Ok Ok

Arkiv 3. 1994-1998 1 – 4299 – 11243 – 0 7 – 4505 – 37681 – 0 Ok Ok

Arkiv 4. 1995-1999 1 – 9121 – 52478 – 0 3 – 9199 – 158712 – 0 Ok Ok

Fellesjournalen 1991-

2003

1 – 130045 – 598484 -11792 27 – 139457 – 1651711 –

11793

Ok Ok

Sakarkiv 2004-2009 1 – 56659 – 281300 – 431783 1080 – 66079 – 524164 –

403225

Ok Ok

Merk: Disse feil / avvik er korrigert og databasene er gått feilfritt igjennom xml-

valideringen for Noark 5 og gjennom testprogrammet ARKADE.

For detaljert oversikt over feil og avvik i de forskjellige databasene, se vedlegg.

ASTA MAPPER

13

Asta Mapper

Utfordringene i prosjektet som er beskrevet ovenfor er løst ved hjelp av Asta Mapper. I

denne delen gjør vi en presentasjon av Asta Mapper, og hvordan man arbeider seg

gjennom et uttrekksprosjekt ved hjelp av funksjonene i programmet.

Hva er Asta Mapper?

Asta Mapper er et system for maskinell deponering av elektroniske arkiver. Det fungerer

like godt for fagsystemer som for Noark- baserte sak-/arkivsystemer. Det etablerer raskt

oversikt over arkivets tilstand. Feil og avvik rettes og dokumenteres i henhold til

Arkivverkets deponeringskrav.

Asta Mapper kan beskrives som en uttrekksfabrikk. Oppgavene blir i størst mulig grad

løst maskinelt og standardisert. Like tilfeller behandles likt, i henhold til et sett med

regler. Alle uttrekkene får derfor også samme struktur, noe som er fordelaktig for

fremfinning og innsynsløsninger i fremtiden.

Asta Mapper er tilgjengelig. Som arkivskaper er man ansvarlig for hva som arkiveres og

hva som eventuelt skal kasseres. Manglende forståelse for eller innsikt i hva som gjøres

med dine data i et uttrekksprosjekt er risikabelt, og prinsipielt problematisk. Asta Mapper

presenterer hvert steg i prosessen i lettfattelige skjermbilder. Asta Mapper er et verktøy

for arkivaren.

ASTA MAPPER

14

Prosessen

Asta Mapper har en definert prosess, som er gyldig for alle

uttrekksprosjekter. I avsnittet ovenfor beskriver vi Asta Mapper

som en fabrikk. Alle prosjekter går gjennom de samme

stegene, og vi kan definere en lettfattelig metodikk.

1) «Uttrekk» er egentlig bare det første steget i prosessen. Begrepet brukes gjerne

noe misvisende om «arkivversjonen» av dataene som deponeres. For å trekke

arkivverdige data ut av en database behøver vi en definisjon. For sak-

arkivsystemer har vi en slik definisjon gjennom Noark standardene. Den

gjeldende standarden forteller oss at disse dataene skal i hvert fall med. De er

arkivverdige, per definisjon. I praksis betyr dette at en tekniker må lage et sett

med koblinger mellom databasen og standarden. Det er dette vi kaller en

«mapping». Vi får en mapping per system, med noen varianter for versjoner. Det

er verdt å merke seg at vi trekker ut dataene direkte fra databasens tabeller.

Prosessen anvender ikke på noe punkt arkivsystemets funksjoner eller

forretningslogikk. Likeledes går de påfølgende analyser og korreksjoner mot

uttrekksdataene i Asta Mapper og ikke mot arkivsystemet.

ASTA MAPPER

15

2) Asta Mapper inneholder mappinger for de

vanligste sak / arkivsystemer og det er en

overkommelig oppgave å mappe nye systemer.

Det er først når vi har trukket ut dataene at

arbeidet begynner. Det første Asta Mapper

produserer er en analyse av dataene opp mot

kravene til deponering. Med andre ord, «hva er

forskjellen på dette uttrekket og et som vil bli

godkjent av testverktøyet Arkade?».

3) Analysen setter oss i stand til å svare på et

annet viktig spørsmål, hvor mye vil dette

koste? Basert på analyseresultatene kan vi

beregne hvor mange arbeidstimer som går

med til korreksjoner og deponeringsarbeidet.

En gjennomgang av analyseresultatene

avslutter første fase av uttrekksprosjektet.

Som arkivskaper vet du nå hva tilstanden er

på ditt arkiv. De fleste avvikene har en

åpenbar årsak og det er lett å konkludere

hvordan de skal rettes. Som regel er det et lite

utvalg av feiltyper som må undersøkes

nærmere i fellesskap for å finne frem til

årsaken.

4) Asta Mapper inneholder over 250 forskjellige retteprogrammer, og vi legger

stadig til nye. Hvert retteprogram korrigerer en feiltype maskinelt. Andre fase av

uttrekksprosjektet starter med en korreksjonsrapport. Rapporten dokumenterer

alle avvik, hvordan de skal håndteres og hvorfor. Altså, hvilke

korreksjonsprogrammer som skal anvendes, hvilke verdier som skal korrigeres og

hvordan dette skal dokumenteres i uttrekket. Om det for eksempel er 5 eller 575

saker uten journalposter betyr ikke så mye, så lenge vi kan rette og dokumentere

alle tilfellene likt. I skjermbildet under kan vi velge mellom å korrigere alle avvik

likt (sette status til U), eller behandle hvert avvik for seg ved å trykke på «velg

ASTA MAPPER

16

avvik». Maskinell behandling oppdaterer alle de 575 sakene i en operasjon. Vi har

én feiltype mindre, og er ett skritt nærmere deponering.

5) Når alle feiltyper er korrigert og/eller dokumentert

er vi klare for å forberede deponeringspakken. I det

store og det hele handler dette om å gjøre alt

formelt riktig. Det stilles strenge krav til format og

dokumentasjon. Dette kan være vanskelig å sette

seg inn i. Vi har erfaringen og håndterer også dette.

6) Asta Mapper kan «oppgradere» Noark 3 og 4 uttrekk til Noark 5. Dette har flere

fordeler. Det er blant annet lettere å teste et Noark 5 uttrekk. Arkade er et godt

testverktøy som vi har integrert i de avsluttende testene vi kjører i Asta Mapper.

Når uttrekket «validerer», betyr det at det går gjennom Arkade. At vi

gjennomfører dette siste steget gir trygghet for at det blir godkjent og senker

ASTA MAPPER

17

arbeidsbelastningen hos depot.

GENERELT OM UTTREKKSPROSJEKTER

18

Generelt om uttrekksprosjekter

Kunden, konsulenten og ansvaret

Det er arkiveier som er ansvarlig for alt som gjøres med arkivet frem til det er testet,

godkjent og deponert. Ansvaret for innholdet beholder man frem til en eventuell

avlevering. For kommunene fortsetter ansvaret til evig tid. Dette er kjent stoff for de fleste

som har ansvar for arkiver. Når arkivene blir elektroniske håndteres dette ansvaret svært

annerledes enn om det var snakk om papirarkiver.

Ofte foregår det slik at man inngår uttrekksavtale med en konsulent eller leverandør og

leverer fra seg en kopi av databasen. Deretter er kunden (arkiveier) lite eller ikke

involvert frem til en godkjenning/avvisning mottas fra testavdelingen i depot. Slik bør det

naturligvis ikke være. Som konsulent opererer vi på vegne av arkiveier. Oppgaven er ikke

«bare» å få uttrekket godkjent. Vi må føre en dialog underveis og ta arkiveier med på de

avgjørelsene som må tas. Arkiveier må vite og være innforstått med de endringene som

gjøres i dataene i uttrekksprosessen. Det bør stilles tydeligere krav til leverandørs

uttrekksprosess.

Riktig pris

I tilbudsinnbydelser og anbudsdokumenter oppgis det gjerne antall saker, dokumenter og

størrelsen på databasen. Dette er ikke uvesentlige opplysninger, men det er ikke

tilstrekkelig til å estimere et prosjekt. Det kan sammenlignes med å be om tilbud på

ordning av et papirarkiv ut fra dimensjonene på rommet der arkivene står oppbevart.

Før vi gir tilbud på prosjekter for ordning av papirarkiver får vi gjerne befare arkivene og

vurdere tilstanden. For større og mer komplekse oppdrag er det ikke uvanlig med en

kartlegging i form av et forprosjekt. For at at det skal være mulig å gi fornuftige tilbud på

uttrekksprosjekter bør det gjøres tilsvarende. Dersom vi får tilgang på databasen(e) vil vi

kunne utlede hvor mange avvik og hvor mye arbeid det er med hvert av arkivene i form

av en analyserapport.

Noark og fagsystemer

Når det snakkes eller skrives om uttrekksprosjekter, dreier diskusjonen seg raskt til å

handle om Noark. Det kan være fordi det er mest håndgripelig. I uttrekkssammenheng er

Noark en definisjon på hvilke data som er arkivverdige, hvordan de skal være formatert

og strukturert. Man har en definisjon for hva uttrekket må inneholde og hvordan det skal

se ut. Man har et utgangspunkt. Vi vet «hva» vi skal hente ut av databasen. Det kan også


19

være fordi dette er en felles problemstilling i statlig og kommunal sektor. Alle har et sak-

arkivsystem. De fleste uttrekksprosjekter som er gjennomført så langt dreier seg også om

sak-arkivsystemer.

I kommunal sektor er det langt flere forekomster av fagsystemer. Hva med disse? Den

gjengse oppfatningen er at uttrekk fra Noark systemer er krevende nok. Alle

fagsystemene får vi ta siden. Skrekk og gru.

Med Asta Mapper behøver det ikke være slik. Systemet er klargjort for også å håndtere

fagsystemer. Den store forskjellen er at vi ikke har en ferdig definisjon, slik Noark er for

sak-arkivsystemer. Vi må altså ta et steg tilbake og gjøre en bevaringsvurdering av

dataene i systemet. Dette er en arkivfaglig vurdering som egentlig ikke skiller seg

vesentlig fra tilsvarende vurderinger for papirarkiver. Av de dataene som er registrert,

hvilke bør bevares og hvordan bør de henge sammen.

Med bevaringsvurderingen til grunn setter vi opp en mapping og kjører prosjektet etter

samme prosess som beskrevet ovenfor. I mangel av en standard (Noark) for hva som er

bevaringsverdig, må denne vurderingen gjøres i prosjektet. På den annen side er Noark

en streng standard som tillater få unntak. For mange fagsystemer vil det være en fordel at

uttrekksprosjektet kan ta utgangspunkt i hvordan systemet faktisk ble brukt, uten å være

bundet av en generell standard.

Regnskapsfører og revisor Arkivseksjonen er ansvarlig for at arkivskapningen går riktig for seg. For de elektroniske

arkivene oppleves dette som vanskelig for mange. Som arkivar mangler man verktøyene

for å trenge inn i dataene, analysere og isolere avvik, som så kan følges opp. Innenfor

økonomifaget er føring av regnskap og tilsyn naturlig delt i separate funksjoner. Asta

Mapper kan anvendes til å «revidere» arkivskapningen periodisk. En lokal installasjon av

Asta Mapper kan foreta periodiske analyser og rapportere ut avvik som kan følges opp av

arkivar.


20

Om Stiftelsen Asta

Stiftelsen Asta ble opprettet 18. september 1995 av foreningen Landslaget for lokal- og

privatarkiv (endret i 2016 navn til Arkivforbundet) i samarbeid med Riksarkivaren.

Stiftelsens overordnede formål er å fremme standardisering, kvalitetssikring og

tilgjengeliggjøring av informasjon om arkivbestanden i offentlige og private virksomheter.

Dette skjer ved hjelp av informasjonssystemet Asta 5, Arkivportalen, Asta Mapper og ved

å levere konsulenttjenester innenfor praktisk arkivarbeid.

Gjennom 20 år har vi utviklet oss til Norges fremste leverandør innen arkivordning,

uttrekk av elektroniske arkiver og andre arkivfaglige konsulenttjenester. Stiftelsen har

over 30 høyt kvalifiserte ansatte med mange års erfaring med arkivarbeid.

VEDLEGG

21

Vedlegg

Detaljert oversikt over feil og avvik på arkivdatabasene.

Feil- og avvik på Arkiv 1.

Arkiv 1 Arkiv Sak Journal Dokument

Antall poster 1 3.956 83.102 0

Antall feil/avvik korrigert 6 14.837 172.180 0

Arkivdata

Korrigert for arkivperioden

Saksposter

Korrigert ca. 13.900 poster for manglende kassasjonsregistrering.

Resten: 881 korreksjoner – er spredt over en rekke ulike føringsfeil.

Dette utgjør en feil-/avviksrate på 6%. (Akseptabelt).

Eks. feil/avvik: mangler arkivdel, uten journalposter, mangler klassering, ...

Journalposter

Korrigert ca. 83.000 poster for feil kode for papir/digitalt dokumenter. (Sannsynligvis

skjedd under konvertering (default)).

Korrigerte ca. 5.500 poster for manglende hjemmel (sannsynligvis ikke registrert initielt).

Avslutta ca. 83.000 poster.

Resten: ca. 400 korreksjoner - er spredt over en rekke ulike føringsfeil.

Hensyntatt de gjennomgående korreksjonene har vi her en feil-/avviksrate på 0,5%.

(Særledes bra).

Eks. feil/avvik: uten mottaker, ...

Feil- og avvik på Arkiv 2


Antall poster 1 11.294 28.333 0


VEDLEGG

22

Arkivdata Korrigert for arkivperioden

Saksposter



Dette utgjør en feil-/avviksrate på 0,7%. (Dette er særledes bra føring).

Eks. feil/avvik: mangler arkivdel, uten journalposter, utlånte poster, ...

Journalposter

Korrigert ca. 28.000 poster for feil kode for papir/digitalt dokumenter. (Sannsynligvis

skjedd under konvertering (default))

Korrigerte ca. 28.000 poster for manglende hjemmel.


Resten: 10.177 korreksjoner - er spredt over en rekke ulike føringsfeil.

Det utgjør en feil-/avviksrate på 36%.

Av disse 36% er det korrigert ca. 9.234 restanser på inngående journalposter.

Trekker vi fra disse får vi en feil-/avviksrate på 3,3%. (Akseptabelt når vi ser bort fra

restansene).

Eks. feil/avvik: inkonsistens i datoer, manglende avskrivning, mangler avsender, mangler

mottaker,...

Feil- og avvik på Arkiv 3




Arkivdata Korrigert for arkivperioden

VEDLEGG

23

Saksposter



Dette utgjør en feil-/avviksrate på 4,8 %. (Bra føring).

Eks. feil/avvik: mangler arkivdel, uten journalposter, utlånte poster, ...

Journalposter

Korrigert ca. 11.000 poster for feil kode for papir/digital dokumenter. (Sannsynligvis




Resten: 4036 korreksjoner - er spredt over en rekke ulike føringsfeil.

Det utgjør da en feil-/avviksrate på 35,9%.

Langt de fleste av disse korreksjonene gjelder manglende avskrivning av inngående

dokumenter (3251 stk.).

Eks. feil/avvik: manglende avskrivning, inkonsistens i datoer, mangler avsender, mangler

mottaker,...

Feil- og avvik på Arkiv 4 Denne journalen utmerker seg med god føring.

Arkiv 4 1995-1999 Arkiv Sak Journal Dokument



Arkivdata

Korrigert for arkivperioden

Saksposter



Dette utgjør en feil-/avviksrate på 0,8%. (Det er særledes bra føring).

Eks. feil/avvik: mangler arkivdel, uten journalposter, ...

VEDLEGG

24

Journalposter

Korrigert ca. 52.000 poster for feil kode for papir/digital dokumenter. (Sannsynligvis





Det utgjør en feil-/avviksrate på 2,8%. (Det er svært bra føring).

Eks. feil/avvik: manglende avskrivning, restanser, inkonsistens i datoer, mangler avsender,

mangler mottaker, ...

Feil- og avvik på Fellesjournalen 1991-2003

Dette er det største arkivet når det gjelder antall registrerte poster.

Fellesjournalen 1991-

2003

Arkiv Sak Journal Dokument

Antall poster 1 130.045 598.484 11.792

Antall feil/avvik korrigert 27 139.457 1.651.711 11.793

Arkivdata

Korrigert for arkivperioden.

Saksposter


Resten: 9.575 korreksjoner – er spredt over en rekke ulike føringsfeil.

Dette utgjør en feil-/avviksrate på 7,3%. (Akseptabelt, spesielt nå vi vet dette er Noark 3

basert arkiv).

Eks. feil/avvik: mangler arkivdeler, uavslutta poster, mangler journalposter, utgårposter

m/journal, utlånte poster, ...

Journalposter Korrigert ca. 584.000 poster for feil kode for papir/digital dokumenter.




VEDLEGG

25

Det utgjør en feil-/avviksrate på 7,6%. (Akseptabelt, spesielt nå vi vet dette er Noark 3

basert arkiv).

Stor andel av dette er N-notat uten mottaker.

Eks. feil/avvik: ugyldig status, inkonsistens i datoer, mottakere av N-notat ikke avskrevet,

utenfor perioden, mangler avsender, mangler mottaker, manglende avskrivning, ...

Dokumenter

Korrigert ca. 11.700 dokumenter for feil format (konvertert til riktig pdf/a-format).


Det utgjør en feil-/avviksrate på 0,1%. (Særledes bra føring).

Eks. feil/avvik: manglende ferdigstilling, ...

Feil- og avvik på Sakarkivet 2004-2009

Dette er det største arkivet når det gjelder antall dokumenter.

Sakarkivet 2004 - 2009 Arkiv Sak Journal Dokument

Antall poster 1 56.659 281.300 431.783

Antall feil/avvik korrigert 1080 66.079 524.164 403.225

Arkivdata

Korrigert for arkivperioden.

Korrigert ca. 1.000 poster for inkonsistens i ordningsprinsipp / ordningsverdi.


Saksposter Korrigert ca. 54.000 poster for manglende kassasjonsregistrering.

Korrigerte ca. 7.000 jevnfør sak poster (ivareta referansen).

Resten: 4.510 korreksjoner – er spredt over en rekke ulike føringsfeil.

Dette utgjør en feil-/avviksrate på 7,9%. (Akseptabelt)

Eks. feil/avvik: ulike datofeil, utgår saker, inkonsistens i ant journalposter, ...

Journalposter



VEDLEGG

26

Resten: ca. 99.000 gir en feil-/avviksrate på 35%. Av dette var det mangelfull føring av N-

notater som utgjorde størsteparten av avvikene.

Korrigerte ca. 54.000 N-notat uten reg. mottaker.

Korrigerte ca. 23.000 N-notat uten avskrivning.


Det utgjør en feil-/avviksrate på 8,1% (Akseptabelt).

Eks. feil/avvik: Journaldato, forfallsdato, inkonsistens i datoer, utenfor arkivperiode, uten H-

dok., ‘ugyldige’ koder, ...

Dokumenter

Korrigert ca. 309.000 dokumenter for feil format (konvertert til riktig pdf/a-format.

Korrigert ca. 85.000 dokumenter for digital-/papir-kode.


Det utgjør en feil-/avviksrate på 1,7% (Særdeles bra).

Eks. feil/avvik: ikke ferdigstilt, ugyldige referanser til fil, mangler arkivformat, ...

erfaringsrapport justis- og …...erfaringsrapport justis- og beredskapsdepartementet...

Documents