Europeisk standard for kunstig intelligens på vei!

Standarden er rettet mot organisasjoner som bringer KI-systemer på markedet eller setter dem i drift, og er laget for å kunne brukes på tvers av sektorer.

Den støtter etterlevelse av artikkel 14 i EUs KI-forordning (AI Act), som stiller krav om menneskelig kontroll med høyrisiko-KI-systemer.

Menneskelige faktorer er en del av sikkerheten

Et hovedgrep i standarden som nå er på høring er tiltak for menneskelig kontroll. Slike tiltak kan blant annet bestå av etterkontroll av systemets resultater, varsler som utløser menneskelig inngripen, eller kontinuerlig overvåking. Systemet skal også gi en utpekt person mulighet til å avvise, overstyre eller reversere et resultat, eller stanse systemet og bringe det i en sikker tilstand.

For hvert risikoscenario skal leverandøren fastsette hvor lang tid som er tilgjengelig før et mulig avvik må være avverget eller begrenset. Deretter skal leverandøren velge tiltak som gjør det mulig for den utpekte personen å gripe inn innenfor dette tidsrommet. Dersom menneskelig inngripen ikke kan gjennomføres raskt nok, må risikoen håndteres med automatiske beskyttelsestiltak og etterfølgende kontroll.

Standarden tar også opp automatiseringsbias, det vil si menneskers tendens til å foretrekke forslag fra automatiserte beslutningssystemer, og samtidig overse motstridende informasjon selv når denne er riktig.

Leverandøren skal iverksette designtiltak som reduserer automatiseringsbias og holder utpekte personer aktivt involvert i vurderingen av KI-systemets resultater, framfor at de passivt godtar dem.

Fem deler som skal virke sammen

EN 18229-serien er bygget opp slik at de fem delene utfyller hverandre. Til sammen skal de gi leverandører og brukere av KI-systemer et mer praktisk rammeverk for logging, transparens, menneskelig kontroll, nøyaktighet og robusthet. Det er del 3 som nå er på høring.

• Del 1 – Logging, beskriver hvordan relevante hendelser skal registreres og beskyttes gjennom KI-systemets livsløp. Høringen av denne delen er avsluttet. Del 1 skal støtte kravene i artikkel 12 i KI-forordningen.
• Del 2 – Transparens, skal beskrive transparens og informasjon som leverandøren må gi brukere av KI-systemet. Denne delen skal støtte artikkel 13 og vil komme på høring.
• Del 3 – Menneskelig tilsyn, beskriver hvordan mennesker skal kunne overvåke, forstå og gripe inn i KI-systemets funksjon. Denne delen skal støtte artikkel 14 og er nå på høring.
• Del 4 – Nøyaktighet, skal omhandle krav knyttet til nøyaktighet. Sammen med del 5 skal den støtte artikkel 15, men den vil ikke ta for seg cybersikkerhet. Standardforslaget vil komme på høring.
• Del 5 – Robusthet, skal omhandle krav knyttet til robusthet. Standardforslaget vil komme på høring.

Hvem bør gi innspill, og på hva?

I Norge er det Standard Norge som forvalter standardene og de opplyser at standardforslaget vil få betydning for hvordan KI-systemer utformes, anskaffes, innføres, driftes og dokumenteres. De ønsker derfor særlig innspill fra:

• leverandører og utviklere av KI-systemer, inkludert produktansvarlige, sikkerhetsmiljøer og designere av brukergrensesnitt
• virksomheter som anskaffer eller bruker KI, både i næringslivet, offentlig sektor og kritisk infrastruktur
• fagpersoner innen risikostyring, kvalitet, juss, personvern og arbeidsmiljø, samt arbeidstaker- og interesseorganisasjoner
• forskningsmiljøer, tilsyn, sivilsamfunn og biometrimiljøer som kan vurdere konsekvenser for helse, sikkerhet og grunnleggende rettigheter.

Det er særlig nyttig med kommentarer til om reaksjonstider, varsler, kontrollfunksjoner og testmetoder er praktisk gjennomførbare; om ansvarsdelingen mellom leverandør og bruker er tydelig; og om kravene fungerer på tvers av sektorer og arbeidssituasjoner.

Hvorfor bør du gi innspill?

Standarden kan bli et viktig praktisk verktøy for å vise hvordan krav til menneskelig kontroll kan oppfylles. Norske erfaringer fra blant annet offentlig tjenesteyting, arbeidsliv, industri og kritisk infrastruktur er derfor viktige for at kravene skal bli forståelige, teknologinøytrale og mulige å bruke i praksis.

I følge Standard Norge vil alle nasjonale kommentarer bli behandlet i det ansvarlige standardiseringsarbeidet. Se på høringen som din mulighet til å påvirke før innholdet låses og standarden ferdigstilles.