AI-revisjon handler både om å undersøke hvordan virksomheten styrer og bruker AI, og om å vurdere hvordan teknologien kan støtte internrevisjonens eget arbeid. Chief Audit Executive Gaute Brynildsen deler erfaringer fra Gjensidige, og informasjon om AAIA-kurset som gir deltakerne en strukturert innføring i styring og risiko, AI-løsningers livsløp og bruk av AI i revisjonen.
AI har vært brukt i virksomheter lenge. Det som endret risikobildet, var ifølge Gaute at språkmodeller ble tilgjengelige for langt flere ansatte. Bruken skjøt fart, også utenfor formelle systemer og godkjente prosjekter. Ansatte kunne hente informasjon fra virksomhetens systemer, få en språkmodell til å oppsummere eller analysere den og bruke svaret som støtte i en beslutning. Dette er en annen risikosituasjon enn at en modell automatisk behandler tusenvis av saker. Risikoen forsvinner likevel ikke fordi et menneske tar den endelige beslutningen. Dersom AI-resultatet påvirker vurderingen, kan det få konsekvenser for virksomhetens prosesser, kunder og kontrollmiljø. Gaute mener derfor at internrevisjonen må være der risikoen er.
Slik har Gjensidige kartlagt og revidert AI
Gjensidiges internrevisjon valgte tidlig å gå i dybden på en maskinlæringsmodell brukt i prising av forsikring. Revisjonen kombinerte forståelse av prising og forsikringsvirksomhet med teknisk innsikt i data og modeller, i tillegg til internrevisjonskompetanse. Gaute forteller at teamet også møtte høy kompetanse hos dem som arbeidet med modellene i førstelinjen. Erfaringen viser verdien av å sette ulike perspektiver sammen når en AI-løsning påvirker en sentral forretningsprosess. En slik revisjon krever ikke at alle internrevisorer selv kan utvikle modeller eller skrive kode. Men de må likevel forstå nok til å undersøke om modellen og dataene passer til formålet, hvordan resultatene brukes, og om kontrollene virker. Når oppdraget krever større teknisk dybde, kan teamet hente inn annen kompetanse. Revisor må samtidig forstå prosessen løsningen inngår i og undersøke mer enn styringsdokumenter og ansvarsbeskrivelser.
Snakke med dem som utvikler og bruker AI, bygg grunnleggende forståelse og still spørsmål.
Gjensidige har også undersøkt uformell AI-bruk ved å analysere logger over trafikk mot eksterne tjenester. Det ga virksomheten et bedre bilde av hvor slike verktøy ble brukt, og grunnlag for å øke bevisstheten og etablere kontroller. Dette er relevant også for virksomheter der AI ennå ikke er en integrert del av sentrale, automatiserte prosesser. Verktøyene kan allerede påvirke arbeidsmåter og beslutninger. Gaute beskriver et bevisst valg om å prioritere revisjon av AI før bruk av AI for å effektivisere internrevisjonens eget arbeid. Begge deler kan gi verdi, men prioriteringen bør bygge på virksomhetens risikobilde. For fagpersoner som skal i gang, anbefaler han å snakke med dem som utvikler og bruker AI, bygge grunnleggende forståelse og stille spørsmål. Det er også nyttig å skille mellom ulike typer løsninger. En språkmodell og en maskinlæringsmodell har forskjellige egenskaper og kan kreve ulike revisjonsspørsmål.
Hva dekker AAIA-sertifiseringen?
AAIA-sertifiseringen har tre domener. AI Governance and Risk handler om ansvar, styring og risikovurdering. Revisor må kunne undersøke om virksomheten vet hvilke typer AI den bruker, hvem som eier bruksområdene, og hvordan krav til blant annet personvern, sikkerhet og ansvarlighet følges i praksis. AI Operations handler om å vurdere løsningen gjennom hele livsløpet, fra valg av modell og data til utvikling, testing, drift, overvåking, hendelseshåndtering og utfasing. Gaute sier at dette er det største domenet. Virksomheten må blant annet forstå forskjellen mellom å utvikle en modell selv og å ta i bruk en ekstern løsning. Når innsynet i leverandørens modell er begrenset, blir det særlig viktig å vurdere leverandøren, bruksbetingelsene og hvordan resultatene følges opp. AI Auditing Tools and Techniques handler om hvordan AI kan brukes i revisjonsarbeidet. Gaute beskriver hvordan AI-verktøy kan støtte analyse av store mengder ustrukturert informasjon og hjelpe revisor med å finne mønstre og detaljer. Imidlertid må internrevisjonen vite hvilke data verktøyene får tilgang til, hvordan informasjonen beskyttes, og hvordan resultatene kvalitetssikres.
Gaute mener at usikkerhet kan føre til at internrevisjoner blir mer tilbakeholdne med godkjent bruk av AI-verktøy enn nødvendig. Likevel må trygg bruk bygge på en konkret vurdering av sikkerhetsinnstillinger, tilgangsregler og ansvar. Bruk innenfor virksomhetens godkjente teknologimiljø må vurderes ut fra den faktiske løsningen og konfigurasjonen. Revisjonsdata bør ikke legges inn i eksterne tjenester uten at virksomheten kjenner vilkårene og beskyttelsen.
Et kurs for eksamen og praksis
IIA Norge og ISACA Norway Chapter arrangerer et eksamensforberedende kurs for Advanced AI Audit. Kurset gir en strukturert gjennomgang av sertifiseringens tre domener. Ifølge Gaute er undervisningen praktisk orientert, og kurset er utvidet til to og en halv dag for å gi deltakerne bedre tid til spørsmål og erfaringsutveksling. Kurset retter seg mot fagpersoner innen internrevisjon, compliance, risikostyring, internkontroll og teknologi, samt ledere med ansvar for virksomhetens styring og bruk av AI. Det passer også for de som ønsker å lære om temaene uten nødvendigvis å ta sertifiseringen. Nysgjerrighet og kritisk sans er et godt utgangspunkt, mener Gaute. Man trenger ikke å være tekniske spesialister, men bør kunne oppdage når AI er involvert, stille relevante spørsmål og vite når annen kompetanse må kobles inn. Han anbefaler at deltakerne setter seg inn i grunnleggende stoff på forhånd og møter med egne spørsmål.
Kurset arrangeres hos KLP i Oslo den 16. til 18. november med Gaute Brynildsen og Jens Christian Christensen, Deputy CAE i Gjensidige, som instruktører. Undervisningen foregår på norsk, med kursmateriell på engelsk. Kurset avsluttes med en testeksamen, og det er maksimalt 15 plasser. Påmeldingsfristen er 9. november.
Les mer om kurset og meld deg på her: https://iia.no/activities/nyhet-advanced-ai-audit/
Artikkelen bygger på et intervju med Gaute Brynildsen, en av instruktørene på AAIA-kurset.
