Hva kan vi lære av Philip Tetlocks bok – Superforecasting – The Art and Science of Prediction?
Risikoanalyser handler om å predikere fremtidige tap. Derfor anses det som viktig å kjenne til hvilke prosessrelaterte utfordringer det finnes når man skal forutsi fremtiden. Studien til den amerikanske forskeren P. E. Tetlock, som gjennomgås i boken Superforecasting – The Art and Science of Prediction, har blitt løftet frem som en snarvei til bedre prognoser. En rask undersøkelse på Internett viser at Tetlocks ideer faktisk har gitt inspirasjon til nye tjenester innen algoritmiske prognoser 1. I prosjektet sitt, Good Judgment Project, rekrutterte Tetlock og hans kollegaer gjennom Internett 2800 frivillige personer som skulle svare på nesten 500 spørsmål.
Ved å benytte offentlige nyhets- og informasjonskilder skulle disse menneskene anslå sannsynligheten for at ulike hendelser oppstår over en periode på flere år. Frivillige ble bedt om å bekrefte eller justere sannsynlighetene sine daglig, inntil spørsmålene utløp på en forhåndsbestemt sluttdato.
Det som var overraskende at 2 % av disse frivillige, som ble kalt for superforecastere, arbeidet 30 % bedre enn alle andre grupper de ble sammenlignet med, inkludert amerikanske etterretningsanalytikere som hadde tilgang til klassifisert informasjon 2.
Hovedfunnet i boken er at gjennomsnittekspertens spådommer ofte ikke er bedre enn en tilfeldig gjetning 3. En av grunnene til dette er at ekspertene ofte overvurderer sine evner. En annen grunn til at vi ofte mislykkes med prognoser er at nesten ingen, inkludert den som presenterer prognosen, har en ide om hvor ofte det er riktig eller galt det ekspertene gir uttrykk for. Tetlock fant i tillegg ut at de som lykkes bedre med sine prognoser hadde noen bestemte personlige egenskaper; de var mer åpne for å endre sine synspunkter når de fikk presentert ny fakta, men også mer forsiktige og selvkritiske i sine prognoser enn sine mer skråsikre kolleger 4.
Utover dette var det viktig å ha en god oversikt over sine egne resultater for å vite helt nøyaktig hvor bra man hadde lykkes med sine prognoser. Det var også fordelaktig å dele komplekse spørsmål i flere delspørsmål og skille mellom det som er kjent og ukjent og deretter revurdere sine egne antagelser gjentatte ganger 5.
Ifølge Tetlock var de som var de beste til å forutsi fremtiden ikke genier, men åpne, nysgjerrige mennesker med metodiske vaner, hvilket gir håp for oss alle når det gjelder å kunne forbedre kvaliteten i våre egne prognoser.
I et intervju med journalist Robert Armstrong fra Financial Times 6, ble professor Tetlock i 2016 spurt om hvor optimistisk han var av effekten av sitt arbeid. Tetlock anslo at om ti år vil mellom 10 og 20 prosent av nasjonale etterretningsestimater inneholde et kvantitativt element som baserer seg på nettdugnadsprognoser, hvor et stort antall mennesker utfører en felles oppgave basert på fellesskap, medvirkning og selvorganisering. I lys av dette innspillet er det interessant å lese at prediksjonsevne ifølge Forsvarets forskningsinstitutt (FFI) kan være viktig i forsvarsplanlegging. Slik forskeren Alexander William Beadle 7 i FFI skriver, kan ikke alle ha like rett om hva som skjer i fremtiden.
Gitt de store konsekvensene av å ta feil, er det ikke likegyldig hvem beslutningstakere hører på. Utfordringen er at treffsikkerheten til en håndfull personer som har uttalt seg mest om Forsvaret i Norge de siste fem årene imidlertid aldri har blitt målt. Derfor velger vi ofte å høre på løsningen og analysene vi liker best. Ved å måle treffsikkerheten kan vi bli bedre til å avgjøre hvem vi skal høre på. Som et resultat av denne erkjennelsen etablerte FFI et treårig forskningsprosjekt som skal kartlegge det norske forsvars- og sikkerhetspolitiske miljøets evne til å forutsi hendelser. De har en egen webside – https://prediksjonsturnering.ffi.no.
Prediksjonsevnen i FFIs turnering måles ved hjelp av en metode, som er en tilpasset versjon av beregningen, som ble benyttet i Tetlocks opprinnelige forskning. For å hente inspirasjon til slike turneringer, kan fremtidige superforecastere gå gjennom en liste over tips i et vedlegg til boken til Tetlock og Gardner med tittelen Ten Commandments for Aspiring Superforecasters. Faktisk viste resultatene til Tetlock at ved å bruke 60 minutter til en slik opplæring, økte deltakerens nøyaktighet med rundt 10 prosent i løpet av hele det påfølgende året. Innledningvis kan det tenkes at det ikke er så stor forbedring, men kompensert over tid vil det gi en stor innvirkning for mange organisasjoner.
I dagens samfunn kan det være fristende å tenke at egenskapene til superforecasterne kan automatiseres ved å kode det i algoritmer. Tetlock vurderer dette spørsmålet i boken sin etter å ha diskutert med David Ferrucci, som har utviklet Watson 8. Ferrucci er enig i at Watson ville ha lite problemer med å svare på et spørsmål som:
- Hvilke to russiske ledere har byttet jobber de siste fem årene?
men innrømmer at det ville være mye mer krevende å svare på spørsmålet:
- Vil de samme russiske lederne bytte jobb i de neste fem årene?
Det andre spørsmålet er noe som superforecasterne kan løse ganske enkelt, men så vanskelig at ingen kunstig intelligens på planeten kan håndtere det på en overbevisende måte. Hvorfor er det andre spørsmålet så mye vanskeligere enn det første?
For å kunne svare på det andre spørsmålet kreves det at man har etablert en relativt innviklet årsaksmodell av det russiske politiske systemet, de involverte personlighetene og de fremvoksende truslene og mulighetene disse personene sannsynligvis vil møte. Det er ikke nok å skanne en massiv database og triangulere i det mest troverdige svaret 9.
Tetlocks bok viser at gode analytiske vurderinger ikke er avhengige av noen eksterne kompetanseutviklingsprosesser, men av et sett av diskrete ferdigheter og tilnærminger med en klar start og slutt som kan læres og undervises – og enhver virksomhet, som vil forbedre kvaliteten på sine beslutningsprosesser, bør investere i dette gjennom å diskutere og analysere sin treffsikkerhet i virksomhetens nøkkelbeslutninger.
Det er ikke lett å lage slike analytiske kraftsentra, men superforecasting og prinsippene rundt det kan være grunnlaget for å hjelpe enkeltpersoner og organisasjoner til å skape mer struktur i hvordan de bruker data for å forutsi fremtiden.
6 https://www.ft.com/content/803a430a-442b-11e6-b22f-79eb4891c97d
7 https://forskning.no/krig-og-fred-fremtidsforskning-kronikk/kronikk-er-du-bedre-til-a-forutsi-fremtiden-enn-ekspertene/1161870
8 Watson er et spørsmålssvarende datasystem som er i stand til å svare på spørsmål som stilles i naturlig språk, utviklet i IBMs DeepQA-prosjekt.
9 P.E. Tetlock & D. Gardner: Superforecasting – The Art and Science of Prediction, pp. 21-23
