« Dagens folkomröstning | Main | Läsning av förvanskade ord »

september 14, 2003

Att förutsäga framtiden i efterhand - hindsight bias/creeping determinism

Oavsett hur det går i folkomröstningen i kväll har jag en förutsägelse: Många kommer att säga sig ha kunnat förutsäga utgången eftersom de tydligt sett alla tecken på att resultatet skulle bli just så.

Själv har jag endast en liten aning om utgången eftersom det finns så många motstridiga tecken såsom olika resultat från olika opinionsinstitut, olika sätt att tänka kring huruvida valdeltagandet kommer vara högre eller lägre än tidigare efter mordet på Anna Lindh etc.


Min egen förutsägelse, att många kommer att säga att de korrekt förutsåg valet, bygger på något som jag kollat in de senaste dagarna, nämligen "hindsight bias" (kallas även "creeping determinism"). Detta innebär att när vi väl vet att något har hänt finns en stor tendens hos oss att, i efterhand, tydligt se de olika "spår" som leder till resultatet. Vår hjärna lurar oss att inte komma ihåg korrekt vad vi verkligen tänkt eller tyckt innan och vi tenderar även att tro oss ha tyckt på detta sätt hela tiden. Undersökningar som gjorts kring detta fenomen verkar tyda på att det är allmängiltigt.

Fenomenet är också relevant för vissa diskussioner om mordet på Anna Lindh. Läs om en artikel skriven av Malcolm Gladwell nedan.


Det bästa papret jag läst om fenomenet är av Baruch Fischhoff (som är en av de mest kända forskarna om fenomenet), artikeln For those condemned to study the past: Heuristics and biases in hindsight. Artikeln finns i samlingen Judgment under Uncertainty : Heuristics and Biases redigerad av Daniel Kahneman, Paul Slovic och Amos Tversky (sid 335ff). Tyvärr har jag inte lyckas hitta denna eller några andra relevanta artiklar av Fischhoffs artiklar på webben (i alla fall inga som är öppna för allmänheten).


Här är lite av det jag råkat hitta om fenomenet 'hindsight bias'/'creeping determinism'.

Hindsight bias
It is a common observation that events in the past appear simple, comprehensible, and predictable in comparison to events in the future. Everyone has had the experience of believing that they knew all along the outcome of a football game, a political election or a business investment. The hindsight bias is the tendency for people with outcome knowledge to believe falsely that they would have predicted the reported outcome of an event. After learning of the occurrence of an event, people tend to exaggerate the extent to which they had foreseen the likelihood of its occurrence.

Synonyms: Rückschau-Fehler, knew-it-all-along effect, creeping determinism


Did You Know It All Along?
One problem with common sense, however, is that we invoke it after we know the facts. Events are far more "obvious" and predictable in hindsight than beforehand. Baruch Fischhoff and others (Slovic & Fischhoff, 1977) have repeatedly demonstrated that when people learn the outcome of an experiment, that outcome suddenly seems unsurprising -- certainly less surprising than it is to people who are simply told about the experimental procedure and the possible outcomes. People overestimate their ability to have foreseen the result. This happens especially when the result seems determined and not a mere product of chance (Hawkins & Hastie, 1990).
....
Likewise, in everyday life we often do not expect something to happen until it does. We then suddenly see clearly the forces that brought it to be and feel unsurprised. After Ronald Reagan's presidential victory over Jimmy Carter in 1980, commentators -- forgetting that the election had been "too close to call" until the campaign's final few days -- found the Reagan landslide unsurprising and easily understandable. When the day before the election, Mark Leary (1982) asked people what percentage of votes they thought each candidate would receive, the average person, too, foresaw only a slim Reagan victory. The day after the election Leary asked other people what result they would have predicted the day before the election; most indicated a Reagn vote that was closer to the Reagan landslide.
....
If this hindsight bias (also called the I-knew-it-all-along phenomenon) is pervasive, you may now be feeling that you already knew about it. Indeed, almost any conceivable result of a psychological experiment can seem like common sense -- after you know the result.
...
The point is not that common sense is predictably wrong. Rather, common sense usually is right after the fact; it describes events more easily than it predicts them. We therefore easily deceive ourselves into thinking that we know and knew more than we do and did.


Avsnittet Hindsight Biases in Evaluation of Intelligence Reporting från boken 'Psychology of Intelligence Analysis av Richards J. Heuer, Jr (notera URL:en, cia.gov!).
I del III 'Cognitive Biases' finns andra intressanta kapitel hur vi tänker "skevt".


Så till en artikel som är mycket relevant för de senaste dagarnas händelser. Jag tänker naturligtvis på mordet på Anna Lindh.

I Connecting the Dots skriver Malcolm Gladwell om kritiken mot FBI och CIA hur de hanterade hoten om terrordåden före den 11 september 2001. Varför insåg de inte att det skulle komma en sådan attack? Alla ledtrådar var ju tydliga! Gladwell diskuterar här vad som hände utifrån Fischhoffs "creeping determinism".

Han skriver även om förslaget att slopa CIA:s och FBI:s "tävlande verksamheter" och varnar att detta kan vara en "överkompensation" grundat på den kraftiga kritiken.

I artikeln finns (naturligtvis) kopplingar till kritiken mot SÄPO:s bedömning av hotbilden mot Anna Lindh i onsdags.


Ett annat exempel på hindsight bias/creeping determinism är artikeln The dangers of 'creeping determinism' där undersökningarna om Columbiaskytteln diskuteras.

Två länklistor från Tim van Gelder's Critical Thinking On the Web är relevanta: Intelligence (military, etc.) samt Cognitive Biases and Blindspots.


Slutligen en bok man borde beställa: Inevitable Illusions: How Mistakes of Reason Rule Our Minds av Massimo Piattelli-Palmarini.

Posted by hakank at september 14, 2003 03:50 EM Posted to Kognitiva illusioner

Comments

Det har jag vetat hela tiden! ;-)

Posted by: Thorvald at september 15, 2003 06:01 EM

Ett relaterat fenomen har jag stött på i samband med "debunking" av människor med påstådda övernaturliga förmågor - principen om "multiple endpoints".

Persi Diaconis - professionell trollkarl, matematiker och debunker - berättade om någon som påstod sig ha "psykiska" förmågor och arbetade med en kortlek. Hans trick bestod ofta i varianter av att en person först drog ett kort (låt säga, spader kung). Försökspersonen manipulerade leken ett tag, delade den och vände upp den övre halvan. Det kort som dök upp var - spader ess! Ganska imponerande, tyckte försöksledaren (psykologiprofessorn vid Harvard om jag minns rätt).

Diaconis påpekade att fp *aldrig i förväg berättade vad som skulle dyka upp*. Hade det varit vilken annan av de tre kungarna hade det varit ganska imponerande med. Spader dam, likaså. Hade inget av de korten synts vid delningen hade fp kunnat säga "lyft det översta kortet i den nedre högen" - som hade kunnat vara spader ess, någon annan kung etc.

Om man tog med alla rimligt tänkbara varianter där sannolikheten för att *något* imponerande (egentligen, skenbart meningsfullt), skulle inträffa, tämligen stort - ett på fem eller något sånt. Vlket var ungefär så ofta som han "lyckades", i försöksledarens tolkning. (Att fp inte lyckades alla gånger tog denna som ett tecken på att det inte var fusk!)

Jag intervjuade Diaconis när han var i Sverige för många år sedan, för ett tidigt nummer av Folkvett.

Posted by: jonas at september 18, 2003 02:26 EM

Jonas:

Ja, det verkar som om vi har väldigt lätt att hitta samband där inga finns och har svårt att bedöma sannolikheter för vissa typer av händelser.

Lustigt du nämner Persi Diaconis. Han är en av mina halv-husgudar just för sina många intressen, speciellt det han skrivit om tillfälligheter (coincidences). "Halv" eftersom jag inte läst så mycket _av_ honom, däremot en hel del _om_ honom. Se även mitt rätt långa svar (om mitt intresses bottnande) i blogganteckningen 'Om vardagligt beteende och rutiner': http://www.hakank.org/webblogg/archives/000183.html .


Jag passar här på att utfärda några artikelefterlysningar:
Förgäves har jag försökt få tag på följande, riktigt citerade, artiklar av Diaconis. Du (eller någon annan) kanske har dem elektroniskt tillgängliga?

Persi Diaconis: "Statistical Problems in ESP Research." Science (July 14, 1978), 201(4351):131-136

Persi Diaconis och Frederick Mosteller: "Methods for studying coincidences", Jour. Amer. Statist. Ann., vol. 84, 853-861 (1989)

Det har forskats en hel del om hur vår intuition fungerar kring olika typer av sannolikheter, där hindsight bias är ett exempel. Ofta är denna intuition dålig, faktiskt även hos experter.

Eftersom jag tycker att ämnet är väldigt intressant, passar jag på att ge några tips om vidareläsning. Möjligen har du (Jonas) läst dem redan, men det kanske intresserar andra.

* "Judgment under Uncertainty: Heuristics and Biases"
http://www.amazon.com/exec/obidos/tg/detail/-/0521284147/qid=1063901607/sr=1-2/ref=sr_1_2/104-4612060-0593504?v=glance&s=books
(som jag nämner i anteckningen ovan). Det är en samling med en massa papers av bland annat Daniel Kahneman och Amos Tversky (och Fischhofff som jag nämnde i huvudanteckningen).

Essäerna beskriver flera olika typer av "snedtänk" (bias, skevheter) i vår intuition om sannolikheter. Några exempel som tas upp: gambler's fallacy dvs tendensen att vi tror att även små slumpserier uppfyller "stora talens lag", tendensen att ignorera storleken på ett urvalet när vi ska bedöma hur representativt detta urval är, etc etc.


Jag kan även rekommendera Kahnemans Nobelföreläsning "Maps of Bounded Rationality" från 2002, där han även beskriver flera typer av bias.
http://www.nobel.se/economics/laureates/2002/kahneman-lecture.ram (bild och ljud, RAM-fil). Mer om Nobelpriset finns på http://www.nobel.se/economics/laureates/2002/presentation-speech.html .

Den bok som verkar vara mer relevant för det Kahneman fick Nobelpriset för, är essäsamlingen "Choices, Values, and Frames" (som jag ännu bara bläddrat i). Se
http://www.amazon.com/exec/obidos/tg/detail/-/0521627494/qid=1063904183/sr=1-1/ref=sr_1_1/104-4612060-0593504?v=glance&s=books

* "Science Confronts the Paranormal"
http://www.amazon.com/exec/obidos/ASIN/0879753145/qid%3D1063901290/sr%3D11-1/ref%3Dsr%5F11%5F1/104-4612060-0593504
är en samling Skeptical Inquirer-artiklar, bland annat några som beskriver vår uppfattning om tillfälligheter kopplat till tron på övernaturliga fenomen. Speciellt intressant är "On Coincidences" av Ruma Falk (som även nämner forskningen gjord av Fischhoff och Kahneman & Tversky).


* Artikeln "The Odds of That", av Lisa Belkin
beskriver fängslande om tillfälligheter och konspirationsteorier. Bland andra omnämns Persi Diaconis och Ruma Falk.
http://www.uic.edu/classes/psych/psych242g/11COINCIDENCE.html


* Ivars Peterson's "Birthday Surprises"
http://www.maa.org/mathland/mathtrek_11_23_98.html
Går igenom en av de mest omskrivna "paradoxerna" i sannolikhetsläran, födelsedagsparadoxen, där vår intuition ofta leder oss fel. För att få mer info om detta, sök på "birthday paradox".


* Referenserna (sista stycket) i min anteckning "Humor och kreativitet - The Fortsättningen"
http://www.hakank.org/webblogg/archives/000069.html


* Slutligen tänkte jag nämna boken "An Introduction to Probability Theory and Its Applications, Volume 1" av William Feller. Det ska vara 3:e upplagan, först utgiven 1968.
http://www.amazon.com/exec/obidos/tg/detail/-/0471257087/qid=1063902324/sr=1-1/ref=sr_1_1/104-4612060-0593504?v=glance&s=books

Detta anses av många vara "bibeln" kring diskreta sannolikhetsproblem. Matten är stundtals svår, men om man har grundläggande kunskaper inom sannolikhetsteori bör man kunna hänga med rätt bra (även om man är tvungen att hoppa över de värsta bitarna). Det finns en stor mängd exempel som exemplifierar teorierna och gör resan väl värd att göra.

En av höjdpunkterna är Fellers beskrivning av "gambler's ruin", där han sågar våra intuitioner. "Spelarens ruin" är ett spel där man spelar mot en bank (med "obegränsat kapital") tills man endera vunnit en viss summa eller förlorat hela sitt kapital. Feller beskrivning av sina upptäckter kring detta är härligt engagerande.
Se även min simulering på http://www.hakank.org/sims/GamblersRuinApplet.html (en Java Applet).

OBS: det ska vara volym 1 (om diskreta sannolikheter). Volymn 2 handlar om kontinuerliga sannolikheter och den har jag inte läst.

Posted by: Håkan Kjellerstrand at september 18, 2003 08:38 EM

Tack för alla tips! Men när ska jag hinna... (suck).
Tyvärr har jag inte Diaconis artiklar; varken i pappersform eller digital. Fast jag borde kunna leta upp en papperskopia av intervjun med honom i alla fall.

Diaconis var rolig; han trollade för oss... det är en bra "Jag mötte Lassie" men lite smal. Min bästa är annars att jag spelat remi med Pia Cramling. (Hon var typ elva och jag femton och jag hade nog ett visst mått av tur, eller möjligen gudomlig inspiration just då.)

/jonas - skrytsam på nattkröken

Posted by: jonas at september 20, 2003 02:46 FM