Jeg lagde mærke til en “vulnerability analysis” – en sårbarhedsanalyse – af fængslet. En del spilteori: Tit for Tat og Grim trigger strategier. Og der var en del med løgnedetektorer, men dem er der nu ikke noget videnskab, endsige matematik i, så vidt jeg har forstået. Der får I noget om, hvordan man vurderer en test generelt – for sygdom eller løgn – ideen er den samme.
Emnerne nedenfor er altså Sårbarhedsanalyse, Tit for Tat og Løgnedetektorer, herunder generelt vurdering af test for løgn, sygdom eller andet.
Sårbarhedsanalyse:
Det dækker over mange områder: Sårbarhed af computernetværk overfor f.eks. hacking, sårbarhed af fødevaresikkerhed i forskellige områder (se World Food Program), miljøets sårbarhed etc. F.eks. har NSA (det amerikanske National security agency) en Vulnerability analysis and operations group.
Et vigtigt område er sammenligning af sårbarhed: Hvis der er fejl mange steder i systemet, hvilken er så mest kritisk. Man har typisk ikke ressourcer til at lukke alle huller, og derfor skal problemerne prioriteres. Man skal altså have et mål for sårbarhed, en metrik. Det involverer mål for, hvad konsekvenserne af en fejl er og hvor dyrt det er at undgå den.
Charlie regnede på fængselssystemet, men jeg kunne nu ikke se, hvordan han gjorde det.
Beredskabsstyrelsen har et værktøj til risiko og sårbarhedsanalyse hvor man bliver guidet gennem en sådan vurdering. Målgruppen er organisationer, der varetager kritiske opgaver for staten – vandforsyning, energi, hospitaler,… der er en liste over diverse trusler fra isvinter til terrorangreb, som man kan tage udgangspunkt i og vurdere, hvilken indflydelse de kan have. Altså hvor galt kunne det gå og hvor sandsynligt er det, at det går så galt. hvis det er meget sandsynlig og det vil være meget skidt: dyrt, mange syge,… skal man bruge mange ressourcer på at undgå det. Er det meget sandsynligt, men konsekvenserne små skal man måske ikke anstrenge sig for at undgå det.
Tit for Tat og andre strategier
Det handler om strategier i situstioner, hvor mennesker påvirker hinanden og hvor der er flere udvekslinger mellem dem. Skal man samarbejde med den anden eller ej? Tit for tat strategien siger, at man skal samarbejde i første omgang og derefter følge den andens strategi, altså gengælde.
Rammen er en slags “fangernes dilemma”, som vi havde på bloggen under Beskidt bombe og mere generelt er det spilteori.
Fangernes dilemma er følgende:
To forbrydere afhøres hver for sig om en forbrydelse, de har været fælles om. Og der er gevinst ved at sladre om den anden.
Man laver en udbyttematrix
Det, der står øverst i det, der ligner brøker, er udbyttet for fange 1 og nederst (i “nævneren”) står udbyttet for fange 2. For eksempel får fange 1 en straf på 11 år, hvis han holder mund og den anden sladrer. Hvorimod fange 2 i den situation går fri. Hvis begge holder mund, slipper de med 1 år. Man kan altså alt i alt få mere ud af at samarbejde/stole på hinanden. Men for fange 1 vil det, hvis den anden sladrer, bedst kunne betale sig at sladre. Og hvis den anden holder mund vil det igen kunne betale sig at sladre. Og tilsvarende for fange 2. Man kunne også forestille sig to lande, som har handelsbarrierer. Hvis begge opretholder dem er det skadeligt for begge, men hvis den ene fjerner sine og den anden beholder dem, taber den, der har fjernet barriererne.
I Tit for tat forestiller man sig en tilsvarende udbyttematrice, men nu “spiller” vi flere gange. Man ved altså, om modparten samarbejdede (her, holder mund) sidst eller ej. Tit for Tat siger, at man skal gøre det, modparten gjorde sidst. Og at man skal samarbejde første gang. Det handler om at opbygge tillid. Ved man, at man skal “samspille” flere gange, betaler det sig at investere for at opbygge tillid. Se f.eks. Statens Byggeforskningsinstitut for en diskussion af problemerne i, at det er forskellige partnere, der indgår i forskellige byggerier, så man ikke opnår en samarbejdsrelation.
Hvis man her starter med, at en holder mund og den anden sladrer, vil tit for tat fra begge spillere føre til, at man skiftes til at holde mund og sladre. Hvis begge fra starten er samarbejdsvillige, vil man have situationen i nederste højre hjørne konstant.
For at nå ud af en “dødsspiral”, som Charlie beskriver det (en grim trigger strategy), hvor man er i øverste venstre hjørne og bliver der, kan man bruge en tilgivende tit for tat, hvor den ene ind imellem (med en vis sandsynlighed) vil samarbejde, selvom den anden ikke gjorde det i forrige spil. Det vil bringe situationen ud af dødsspiralen og ned, hvor man skifter mellem øverst til højre og nederst til venstre. Og derefter ned i nederste højre hjørne.
Charlie foreslår tit for two tats, hvor man samarbejder indtil modparten to gange i træk ikke har samarbejdet. Så gengælder man.
Strategierne er afprøvet i simulationer, hvor tit for tat vinder, i den forstand, at det giver det største samlede udbytte. Man kan altså individuelt have gavn af en samarbejdsstrategi på længere sigt. Der er, så vidt jeg ved, ikke noget bevis for, at tit for tat er optimal (under nogen forudsætninger formodentlig).
Manden bag tit for tat strategien er Robert Axelrod. Læs mere her. Han bruger strategien til at forklare, hvordan biologiske systemer kan se ud til at “samarbejde”, hvor det måske er en genetisk disposition for tit for tat.
Løgnedetektorer
Der bruges en “polygraph”, som vi kender dem fra amerikanske film og nu også fra et TV3 program. Og senere laves der en “Functional MRI”. Og ingen af dem giver “det rigtige”. Forbryderen tilstår at have slået et barn ihjel, og det har han ikke. Men han har bildt sig selv ind, at han har…
Jamen virker det da ikke? Nej, det ser bestemt ikke ud til. I bogen The Lie behind the Lie detector er en lang udredning om problemerne ved løgnedetektorer. Man kunne ellers forestille sig at man ret let kunne lave kontrollerede forsøg, eller undersøge noget af alt det data, man har fra allerede udførte løgnedetektioner, og det har man også gjort, men det giver ikke gode resultater. Problemet er bl.a., at de fysiologiske reaktioner, man måler, også kan komme fra andet, end at man lyver. Og det er meget vanskeligt at skille ad. En uskyldig, som er mistænkt for noget virkelig forfærdeligt vil være nervøs og muligvis fremstå løgnagtig. Især hvis den, der tester, tror, vedkommende er skyldig. Og så er vi jo et stykke væk fra noget objektivt. Se også The polygraph and lie detection.
Et andet problem er, at forskellige personer fortolker et løgnedetektorudkrift forskelligt – i en Nature artikel fra 1984 tog man 207 udskrifter fra løgnedetektorer i en stribe senere opklarede sager og fik dem analyseret af 14 andre løgnedetektoreksperter. Det gav dom til 43 % af de uskyldige og frikendelse til 36 % af de skyldige…
Hvordan ved man, om en test er god? En test for en sygdom skal jo finde de syge, men helst ikke udpege for mange raske som værende syge. Lad os sige, man har en positiv test, hvis den viser, man er syg.
Der er set antal falsk positive FP (raske, som tester positivt)
Et antal falsk negative FN (syge med en negativ test)
Et antal sandt positive SP( De syge med positiv test)
Og et antal sandt negative SN (raske med negativ test)
Specificitet er SN/(SN+FP), andelen af de raske, som tester negativt P(testrask|rask). Sensitiviteten er SP/(SP+FN), andelen af syge, der tester positivt P(testsyg|syg).
Den positivt prædiktive værdi er SP/(SP+FP), andelen af positivt testede, som rent faktisk er syge, sandsynligheden for at være syg, når testen viser, man er det, P(syg|testsyg). Eller, man kan se på den negativt prædiktive værdi SN/(SN+FN) andelen af negativt testede, der rent faktisk er raske P(rask|testrask). De prædiktive værdier afhænger af, hvor stor en andel af de testede, der er syge, prævalensen. Og ikke kun af sensitivitet og specificitet.
Eksempel: En test har sensitivitet 0,86 og specificitet 0,92
På et hospital henvises folk, som mistænkes for at have sygdommen, til test. På et andet er det en test, der laves på alle.
På det første er 37 ud af 49 patienter syge. (Prævalensen er 37/49=0,76)
SP=32, SN=11, FP=1, FN=5.
Specificitet SN/(SN+FP)=11/12=0,92
Sensitivitet SP/(SP+FN)=32/37=0,86
Positiv prædiktiv værdi SP/(SP+FP)=32/33=0,97
Negativ prædiktiv værdi SN/(SN+FN)=11/16=0,69
På det andet er 37 ud af 157 syge. Prævalens 0,24
SP=32, SN=110, FP=10, FN=5,
Specificitet SN/(SN+FP)=110/120=0,92
Sensitivitet SP/(SP+FN)=32/37=0,86
Positiv prædiktiv værdi SP/(SP+FP)=32/42=0,76
Negativ prædiktiv værdi SN/(SN+FN)=110/115=0,96
Hvis man tester en stor befolkningsgruppe med få syge, vil den negative prædiktive værdi være stor, i.e., hvis man tester negativt, er man med stor sandsynlighed rask. Men dem, der tester positivt vil i mange tilfælde være raske, i.e., sandsynligheden for at være syg givet testen viser syg, er lille. (Tallene er fra How sensitive is sensitivity, how specific is specificity, Phillips, Scott og Blasczcynski, American Journal of Roentgenology. Prøv selv at regne på, hvod der sker, hvis der er 37 syge ud af 12037. Så bliver positiv prædiktiv værdi 0.03 og negativ prædiktiv værdi 0,99. Der er altså rigtig mange blandt dem, der teseter positivt, som alligevel er raske – her 97 ud af 100. Det er det, man skal overveje, når man laver store screeninger for sygdomme.
For løgnedetektorer: Lad os nu antage, at de kan finde løgnere med en vis sandsynlighed (det kan de ikke, men alligevel…). Tester man alle, der ansøger om job i FBI, CIA,… og det gør man…vil dem, der ser ud til at lyve, stadig med ret stor sandsynlighed tale sandt. I.e., mange får et stempel som spion, uden at være det. Dem, der udses som ikke værende spioner, er det med ret stor sandsynlighed ikke, men det er mere fordi, der er rigtig mange, der ikke er spioner, end fordi man er god til at finde spioner. Der vil jo stadig være en enkelt spion der slipper ind nu og da.
Vi kan være glade for, at vi ikke bruger metoden i Danmark! I hvert fald kun til pjattede TV-programmer. Så fans af Doctor Phil eller Sandhedens time eller andre populære brugere af løgnedetektorer bør tage det med et gran salt.
Se også Illustreret videnskab.
Se også Weekendavisen, hvor den funktionelle MRI også afvises som anvendelig. Man kan efter sigende snyde den ved at tælle tilbage fra 20, da det giver aktivitet i hjernen, som gør, at man ikke kan bruge MRI billederne.