A paradoks on väide või nähtus, mis pinnalt tundub vastuoluline. Paradoksid aitavad absurdsena näiva pinna all tõde paljastada. Statistika valdkonnas näitab Simpsoni paradoks, millised probleemid tulenevad mitme rühma andmete ühendamisest.
Kõigi andmete osas peame olema ettevaatlikud. Kust see tuli? Kuidas see saadi? Ja mida see tegelikult ütleb? Need on kõik head küsimused, mida peaksime andmete esitamisel küsima. Simpsoni paradoksi väga üllatav juhtum näitab meile, et mõnikord ei ole tegelikult see, mida andmed näivad öelvat.
Ülevaade paradoksist
Oletame, et vaatleme mitut rühma ja loome suhte või korrelatsioon kõigi nende rühmade jaoks. Simpsoni paradoks ütleb, et kui me ühendame kõik rühmad kokku ja vaatame andmeid koondatud kujul, võib korrelatsioon, mida me varem märkasime, end ümber pöörata. Enamasti on selle põhjuseks varitsevad muutujad, mida ei ole arvestatud, kuid mõnikord on see tingitud andmete arvväärtustest.
Näide
Simpsoni paradoksi pisut mõistvamaks muutmiseks vaatame järgmist näidet. Teatud haiglas töötab kaks kirurgi. Kirurg A opereerib 100 patsienti ja 95 jäävad ellu. Kirurg B opereerib 80 patsienti ja 72 jäävad ellu. Kaalume selles haiglas operatsiooni teostamist ja operatsiooni läbi elamine on midagi olulist. Tahame kahest kirurgist valida parema.
Vaatleme andmeid ja kasutame neid, et arvutada, kui suur protsent kirurgi A patsientidest operatsiooni üle elas, ja võrrelda seda kirurgi B patsientide ellujäämismääraga.
- 95 patsienti 100-st jäi kirurgi A kaudu ellu, seega 95/100 = 95% neist jäi ellu.
- 72 patsienti 80-st elas kirurg B-ga ellu, seega 72/80 = 90% neist elas.
Milline kirurg peaks selle analüüsi põhjal valima, et meid ravida? Näib, et kirurg A on kindlam panus. Kuid kas see on tõsi?
Mis siis, kui me uuriksime andmeid täiendavalt ja leidsime, et algselt oli haigla kaalunud kahte erinevat tüüpi operatsiooni, kuid koondas seejärel kõik andmed kokku, et iga operatsiooni kohta aru anda kirurgid. Kõik operatsioonid pole võrdsed, mõnda peeti kõrge riskiga erakorraliseks operatsiooniks, teised aga rutiinsemat laadi, mis oli ette planeeritud.
100-st patsiendist, keda kirurg A ravis, oli 50 kõrge riskiga, neist kolm surid. Ülejäänud 50 peeti rutiinseks ja neist 2 surid. See tähendab, et rutiinse operatsiooni korral on kirurgi A poolt ravitud patsiendi elulemus 48/50 = 96%.
Nüüd vaatame hoolikamalt kirurgi B andmeid ja leiame, et 80 patsiendist 40 oli kõrge risk, neist seitse suri. Ülejäänud 40 olid rutiinsed ja ainult üks suri. See tähendab, et patsiendil on kirurgi B rutiinse operatsiooni korral ellujäämise määr 39/40 = 97,5%.
Milline kirurg tundub parem? Kui teie operatsioon peab olema rutiinne, on tegelikult kirurg B parem kirurg. Kui vaatame kõiki kirurgide tehtud operatsioone, on A parem. See on üsna vastuoluline. Sel juhul mõjutab operatsiooni tüübi varjatud muutuja kirurgide ühendatud andmeid.
Simpsoni paradoksi ajalugu
Simpsoni paradoks on oma nime saanud Edward Simpsoni järgi, kes kirjeldas seda paradoksi esmakordselt 1951. aasta artiklis "Eriolukorra tabelite koostoime tõlgendamine" Kuningliku statistikaühingu ajakiri. Pearson ja Yule täheldasid kumbki sarnast paradoksi pool sajandit varem kui Simpson, nii et Simpsoni paradoksi nimetatakse mõnikord ka Simpson-Yule efektiks.
Paradoksi laiaulatuslikke rakendusi on paljudes valdkondades nagu spordistatistika ja töötuse andmed. Kui andmeid kogutakse, jälgige, kas see paradoks ilmub.