bizonyítékok és szkeptikusok
TRANSCRIPT
A nagy dilemma – homeopátia teszt
A nagy dilemma – homeopátia teszt
Miről lesz szó?
Miért lehetséges azt állítani egy elméletről, hogy teljességgel bizonyítatlan, miközben léteznek kísérleti bizonyítékai?
• A bizonyítékoknak relevánsaknak kell lenniük. Olyan megfigyelések, amelyek nem az eredeti állítást bizonyítják vagy cáfolják, nem vehetők figyelembe.
• A bizonyítékok és a cáfolatok (negatív bizonyítékok) összességét együttesen kell figyelembe venni. A bizonyítékoknak egy irányba kell mutatniuk.
• A bizonyítékok értékelése nem választható el teljesen a lehetséges hatásmechanizmustól, attól, hogy az mennyire tekinthető plauzibilisnek (hihetőnek, valószínűnek) a jól megalapozott elméleti ismeretek fényében.
Ötven elemű pénzfeldobás-sorozatok
p(n=50,k>31) = 0,0325
Ha jó sokszor dobunk ötvenes sorozatot egy szabályos pénzérmével, akkor várhatóan a sorozatok 3,25%-ban 31-nél több fejet fogunk kapni. Tehát ezer ilyen ötvenes sorozatból harmincnál több ilyen esetünk lesz. Ezt tudva, ha csak egyetlen ötvenes sorozatot dobunk és 32 fejet kapunk, abból mit állapíthatunk meg?
A „szignifikáns” szó jelentésváltozása
*A statisztikai módszerek kidolgozásakor+ a szót a késői tizenkilencedik századi értelemben használták, azaz hogy a számítások jeleztek (signify), mutattak valamit. Ahogy az angol nyelv elért a huszadik századba, a „significant” szó kezdett más jelentést felvenni, mindaddig, amíg felvette a mai jelentését, hogy valami nagyon fontos.
David Salsburg: THE LADY TESTING TEA How Statistics Revolutionized Science in the Twentieth Century Holt paperbacks 2002, p. 97-98
Oxford CEBM Bizonyítékok Hierarchiája
http://www.cebm.net
Szint Bizonyíték
1Randomizált kontrollált vizsgálatok szisztematikus szakirodalmiáttekintése
2Randomizált kontrollált vizsgálatok vagy drámai hatású megfigyelésesvizsgálatok
3 Nem randomizált kohort és követéses vizsgálatok
4 Esetismertetések, eset-sorozatok vagy idősoros elemzések
5Hatásmechanizmus-alapú érvelés, szakértői vélemény, alapkutatási eredmények, tudományos alapelvek
JREF 1M dolláros kihívás
• Eredeti kiírás részlete:
Nem érdekel, milyen elméletek vagy magyarázatok szolgálhatnak a bemutatásra kerülő képességek alapjául; ilyen anyagokat ne is küldjenek be nekünk.
• Újabb kiírás részlete:
Feltételezések, hipotézisek vagy magyarázatok arról, hogy vajon hogyan működik a jelzett képesség szerepet játszhatnak a protokoll kidolgozásában. Egyébként nem szükséges ilyesmit mellékelni a jelentkezéshez.
http://www.randi.org
Bizonyítékok és ítélet
• Angolul
Evidence – bármi, ami egy állítás alátámasztására szolgál. Lehet gyenge, erős, irreleváns stb.
Proof – igazolások összessége, amely alapján egy állításról ki lehet mondani, hogy igaz
• Magyarul
Bizonyíték – A peres eljárásban a bizonyítékok csak szempontok az ítélet meghozatalához. A bizonyíték egyik legfontosabb válfaja az, amikor a tanú elmondja, hogy mit látott. Innen származik az evidencia terminus, amely a video (látni) igéből ered.
Evidencia/evidens – valamely tételnek, állításnak bizonyításra nem szoruló, nyilvánvaló volta (Bakos: Idegen szavak és kifejezések szótára)
Megfigyelések alapján elmélet?
• Általános az az elképzelés, hogy előbb vannak a megfigyelések, amelyek egyre gyűlnek, amíg egyszer csak elméletté állnak össze.
• Einsteinnek homlokegyenest ellenkező volt a véleménye. Az volt a felfogása, hogy a fizika alapvető elméleteit nem a kísérletekből dedukáljuk, hanem „szabadon kigondoljuk” őket.
Anomália-vadászat
• A null hipotézis tesztelését a valós életben mindig számos „zaj” nehezíti.
• Bármit is teszünk, zaj mindig lesz. A zaj önmagában nem bizonyíték konkrétan semmire.
• Ha a zajban mintát, jelet vélünk felfedezni, akkor arra hipotézist lehet alapozni és ez alapján lehet a kísérletet javítani, a jel/zaj arányt javítani.
• Csupán arra hivatkozva, hogy „valami van az adatokban” folytatni a kutatást, általában nem kifizetődő.
• Ha évtizedekig csak zajt figyelünk meg, az nem azt jelenti, hogy van ott valami, hanem valószínűleg azt, hogy nincs.
Anomália-vadászat: pszí-kutatás
J Pers Soc Psychol. 2011 Mar;100(3):407-25.
Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect
Bem DJ. – Department of Psychology, Uris Hall, Cornell University, Ithaca, NY 14853, USA.
Anomália-vadászat: pszí-kutatás
“Az általános tudományos megközelítés szerint először egy elmélet alapján hipotéziseket állítunk fel; teszteket tervezünk és hajtunk végre e hipotézisek tesztelésére; az eredményeket analizálva megállapítjuk, hogy azok alátámasztják vagy cáfolják a hipotézisünket; majd publikáljuk ezt az eseménysorozatot. (…) De valójában a mi vállalkozásunk nem így működik. A pszichológia ennél sokkal izgalmasabb…”
Bem, D. J. (2000). Writing an empirical article. In R. J. Sternberg (Ed.), Guide to publishing in psychology journals (pp. 3–16)
Anomália-vadászat: pszí-kutatás (2)
“Vizsgáljuk meg [az adatokat] minden oldalról! Analizáljuk a nemeket külön-külön! Alkossunk kombinált változókat az adatokból! Ha az adatok valami új hipotézist sugallnak, próbáljunk az adatokból bárhol erre további igazolást találni! Ha valami mintázat halvány jelét fedezed fel, szervezd át az adatokat, hogy napfényre hozd azt. Ha nem tetszik egy kísérleti alany, vagy ha egy kísérlet, szereplő nem passzoló adatokat ad, akkor időlegesen tedd ezeket félre, hátha valami koherens mintázat formálódik ezáltal. Bátran halássz az adatok közt valamiért, bármiért, érdekesért!”
Bem, D. J. (2000). Writing an empirical article. In R. J. Sternberg (Ed.), Guide to publishing in psychology journals (pp. 3–16)
Anomália-vadászat: éterelmélet
Az éter (pontosabban az éterszél) meglétét tesztelő híres Michelson-Morleyinterferométeres kísérlet és azok replikációimind negatívok voltak. Az egyetlen kivétel pont a legtöbb mérésen alapuló DaytonMiller-féle teszt (1902-1904).
Ezek szerint az éter léte egy kicsit bizonyítva van? Ezt csupán fizikusok egy elszigetelt csoportja gondolja. Az elfogadott vélemény szerint a kísérletben, esetleg az adatok értékelésében valamilyen ismeretlen hiba lehetett.
Anomália-vadászat: akupunktúra
Acupuncture-point stimulation for chemotherapy-induced nausea orvomiting (Cochrane elemzés, 2011.)
Az elemzés azt vizsgálja 11 kiválasztott klinikai teszt (1247 páciens) alapján, hogy a csuklón levő P6 akupunktúrás pont ingerlése alkalmas-e a kemoterápia után fellépő émelygési és hányási tünetek enyhítésére.
Kezelt csoport: antiemetikum + akupunktúrás kezelés
Kontroll csoport: csak antiemetikum
http://www.cochrane.org/reviews/en/ab002285.html
Anomália-vadászat: akupunktúra
Acupuncture-point stimulation for chemotherapy-induced nausea orvomiting (Cochrane elemzés, 2011.)
Elemzők konklúziója:
Ez az elemzés kiegészíti az eddigi operáció utáni émelygési és hányási tünetekre vonatkozó ismereteket és azt valószínűsíti, hogy az akupunktúrás kezelésnek van biológiai hatása kemoterápiás kezelés után is. Az elektroakupunktúra csökkenti az első napi hányás gyakoriságát, de további kutatások szükségesek modern antiemetikumokkal történő együttes kezelésekkel ahhoz, hogy megállapítható legyen a klinikai alkalmazhatóság. A páciensek saját maguk által használható akupresszúrája (SeaBand) csökkenti az első napi émelygés erősségét. A nem behatoló elektroakupunktúra (ReliefBand) nem tűnik klinikailag hatásos kiegészítőnek a modern antiemetikumok mellett.
http://www.cochrane.org/reviews/en/ab002285.html
Anomália-vadászat: akupunktúra
http://gabor.hrasko.com/Acupuncture_20091013.pdf
Akupresszúránál (amely nem szúrás, hanem csak felszíni nyomás) általában a SeaBand akupresszúra csuklópántot használták: http://www.sea-band.comA nem behatoló elektromos akupunktúra kísérletekben az elektromos impulzusokat kibocsátó ReliefBand készüléket alkalmazták, amely a TENS (transcutaneouselectrical nerve stimulation – bőrön keresztüli elektromos ideg ingerlés) technikán alapul: http://www.reliefband.com
Anomália-vadászat: akupunktúra
http://gabor.hrasko.com/Acupuncture_20091013.pdf
Teszt Résztvevőkszáma
Típus Akuthányás
Akutémelygés
McMillan 1991 16 TENS ? ?
Pearl 1999 42 Nem behatoló e-akupunktúra
Treish 2003 49 Nem behatoló e-akupunktúra
Roscoe 2002 42 Nem behatoló e-akupunktúra
Roscoe 2003 747Nem behatoló e-akupunktúra
Akupresszúra
Dibble 2000 17 Akupresszúra
Noga 2002 120 Akupresszúra
Dundee 1987 10 E-akupunktúra
Dundee 1988 20 E-akupunktúra
Shen 2000 104 E-akupunktúra
Streitberger 2003 80 Manuális akupunktúra
Anomália-vadászat: homeopátia
A Benveniste féle homeopátia tesztekben a hatékonyság nem követte a potenciálás szabályának megfelelő változást, hanem véletlenszerű ingadozást (“ciklikusság”) mutatott.
