Tag: statistics

Istinom do neistine

On 16th September 2022

Statistika je nelaka stvar. Brojevi, brojevi, hrpa brojeva, brojevi u svezi s drugim brojevima, brojevi koji utječu na neke druge brojeve, brojevi koji nemaju veze s drugim brojevima, korelacije, odnosi, omjeri… Nije čudno što prosječna osoba obično nema volju baviti se statistikom. Nemam ni ja, a ponekad je nemaju ni statističari, no to je struka koju su si sami izabrali.

Statistika je alat koji nam omogućuje uvid u stvarnost, alat koji nam pokaže kakvo je stanje na terenu, a što ne mora biti u skladu sa stanjem u našim glavama. Statistika je tu neumoljiva i ne laže. Može li statistika ipak lagati, kao u onoj proverbijalnoj poslovici o “laži, prokletoj laži i statistici”?

Tehnički, ne: statistika je kutija s alatima, doduše matematičkim i poprilično kompliciranim, no alat sam po sebi nije kriv. Izaberete li pogrešan čekić ili okrenete pogrešnu stranu ispravnog čekića, umjesto zakucavanja čavla počiniti ćete fizičku, možda i duševnu bol samima sebi ili nekoj drugoj osobi koja pridržava čavao. Obično to nije namjerno. Ponekad jest.

Osoba koja se bavi statistikom može pogriješiti slučajno, ako pogrešno izabere parametre unutar kojih će primijeniti statističke alate, ali može “pogriješiti” i namjerno, svjesno birajući pogrešne parametre pomoću kojih će statistički alat prikazati rezultat koji odgovara počinitelju manipulacije.

Nedavno sam naišao na jedan izvrstan primjer koji vrlo jasno demonstrira jedan od najjednostavnijih načina manipulacije podacima tako da rezultat odgovara željenom, a ne istinitom: autor (koji vjerojatno želi ostati anoniman) je ustvrdio kako su epidemijske mjere uzrokovale ozbiljne psihičke probleme u populaciji:

Autor tako navodi, citiram:

porast od 82% u broju slučajeva prisilnih hospitalizacija kod shizofrenih poremećaja;
68% porast hospitalizacija kod poremećaja prehrane/opsesivno-kompulzivnih slučajeva;
35% porasta prisilnih hospitalizacija paranoje i akutnih psihotičnih poremećaja;
9% porast slučajeva mentalnih poremećaja naših malih ‘vreća virusa’ sa krhkim ‘osjećajčićima’.

Autor grafa kritičar je epidemijskih mjera i njegov je argument kako se ovo sve dogodilo zbog lockdowna.

I, znate što? Kad ovo ovako pogledamo – ispada u pravu! Podaci su točni. Podaci nisu lažni, brojevi su ispravni, nema tu nikakve prevare.

U kojem se detalju onda krije proverbijalni vrag? Ako su brojevi dobro izračunati, onda moraju biti istiniti, a zaključak ispravan, zar ne?

Pa, ne.

Pogreška je u vrlo usko izabranom vremenskom opsegu koji ne daje širu sliku. Ovaj bi izračun bio ispravan samo ako u prijašnjim godinama ne bismo imali niti jedan slučaj od gore navedenih, pa ne bismo mogli uspoređivati dulje u prošlost. Trendove je iznimno teško predviđati u malim odsječcima; demonstrirajmo to jednostavnom igrom: vaš je zadatak pogoditi koji broj dolazi nakon ovih:

104, 23, 105, -16, 106, ?

Teško je procijeniti koji broj slijedi jer imamo tek tri broja koj bi mogli imati očiti slijed (104 -106), ali nije jednostavno uočiti zašto baš 23 i -16, i koji broj bi trebalo staviti umjesto upitnika. Pogledajmo niz u cijelosti:

100, 99, 101, 92, 102, 77, 103, 54, 104, 23, 105, -16, 106, ?

Kada imamo potpuniji set podataka, možda možemo pogoditi princip. Uočavamo kako niz započinje brojem 100, i kako je na svim neparnim pozicijama broj koji je za jedan veći od onog s prethodne neparne pozicije. Parne pozicije kreću gotovo iz iste vrijedosti, ali naglo padaju. No, zahvaljujući većem broju podataka u nekom trenutku možemo otkriti da nastaju tako što od brojeva na neparnim pozicijama oduzmemo kvadrat vrijednosti pozicije: broj 101 je na trećem mjestu, dakle 101-3^2=92. Potom 102-5^2=77. I tako dalje, pravilo odjednom postaje vrlo jasno i možemo ga ispravno nastaviti koliko god to želimo, ali ovo pravilo nikada ne bismo zaključili iz onog prvog, nepotpunog niza.

Iz tog primjera vidimo kako je vrlo teško pogoditi stvarni trend ako je broj uzoraka mali, ali što je veći broj uzoraka trend postaje sve jasniji. Tako i s ovim podacima, naprosto pogledajmo kako ti brojevi izgledaju kad ih stavimo u višegodišnju, puno širu perspektivu:

(link)

Uzevši u obzir duže vremensko razdoblje, a koristeći iste podatke kao i anonimni autor (samo u kompletnijem obimu), možemo steći širu sliku stvarnosti i provjeriti drže li gore navedeni argumenti vodu?

“porast od 82% u broju slučajeva prisilnih hospitalizacija kod shizofrenih poremećaja”

Iako je točno kako je usporedbom 2019. i 2021. godine uočen rast od 81% (krivulja na našem grafu blago ide prema gore), kad ovako jednostavno vidimo širu sliku možemo i tu naoko ogromnu promjenu staviti u perspektivu: pogledamo li graf, taj strašni rast odjednom ne izgleda više tako strašan, zar ne? Dapače, u odnosu na godine do 2016. čini se kako smo postali mentalno zbilja zdrava nacija!

Molim da uočite kako je autor, izabravši vrlo usko vremensko razdoblje, naštimao rezultat da vuče vodu na njegov mlin; širim pogledom uočavamo kako lockdown nije toliko utjecao na porast prisilnog liječenja; čak dapače, uzmemo li neke druge vrijednosti i njih statistički masakriramo, možemo primjerice reći kako je lockdown smanjio broj slučajeva prisilnog liječenja za gotovo 90% u odnosu na 2014. godinu.

U oba slučaja ne bavimo se dobrom (a ni poštenom) statistikom. No, ovaj moj argument da je lockdown pogodovao zdravlju jednako je (ne)valjan kao i onaj da je naštetio.

Ovaj graf problematičan je iz drugog razloga: nakon perioda rasta broja prisilnih hospitalizacija, vidimo da se u 2016. godini nešto promjenilo. Kako je malo vjerojatno da smo kao nacija postali psihički stabilniji i mentalno zdraviji u tako kratkom roku, ovakve rezultate proizvelo je nešto drugo. Što je to bilo, to tek treba otkriti. Možda su 2015. godine uvedena nova pravila hospitalizacije, ili je bolnicama nestalo novčanih sredstava, ili je možda neka druga politička intervencija u pitanju – ne znam. Ono što s priličnom sigurnošću mogu pretpostaviti je da se to nije dogodilo iz medicinskih razloga.

A rekao bih i kako se pad broja hospitalizacija primjeti na društvenim mrežama i u komentarima ispod novinskih članaka.

“68% porast hospitalizacija kod poremećaja prehrane/opsesivno-kompulzivnih slučajeva”

Ako je namjera autora bila reći kako su ljudi u nervozi lockdowna više jeli ili se osjećali nervozno, ja bih se s tim složio. Dugoročni trendovi, pak, ukazuju na to da jest bilo povećanja 2019.-2021. ali da je u prosjeku broj slučajeva tu negdje kao i prije, i ne odskače značajno. Dapače, i ovdje vidimo da je vrhunac bio 2015. godine, nakon čega slijedi pad, ali općeniti trend ne pokazuje tako veliki rast kako autor pokušava prikazati.

“35% porasta prisilnih hospitalizacija paranoje i akutnih psihotičnih poremećaja”

Ovaj grafikon očekivano je sličan grafikonu prisilnog liječenja shizofrenih poremećaja. I ponovo imamo isti primjer loše statistike, gdje zbog uskog vremenskog opsega ne vidimo širu sliku. Sve navedeno u primjeru shizofrenije važi i za ovaj argument. Inače, broj U62B slučajeva koji nisu zahtjevali hospitalizaciju u periodu 2019.-2021. pao je za 14.5% – kako to objasniti, ako je lockdown tako strašno psihički poguban?

“9% porast slučajeva mentalnih poremećaja naših malih ‘vreća virusa’ sa krhkim ‘osjećajčićima’”

Izuzmemo li autorov pokušaj sotoniziranja znanstvenika i medicinara koji se zalažu za lockdown ili cijepljenje djece, ovaj graf otkriva nam ne samo emocionalnu manipulaciju autora, već i tužnu činjenicu da ovdje možemo jasno uočiti rastući trend mentalnih poremećaja u dječjoj dobi koji raste od 2012. godine, da bi u pandemijskoj 2020. godini zabilježio pad i potom se 2021. godine zapravo “vratio na staro”, u svom lošem smjeru. Ovdje bih ja mogao protivnički-slavodobitno vikati “gle kako je lockdown u 2020. smanjio broj mentalnih poremećaja djece, aha! aha!” – no, to bi bilo pogrešno jer bih počinio istu manipulatorsku pogrešku; što je točno uzrokovalo taj pad mogu samo nagađati – je li to bila posljedica smanjene mentalne skrbi i posljedično manje dokumentiranih slučajeva, ili je ostanak kod kuće u obitelji blagotvorno djelovao na djecu, ili je možda čak i online nastava blagotvorno djelovala na dječju psihu… sve su to samo nagađanja. Jednostavno ne znam što se dogodilo, niti sam stručan procjenjivati što bi mogao biti uzrok, a tema je isuviše ozbiljna da bih se usudio njome špekulirati i koristiti kao neki svoj privatni argument. Ono što jasno vidim, nažalost, jest taj nesretni trend koji se povećava i zbilja bismo nešto trebali učiniti po tom pitanju: epidemijske mjere ne smiju nam biti izlika za nečinjenje.

Gdje je istina?

Ja – ne znam. Nisam stručan procjeniti što se događa s mentalnim zdravljem nacije. Jednako kao i statistika anonimnog autora, i ova moja (čitaj: koju je izvukao Petar Palašek iz podataka CEZIH-a, a ja samo nalijepio ovdje) je nepotpuna – ide tek do 2011. godine – i kao takva ne seže dublje u prošlost, gdje bismo možda mogli pronaći dodatne važne djeliće ove slagalice.

Ono što mogu reći je da je statistika koju sam ja prikazao bliža istini od statistike anonimnog autora. Iako je i njegova matematički ispravna, činjenica da je izabrao tako mali uzorak ukazuje na to da je, matematičkoj ispravnosti unatoč, ovaj izračun napravljen ne da bi tragao za istinom, već da bi nametnuo autorovu viziju istine. Iz ovih je primjera vrlo razvidno kako jednostavnom operacijom, povećanjem uzorka (tj. prikazivanjem više godina) možemo vrlo lako otkriti da stvarnost nije onakva kakvu nam je žele prikazati. Zbog toga uvijek treba biti oprezan kad nam netko pokuša statističke podatke prikazati kao neumitnu istinu: možda ta statistika nije dobro odrađena, možda se autor lupio statističkim čekićem po prstu, a možda je autoru i bila namjera tim čekićem lupiti vaš prst.

P.S. zaista, što se to u sustavu dogodilo 2015. godine?!?!

Visits: 326

Medijski bias prema Astra Zeneca cjepivu

By rado

On 8th April 2021

In Croatian

Svjedočili smo velikom interesu javnosti i (posebice) medija za nuspojave cijepljenja cjepivom protiv Covid-19 proizvođača Astra Zeneca. Popraćeni brojnim medijskim napisima o štetnim, dapače smrtonosnim posljedicama cijepljenja tim cjepivom, javnost se s pravom upitala koliko je sigurno cijepiti se tim cjepivom, ili uopće? Čak je i EMA reagirala, objaviviši preporuku da se u moguće rijetke nuspojave cjepiva uvrsti i trombocitopenija, poremećaj zgrušnjavanja krvi koji može ozbiljno ugroziti zdravlje.

Je li na kraju priče sve ispalo tek veliki lov na samo jednu vješticu? Naime, medijska pozornost bila je iznimno fokusirana na AZ cjepivo, dok se o nuspojavama kod drugih proizvođača nije baš ništa spominjalo, iako situacija ni kod njih nije tako ružičasta: Pfizerovo cjepivo također ima prijavljenu trombocitopeniju kao nuspojavu (čak i fatalnu), jednako tako i Modernino.

Trombocitopenija je poremećaj zgrušnjavanja krvi u kojoj dolazi do abnormalno niskog broja krvnih pločica, što izaziva poremećaje u zgrušnjavanju i može izazvati unutrašnja krvarenja, ozljede koje teško zarastaju, pa i ishemijski udar. Trombocitopeniju može izazvati široki raspon uzroka, može biti životno ugrožavajuća, ali utješno je što je to poremećaj koji je vrlo dobro istražen i kojeg znamo liječiti.

Kako to da se onda spominje samo AZ kao potencijalno po život opasno cjepivo, dok se drugi proizvođači ne spominju? Jesu li njihova cjepiva sigurnija, pouzdanija?

Odgovor na to pokušat ćemo dokučiti pomoću proračunskih tablica i grafikona, alata iznimno popularnih u amaterskoj epidemiologiji.

Za početak, pogledajmo kako se ponašaju čisti podaci (izvor: HZJZ) u jednostavnoj tablici; podaci se odnose na Republiku Hrvatsku, na razdoblje do početka travnja, u kojem je vremenu distribuirano ukupno (nekima u jednom cijepljenju, nekima u dva cijepljenja) blizu pola milijuna doza svih cjepiva.

(uočite visoku preciznost jednostavnog postotnog računa koja želi naglasiti dubinu promišljanja problema)

Ono što možemo uočiti i prostim okom je činjenica da je, velikim očima (i prihvatljivoj cijeni) unatoč, AZ cjepivo distribuirano u relativno maloj količini: 32% ukupnog broja doza. Primat drži Comirnaty s 55%, famozno Pfizerovo “cjepivo za društvenu elitu i tko-zna-koga-na-pravom-mjestu”. To je, sad vidimo, malo u neskladu s narodnim dojmom kako je AZ cjepivo masovno korišteno za cijepljenje stoke sitnog zuba, dok je za krupnozubatu rezervirano “kvalitetno” cjepivo koje nema nuspojave.

A što ćemo s nuspojavama? I njih ćemo, naravno, prikazati. Prikazat ćemo ih grafički, kako bi rast pada i pad rasta odmah bili uočljivi i najvećim laicima, te kako ne bi bilo zabune u proporcijama. Model prikaza baziran je na postotnom računu, metodologiju nećete dobiti jer se to ne priliči u miljeu epidemiologa amatera.

Razbijmo najprije ideju da je jedno cjepivo bolje od drugog:

(spljošteni graf vizualno smanjuje razliku)

Kako je iz gornjeg grafa golim okom vidljivo, razlike su male. One bi ostale male i kad bismo ovaj namjerno spljošteni graf raširili na punu visinu: “najzdravije” cjepivo (Moderna) ima 0.27% nuspojava (jedna od četiristo osoba), dok su Comirnaty i AZ zapravo blizu jedan drugome: 0.42% (jedna od dvjesto i nešto sitno osoba) i 0.55% (jedna od, hm, malo manje od dvjesto osoba).

Prije nego li brzopleto i slavodobitno zaključimo kako je rješenje jednostavno: trebamo se svi cijepiti Moderninim cjepivom, moramo ipak imati na umu jedan ograničavajući faktor koji nas spriječava da proglasimo proljetni kolaps ovih drugih cjepiva: riječ je o malom broju uzoraka, što je i jedna od češćih statističkih pogreški. Što je veći broj uzoraka koje obrađujemo, vjerodostojniji su rezultati koje dobivamo. Ako je broj uzoraka mali, ekstremne vrijednosti imaju veću težinu, i obrnuto: što je veći broj uzoraka, ekstremne vrijednosti se lakše definiraju kao to što jesu: ekstremne vrijednosti, iznimka od pravila, ne ono što nas zbilja zanima.

Vrlo je vjerojatno da sva cjepiva imaju sličnu količinu nuspojava. Iz ovog malog skupa podataka možemo vidjeti kako su Pfizer i AZ zapravo tu negdje, no Moderna zbunjuje svojom naizgled boljom sigurnošću; no, uvidom u podatke otkrivamo kako je broj cijepljenja Modernom značajno manji (jedna trećina broja AZ, odnosno jedna petina broja Pfizer doza), zbog čega nam se vjerojatno potkrao tako dobar statistički rezultat.

Koje je, onda, cjepivo po Hrvate najopasnije? Prikažimo to brojem ukupno prijavljenih nuspojava:

Po prikazanom grafu, najviše nuspojava ima Pfizerovo cjepivo, a slijedi ga Astra Zeneca, te megasigurna Moderna.

No, je li tome zbilja tako? Ako bismo u obzir uzeli samo ovakvu informaciju, ne znajući druge ključne detalje, mogli bismo zaključiti kako cijelo vrijeme (medijski) ganjamo pogrešnu lisicu. Tek kad u ovaj graf uvrstimo i broj danih doza cjepiva dobivamo realističniji prikaz:

Ako vam se čini da graf nije dobar, jer ne vidite gdje su nuspojave – one su tu, prikazane su na vrhu stupca, zelenom bojom, za sva tri cjepiva. Ne možete ih vidjeti jer je njihov broj u odnosu na ukupni broj cijepljenja vrlo, vrlo malen.

Možemo se još malo poigrati s grafikonom, i to tako što ćemo smanjiti opseg po osi Y, odnosno broju danih doza:

I evo ga, zeleni podatak pojavio se na vrhu dva stupca. Uočite kako je jedan stupac, onaj Moderne, u potpunosti nestao jer je izvan opsega po osi Y. Ovakvom manipulacijom podacima uspjeli smo postići dvije stvari: zeleni komad AZ cjepiva naizgled zauzima veću ukupnu površinu nego onaj Pfizerovog (koji je u stvarnosti površinom 50% veći od svog prethodnika, tj. Pfizerovih nuspojava ima koliko AZ-ovih, i još upola toliko), a graf sugerira i da kod Moderne nema spomena vrijednih nuspojava, ili da Modernina cjepiva uopće nismo ni koristili. Eto što može učiniti jedno spretno uvećanje grafikona!

Ako vas je sve ovo zbunilo, nemojte se zabrinuti. Gornji tekst je namjerno napisan da manipuliranjem esencijalno točnih podataka kod čitatelja izazove zbunjenost, kako bi mu poljuljao stav o nečemu, ili čak formirao drugačije mišljenje. Imajte to na umu kad sljedeći put budete gledali naizgled jednostavne i samorazumljive grafikone.

Ako vas cijela priča sad plaši još i više, ne plašite se, jer slijedi pojašnjenje sukusa stvari:

Nema velike razlike u količini nuspojava između Pfizerovog i AZ cjepiva; Modernino cjepivo se čini sigurnije, ali ono je i najmanje korišteno – veći broj danih doza mogao bi ovu zasad vidljivu razliku na kraju možda i izjednačiti;
nuspojave navedene u ovom tekstu su sve zabilježene nuspojave: od vrlo benignog oteknuća ili boli na mjestu uboda, do ozbiljnih problema sa zgrušnjavanjem krvi;
ovih ozbiljnih puno je manje od onih benignih, iako sve nuspojave ulaze u statistiku;
prilikom cijepljenja postoji mogućnost nuspojava, pa i onih ozbiljnih, ali one su toliko rijetke da opasnost od posljedica oboljevanja daleko nadmašuje opasnost od ozbiljnih nuspojava cijepljenja;
najzad, možda za ovu priču najbitnije: sad kad otprilike znamo kakve su opasnosti od ozbiljnih nuspojava (konkretno, koagulopatija), možemo ih efikasno držati pod kontrolom jer je riječ o problemima na koje imamo kvalitetan odgovor;
nije pogrešno imati strah od cjepiva ili posljedične tromboze i biti oprezan; ne valja pritom nekritički prihvaćati popularna mišljenja i informacije koje se rado šire društvenim mrežama.

Za zaključak, vratimo se na ono pitanje iz clickbait naslova, koje je ostalo neodgovoreno: zašto postoji medijski bias prema AZ cjepivu? Kako vidimo, i druga cjepiva imaju slične nuspojave u otprilike istom broju, no samo se AZ cjepivo tjednima razvlačilo po medijima kao problematično. Na to pitanje teško je dati nedvosmislen odgovor. To može biti hladni rat između EU i Astra Zenece zbog uvjeta i isporuke, ali može biti i PR napor konkurencije. A može biti i “njušenje krvi” medija koji su osjetili kako AZ stvara situaciju koja se može iskoristiti za mnoštvo klikova i zarade – pa ima smisla tu priču potencirati.

Što god bio uzrok, pa čak i ako pravog uzroka nema, ako je sve bio tek medijski zakuhan lov na vješticu, puno šira šteta nastala je gubitkom povjerenja prema cijepljenju. Ako je netko zbilja i mislio kako će od ovog profitirati na neki način, ispao je u krivu. Nepotrebno izazvan negativni efekt koji zahvaća sve, i vlade, i narode, i proizvođače cjepiva – trebati će dugo vremena ispravljati.

Izjava o sukobu interesa: autor teksta je farmakoprofiterski dioničar tvrtke Astra Zeneca, s udjelom u vrijednosti od 13.77USD.

Visits: 992