Big data e scienza: possiamo far dire ai dati tutto quello che vogliamo?
Forse non è del tutto vero, sostiene Rémi Sussan in un interessante articolo su Internetactu, ma i dati hanno un significato solo in un contesto sperimentale ben definito: in ogni caso è ancora lontano il tempo in cui le statistiche rimpiazzeranno la ‘buona scienza’ .
Le statistiche sono infatti lontane dall’ essere ‘’ uno strumento facilmente maneggiabile, e le trappole metodologiche non mancano’’, come dimostrano le bufale relative alle ricerche pseudoscientifico secondo cui il cioccolato farebbe dimagrire mentre la carne rossa accorcerebbe la vita
FAIT-ON DIRE CE QU’ ON VEUT AUX CHIFFRES?
di Rémi Sussan
Sembra che ormai tutto sia stato deciso: la conoscenza dovrebbe progredire attraverso la moltiplicazione dei dati e il loro trattamento scientifico. Tanto che alcuni (e non persone da poco, come Chris Anderson, su Edge.org) dichiarano ormai superato il buon vecchio metodo scientifico. I Big Data stanno per permetterci di fare a meno delle teorie, sembra. Ma le statistiche son lontane dall’ essere uno strumento facilmente maneggiabile, e le trappole metodologiche non mancano.
Verità che gli adepti contemporanei del Quantified self rischiano di scoprire a loro spese se decidono di fidarsi un po’ troppo facilmente dei vari studi che si occupano di sanità. Nelle ultime settimane la stampa internazionale (…) ha dato larga eco a diverse ricerche: la prima sosteneva che il cioccolato potrebbe far dimagrire, mentre la carne rossa ci abbrevierebbe la vita. Ancora più recentemente abbiamo imparato che il caffè allunga la vita.
Gary Taubes, autore di numerose opere scientifiche, fra cui Good calories, bad calories (…) si è soffermato su Discover Magazine sul valore di questo genere di lavori.
L’ epidemiologia osservazionale
L’ autore rileva che queste ricerche possono essere considerate come un prodotto di quella branca denominata ‘’epidemiologia osservazionale’’, che egli considera ‘’più vicina alla pseudoscienza che alla scienza reale’’.
Basandosi sui lavori del filosofo ed epistemologo Karl Popper, Taubes ricorda che ‘’il metodo scientifico consiste nel fare delle congetture audaci e poi nel trovare dei mezzi complessi ed ingegnosi per confutarle’’.
L’ osservazione secondo cui la carne rossa potrebbe ridurre la durata della vita è una di queste ‘’congetture audaci’’, spiega Taubes.
‘’Tutti possono fare delle congetture audaci – spiega -. Per esempio, ‘gli extraterrestri provocano delle malattie cardiache’…La difficoltà è mettere a punto dei mezzi ingegnosi e seri per confutarlo’’.
Come funzionano questi studi basati sull’ osservazione? Si prendono migliaia di soggetti, li si convince a riempire un questionario e li si segue nell’ arco di alcuni anni.
Una delle prime cause di errore in questo genere di lavori è la confusione delle cause. Così, se si considera una scala che va dai vetegariani puri e duri finio ai consumatori quasi esclusivi di carne rossa, si osserva che gli altri fattori di mortalità aumentano nella stessa proporzione delle abitudini carnivore. In altre parole, più si consuma carne, più si fuma, si beve, si è sedentari, ecc. Difficile in queste condizioni isolare la carne rossa come il fattore che limita la longevità.
Taubes cita un altra forzatura spesso ignorata: quella della “conformità”. E la illustra con l’ esempio seguente. Un esperimento effettuato su una medicina per il cuore, realizzata con tutte le necessarie precauzioni (cioè anche con un gruppo che utilizza dei placebo), si era rivelata un fallimento e i ricercatori ne avevano dedotto l’ inefficacia del prodotto in questione. Tuttavia non si sono fermati e si sono chiesti chi, fra i soggetti coinvolti, aveva realmente ingerito il farmaco. E così hanno scoperto, con grande soddisfazione, che i pazienti che avevano seguito scrupolosamente il protocollo avevano in effetti beneficiato in una maggiore longevità rispetto agli altri. Questo sarebbe potuto bastare per dimostrare alla fine che la medicina era efficace, aggiunge Taubes, ma i ricercatori non si sono fermati e hanno scoperto che anche i consumatori ‘’regolari’’ del placebo vedevano migliorare la loro salute in proporzioni altrettanto nette! Taubes attribuisce ciò al fatto che chi usava il placebo si mostravano pronti a seguire le raccomandazioni del proprio medico. Un parametro difficile da valutare quando si effettuano delle osservazioni semplici.
Un’ altra fonte di possibile errore è legata alla cosiddetta ‘’percentuale constatata’’. Gli studi sulla carne rossa indicano che l’ aumento della mortalità è dell’ ordine del 20%. Si tratta di una cifra quasi insignificante. Soprattutto se la si compara col tabacco: un fumatore ha 20 volte più rischi di un non fumatore di ammalarsi di un cancro al polmone. In altre parole il rischio provocato dalla carne rossa è 100 volte inferiore a quello registrato con il tabacco. Un dato così lieve non è assolutamente significativo, afferma Taubes. Mentre la semplice osservazione basta a stabilire la pericolosità del tabacco, a causa della rilevanza della mortalità che vi è associata, non si può dire lo stesso della carne rossa.
Un’ altra possibilità di errore sta nella confusione fra la causa e l’ effetto. Il cioccolato aiuta veramente a dimagrire? Forse, invece di pensare – arguisce Taubes – che chi mangia cioccolato ha la tendenza ad essere più magro, bisognerebbe considerare che la gente magra mangia più facilmente del cioccolato, perché sanno che possono permetterselo. Le persone più in carne invece sanno bene che quel prodotto potrebbe avere per loro delle conseguenze negative. E posso confermare il sospetto di Taubes su questo punto. Conosco una persona che si nutre essenzialmente di Granola e che non prende mai un grammo. Una dieta che io non potrei mai permettermi.
Per Taubes questi esperimenti basati sull’ osservazione pura non hanno niente della vera scienza, che si basa non su delle osservazioni ‘nude’ma su degli esperimenti.
“Abbiamo a disposizione almeno due tipi di ragionamento per spiegare la minuscola associazione tra consumo di carne e crescita della mortalità. La prima è dedurre che quest’ ultima venga provocata dalla carne stessa. L’ altra è che essa venga determinata da comportamenti che sono associati al consumo di carne. A questo punto la soluzione sarebbe fare un esperimento per vedere dov’ è la ragione. Cominciate con un insieme di soggetti e suddivideteli causalmente in due gruppi: uno con una dieta ricca di carne rossa e cucinata, l’ altro con una dieta povera di carne, una dieta essenzialmente vegetariana. Distribuento le persone per caso in ognuno dei gruppi possiamo sbarazzarci dei fattori comportamentali (socio-economici, educativi, ecc.) che potrebbero associarsi alla scelta personale di essere vegetariano o quasi vegetariano o invece mangiatore di carnivoro’’.
Da notare che Taubes riferisce che tali esperimenti sono stati fatti. E cita uno studio dell’ università di Stanford, basato su questi principi, che, contrariamente all’ opinione comune, ha scoperto che le diete ricche di proteine e povere di idrati di carbonio si rivelavano preferibili non solo per la perdita di peso, ma anche per la salute in generale. Da notare anche, tuttavia, che nei suoi libri Taubes si mostra un difensore convinto delle diete iperproteiche, e quindi anche lui ha qualche inclinazione che non si può dimenticare quando lo si legge (chiedendosi ad esempio se non ci sia qualche altro esperimento che potrebbe portare a conseguenze opposte, ad esempio), ma ciò a mio avviso non inficia la giustezza del suo ragionamento generale.
Causalità o correlazione
Intendiamoci, qujesti errori epistemologici non riguardano solo la salute o il peso. La confusione fra causalità e correlazione è frequente ogni volta che si studia un fenomeno che non si presta a una verifica sperimentale – e quindi praticamente a tutte le questioni che toccano la sociologia.
I ripetuti studi che cercano di mostrare i pericoli o, al contrario, i benefici dei nuovi media, dei videogiochi, ecc., sono in particolare a rischio di cadere in questo errore. E questo non riguarda solo gli appassionati. Si pensi ad esempio al ragionamento della baronessa Susan Greenfield, una delle più celebri psicologhe britanniche, quando afferma: “Registro da un lato l’ aumento dell’ autismo e dall’altro l’ uso di internet. E’ tutto’’.
Una affermazione così pseudoscientifica e perentoria che ha fatto nascere un tag twitter specifico, #greenfieldism, dedicato alle affermazioni più assurde. “Registro da un lato il diabete e dall’ altro i gatti. E’ tutto’’. “Registro da un lato il riscaldamento del pianeta e dall’ altro il porno. E’ tutto’’. “Le allergie alle noccioline e il successo dei Kardashian hanno registrato simultaneamente un aumento. Sono sicuro che non può essere una coincidenza’’.
Un detto popolare afferma: si può far dire quello che si vuole alle cifre. Forse non è del tutto vero, ma i dati hanno un significato solo in un contesto sperimentale ben definito. In ogni caso è ancora lontano il tempo in cui le statistiche rimpiazzeranno la ‘buona scienza’ ‘’.