Alcuni studi scientifici non sono riproducibili: è un problema, ma anche un'occasione per migliorare
Un team di ricercatori prova a riprodurre alcuni studi pubblicati sulle più autorevoli testate e i risultati non sono entusiasmanti. Eppure, per il mondo scientifico, questa potrebbe essere una grande opportunità.
Il processo di revisione tra pari alla base della pubblicazione di uno studio scientifico ha delle pecche che periodicamente emergono. Un problema complesso, perché al momento è il sistema migliore che abbiamo.
Quanto sono affidabili gli studi scientifici? La domanda non è banale né del tutto nuova: il dibattito sulla riproducibilità delle ricerche, e quindi sulla loro effettiva validità, è al centro della disputa scientifica da alcuni anni.
A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.
LA REVISIONE DEI PARI NON BASTA. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.
Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.
Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.
METODO SCIENTIFICO? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.
Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.
A gettare benzina sul fuoco è una recente analisi condotta presso il California Institute of Technology che coinvolge alcuni lavori pubblicati su Nature e Science, probabilmente le due testate scientifiche più blasonate al mondo.
LA REVISIONE DEI PARI NON BASTA. I ricercatori del CalTech hanno preso in esame 21 paper sulle scienze sociali pubblicati tra il 2010 e il 2015 sui due giornali e sottoposti al processo di peer review, cioè verificati prima della pubblicazione da altri scienziati ed esperti che ne hanno confermato la bontà.
Le conclusioni sono state pubblicate su Nature Human Behaviour e confermano i risultati ottenuti da analoghi lavori condotti in passato su decine di studi in ambito medico, economico e psicologico.
Il team californiano ha riprodotto le 21 ricerche con modalità assolutamente identiche a quelle impiegate negli studi originali, ma utilizzando campioni statistici 5 volte più grandi.
METODO SCIENTIFICO? Dei 21 studi solo 13, cioè il 62%, hanno più o meno confermato le conclusioni degli studi originali: in molti casi la maggior ampiezza del campione utilizzato ha infatti notevolmente indebolito (fino al 50%) i risultati pubblicati dai relativi precedenti studi pubblicati sulle due riviste. Gli altri 8 studi, una volta riprodotti, hanno portato a conclusioni completamente diverse rispetto a quelle delle ricerche originali.
Ma è davvero un problema? Probabilmente no: l'impossibilità di riprodurre uno studio non significa necessariamente che quello originale fosse sbagliato. Potrebbe per esempio esserci qualche differenza nel contesto sociale o culturale nel quale sono state condotte le due versioni della ricerca. È comunque innegabile che i risultati ottenuti dalla CalTech aprano lo spiraglio a numerosi dubbi e riducano l'affidabilità di questi studi.
L'OCCHIO DELLO SCIENZIATO. Ciò che forse sorprende di più è però scoprire che questi risultati non sono stati affatto una sorpresa per la comunità scientifica: una serie di interviste condotte parallelamente allo studio ha infatti rivelato come ricercatori ed esperti della materia fossero perfettamente in grado di prevedere quali studi sarebbero stati replicabili e quali no.
Sembra insomma che gli scienziati abbiano sufficiente conoscenza e capacità di discernimento per interpretare correttamente ciò che leggono sulle riviste.
UNA NUOVA SCIENZA. Lo studio californiano evidenzia comunque l'esistenza di ampi margini di miglioramento nel mondo della ricerca: per esempio nella progettazione degli esperimenti, o nei criteri utilizzati per valutare la loro significatività. Detto con altre parole significa cambiare il modo di fare scienza.
Alcuni ricercatori suggeriscono di modificare in maniera più stringente i parametri statistici utilizzati per valutare la significatività delle conclusioni alle quali giungono gli studi.
Altri, per evitare la tentazione di opportunistiche "sviste", propongono l'obbligo, per gli scienziati, di comunicare in anticipo l'intenzione di pubblicare i loro lavori, i parametri e i metodi sperimentali che si intendono usare: questo impedirebbe di scartare gli esperimenti che conducono a risultati non in linea con le aspettative.
«Non direi che ci troviamo di fronte a una crisi» spiega al GuardianBrian Nosek, direttore del Center for Open Science, «quanto piuttosto a una trasformazione. Dobbiamo diventare più rigorosi e trasparenti in tutto ciò che riguarda la ricerca nelle scienze sociali».
Commenti
Posta un commento