Il est difficile d'argumenter contre le pouvoir de la science. Des études évaluant les dernières tendances alimentaires aux expériences éclairant les prédicteurs du bonheur, les résultats scientifiques sont de plus en plus considérés par les scientifiques comme des faits concrets et fiables pouvant régir notre façon de penser et d’agir.
Contenu connexe
- Les scientifiques ont répliqué 100 études de psychologie et moins de la moitié ont obtenu les mêmes résultats
Mais au cours des dernières années, un nombre croissant de scientifiques a commencé à s'interroger sur la véracité reconnue des recherches publiées, même après avoir franchi les obstacles de l'examen par les pairs et publié dans des revues très respectées. Le problème est une incapacité généralisée à reproduire une grande partie des résultats dans de nombreuses disciplines.
En 2005, par exemple, John Ioannidis, professeur de médecine à l'Université de Stanford, a utilisé plusieurs simulations pour montrer que les affirmations scientifiques étaient plus susceptibles d'être fausses que vraies. Et l’été dernier, Brian Nosek, professeur de psychologie à l’Université de Virginie, a tenté de reproduire les résultats de 100 études en psychologie et a constaté que seulement 39% des résultats avaient été soumis à de nouveaux tests rigoureux.
«De nombreux éléments de preuve, à la fois théoriques et empiriques, ont commencé à remettre en question la reproductibilité d'un segment substantiel de la littérature scientifique», explique Ioannidis. "Nous recevons des millions de papiers qui ne vont nulle part."
Ces résultats préliminaires ont donné naissance à un tout nouveau domaine appelé méta-recherche: l'étude scientifique de la science.
Cette semaine, la branche de biologie de la Bibliothèque publique des sciences (PLOS), un éditeur et organisme de défense des droits sans but lucratif, a lancé une nouvelle section uniquement consacrée à la méta-recherche. La section explorera des questions telles que la transparence dans la recherche, les normes méthodologiques, les sources de biais, le partage de données, le financement et les structures d’incitation.
Pour commencer, Ioannidis et ses collègues ont évalué un échantillon aléatoire de 441 articles biomédicaux publiés entre 2000 et 2014. Ils ont vérifié si ces articles permettaient au public d'accéder aux données brutes et aux protocoles expérimentaux, étaient reproduits dans des études ultérieures, intégraient leurs résultats dans des études systématiques. examens d'un domaine et comprenant la documentation des sources de financement et d'autres conflits d'intérêts potentiels.
Leurs résultats étaient pour le moins troublants. Par exemple, une seule étude fournissait des protocoles expérimentaux complets et aucune étude ne fournissait de données brutes directement disponibles.
«Ce sont deux piliers fondamentaux de la reproductibilité», déclare Ioannidis. "Si les données et le protocole complet ne sont pas disponibles, on ne peut vraiment rien reproduire." Après tout, sans ces informations essentielles, comment une autre équipe peut-elle savoir exactement quoi faire et en quoi leurs résultats diffèrent de ceux de l'expérience initiale?
L’équipe a également constaté que les affirmations de seulement huit des articles de l’enquête avaient été ultérieurement confirmées par des études ultérieures. Et même si de nombreuses études ont prétendu avoir de nouvelles découvertes, les résultats de 16 articles seulement ont été inclus dans des articles de synthèse ultérieurs, qui servent de test décisif pour l’impact réel d’une étude sur un sujet particulier.
«Les chiffres que nous obtenons sont plutôt effrayants», a déclaré Ioannidis. «Mais vous pouvez voir cela comme une base de référence pour déterminer où nous en sommes maintenant, et il y a encore beaucoup à faire pour une amélioration.»
Cependant, tous les résultats n'étaient pas décourageants. Le pourcentage d'articles sans déclaration de conflit d'intérêts est passé de 94, 4% en 2000 à 34, 6% en 2014, probablement en raison d'une prise de conscience croissante des effets pernicieux des biais sur les résultats de la recherche.
Dans une seconde méta-recherche, une équipe allemande a analysé comment la perte de sujets animaux au cours d’essais précliniques pourrait contribuer à l’incapacité généralisée de traduire les résultats de laboratoire en médicaments cliniques utiles.
Les animaux de recherche peuvent disparaître d'une étude de manière aléatoire, par exemple en raison de la mort de l'animal, ou par des actions subtilement biaisées, telles que leur retrait de l'essai pour éliminer les données qui minent les résultats escomptés. L’équipe a démontré que l’élimination biaisée d’animaux sujets peut fausser les résultats et augmenter de manière significative la probabilité d’un faux positif, quand un nouveau médicament est supposé fonctionner mais ne le fait pas.
Dans une analyse distincte d’études précliniques sur les accidents vasculaires cérébraux et le cancer, les mêmes chercheurs ont constaté que la plupart des articles n’indiquaient pas de manière adéquate la perte de sujets animaux et que les effets positifs de nombreux médicaments à l’essai pourraient être considérablement surestimés.
Alors pourquoi cette crise de transparence et de reproductibilité se produit-elle en premier lieu?
Certains problèmes peuvent résulter de biais de recherche conscients ou inconscients, mais il est probable que la plupart des études qui parviennent à la publication sont uniques en raison de la structure incitative actuelle de la science.
Dans le monde acharné du monde universitaire, la principale mesure du succès est le nombre d’études qu’un chercheur obtient dans des revues prestigieuses. En conséquence, les scientifiques sont sous pression pour passer la majorité de leur temps à obtenir les types de résultats décisifs les plus susceptibles d'être publiés.
«Bien que nous attachions une grande importance à la reproductibilité, nous ne l’apprécions pas vraiment dans la pratique», a déclaré Nosek, codirecteur du Center for Open Science, une startup technologique à but non lucratif qui encourage la transparence et la reproductibilité dans la recherche scientifique.
«Ce qui me motive vraiment à agir en tant que scientifique consiste à innover, à faire de nouvelles découvertes et à innover - ne pas répéter ce que d’autres ont fait. C'est la partie ennuyeuse de la science. "
Les scientifiques voient également peu d'incitations à fournir les informations nécessaires aux autres pour reproduire leurs travaux, ce qui est l'une des principales raisons pour lesquelles les affirmations de tant d'études restent non vérifiées.
«Je ne suis pas récompensé pour la mise à disposition de mes données ou pour l'explication détaillée de ma méthodologie par rapport à ce qui est nécessaire pour intégrer une publication», déclare Nosek.
De nombreuses revues demandent aux scientifiques de fournir une explication détaillée de leurs méthodes et de partager des données, mais ces règles sont rarement appliquées et il n’existe pas de normes universelles de publication.
«Si je savais qu'il n'y aurait jamais de policiers sur les routes, est-ce que je respecterais toujours la limite de vitesse? Non, c'est la nature humaine », a déclaré Ivan Oransky, cofondateur de Retraction Watch, une organisation qui promeut la responsabilité et la transparence en suivant les rétractations dans la littérature scientifique. "Si vous savez que personne ne vous sanctionnera, vous ne partagerez pas de données."
Les scientifiques qui souhaitent effectuer des travaux de réplication et sont en mesure d'obtenir des détails expérimentaux ont donc peu de chances de trouver un financement auprès d'organismes publics tels que les NIH, qui évaluent principalement les demandes de subvention en fonction de la nouveauté et de l'innovation.
«Les chances sont clairement contre la réplication», dit Ioannidis.
C’est là que le domaine émergent de la méta-recherche peut intervenir. Des organisations comme le Center for Open Science et le Meta-Research Innovation Centre de Stanford (METRICS) s’efforcent de réaligner le système de récompense et de définir des normes universelles strictes qui encourageront une plus grande diffusion. pratiques de transparence et de reproductibilité.
«Si les niveaux de financement ou les promotions dépendaient de ce qui était arrivé à vos recherches précédentes - si elles étaient reproductibles, si les gens pouvaient en comprendre le sens, si les gens pouvaient les traduire en quelque chose d'utile plutôt que simplement le nombre de journaux que vous avez publiés - ce serait une incitation très forte à faire en sorte que la recherche devienne plus reproductible », a déclaré Ioannidis, codirecteur de METRICS.
«J'espère que ces indicateurs vont s'améliorer», a-t-il ajouté. "Et pour certains d'entre eux, il n'y a pas d'autre possibilité que de monter, car on part de zéro."
