Rédaction Médicale et Scientifique

Trop d'études publiées n'ont aucun intérêt car la puissance statistique est faible, notamment en neurosciences !

Cette belle étude apporte des arguments aux experts qui, comme Iain Chalmers, ou The Lancet, expliquent que de nombreuses recherches sont inutiles et un gaspillage de ressources. Dans Nature Reviews Neuroscience, (10 avril 2013) des auteurs anglais et américain, dont JP Ioannidis, ont évalué la puisance statistique des études publiées. Ils ont choisi le domaine des neurosciences (mais leurs données sont peut-être identiques dans d’autres domaines), et après une recherche documentaire analysé 48 méta-analyses en 2011. Ils ont facilement montré que le pouvoir statistique moyen des études était bas. Beaucoup d'études avaient des puissances statistiques de 20 à 30 %, alors qu'il faudrait plus de 80 %. Cela diminue la chance qu’un résultat statistiquement significatif soit un vrai effet… Trop d’études dans la littérature ont des effectifs insuffisants, n’ont pas calculé à priori le nombre d’animaux, ou de patients à inclure.

C’est un article très méthodologique et didactique, bien que très détaillé et compliqué. Les auteurs ne sont pas défaitistes car ils proposent des recommandations pour améliorer les connaissances en neuroscience : Calculer le nombre de sujets/animaux à inclure avant de faire le travail ! Décrire les méthodes en détail avec leurs limites ! Enregistrer les protocoles et plans d’analyses avant de faire une étude ! Permettre un accès aux données sources de nos recherches ! Travailler en collaboration avec d’autres équipes pour augmenter la puissance des études, et la reproductibilité !

Y’a plus qu’à faire ! Cela semble simple, mais trop souvent c'est ignoré !

Cet article a été analysé par P Barthélémy sous le titre 'Doutes sur la fiabilité des neurosciences' sur son blog et m’a été signalé par Ph Touraine que je remercient.

Button KS, et al. Power failure : why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience 14, 365-376 (May 2013) | doi:10.1038/nrn3475

Les données non publiées nuisent à l’intégrité de la recherche, mais elles sont accessibles pour ceux qui les cherchent !

C’est un sujet mal connu et rares sont les publications évaluant l’ampleur du problème. Une belle étude (BMJ, 23 avril 2013) a consisté à interroger 5915 auteurs de revues Cochrane sur leurs pratiques pour rechercher les données non publiées. 2184 (36,9 %) ont répondu à une enquête par voie électronique très détaillée. Même si ce taux de réponse n’est pas satisfaisant (encore qu’il soir élevé), cette étude nous apporte des données objectives dans le contexte Cochrane. 75,8 % des répondeurs ont eu à rechercher des données non publiées Dans 55,1 % des cas (913 cas sur 1956), des données ont été obtenues. Les données individuelles de patients ont été obtenues dans 20 % des cas. Ces données ont surtout (75 % des cas) été transmises par des investigateurs d’essais cliniques. C’est une étude importante car elle montre qu’avec des efforts l’accès à des données non publiées est possible. On sait que les données non publiées sont plus souvent négatives que les données publiées. Article bien écrit avec de nombreux tableaux explicites. Ces données non publiées sont une cause de distorsion de la perception de la science : les études positives sont publiées plusieurs fois, les études dites négatives sont rarement publiées. Ce travail a été fait dans le contexte des auteurs de revues Cochrane, et on pourrait supposer que les résultats seraient moins bons dans d’autres domaines. Nous connaissons l’importance des données non publiées pour faire de bonnes revues systématiques et méta-analyses.

Schroll JB, et al. Searching for unpublished data for Cochrane reviews : cross-sectional study. BMJ 2013 ;346 :f2231

Politique anglaise sur la bonne gouvernance et la publication des recherches publiques : disponibles en Open Access, avec un fonds dédié pour payer les droits du gold OA

En février et mars 2013, RCUK (Research Councils UK) a publié des documents importants : 

• La politique sur l'Open Access des articles sur des recherches publiques, avec quelques points forts : la stratégie (voir image à gauche), défense du peer-review, ne pas inclure les APCs (Article Publication Charge) dans les grants, car un fonds dédié couvrira ces coûts (il s'agira probablement de commencer des négociations entre bibliothèques et maisons d'éditions), des embargos de 6 à 12 mois seront acceptés encore quelques années, tout devrait être en accès libre dans 5 ans....  La prise en charge des APCs traduit l'acceptation du modèle dit Gold OA, et nous verrons ce que feront des revues prestigieuses comme The Lancet (devriendra-t-il d'accès gratuit pour les articles de recherche ?). Un beau document de 10 pages, parmi d'autres à consulter.

Différences inacceptables entre les objectifs des protocoles enregistrés, et ceux des publications : belle analyse de 327 essais randomisés de chirurgie

Ce type d'article est rare, et j'ai bien aimé. Dans Annals of Surgery de début 2013, des hollandais ont analysé des publications d'essais randomisés chirurgicaux. Les méthodes sont bien décrites, et ils ont bien travaillé, ce qui donne validité à leurs données. Il y a beaucoup d'informations dans cet article, et j'ai choisi de reprendre un des tableaux. Le résumé est accessible gracieusement. Ils ont surtout comparé les objectifs principaux mentionnés dans les registres d'essais avec les objectifs dans les publications. Ils ont analysé 327 articles d'essais chirurgicaux, dont 116 publiés dans des revues médicales et 211 publiés dans des revues chirurgicales. 218 essais avaient été enregistrés et les essais publiés dans les revues médicales étaient plus souvent enregistrés (98 %) que ceux publiés dans des revues chirrugicales (49 %). Ils ont ensuite analysé les 152 articles qui avaient été enregistrés avant la fin de l'essai, et c'est le tableau ci dessous qui se comprend de lui-même, mais les données sont inquiétantes !

Merci à Jérémie Lefevre qui m'a transmis l'article

Hanninck G, et al. Comparison of registered and published primary outcomes in randomized clinical trials of surgical interventions. Annals of Surgery 2013, doi: 10.1097/SLA.0b013e3182864fa3

GSK va donner accès aux rapports cliniques de tous ses essais cliniques.. est-ce une réponse au BMJ ?

C'est une réponse directe au mouvements "Alltrials" du BMJ demandant de publier tous les essais. Peut-être une réponse à la campagne Open data du BMJ, car cette revue se bat depuis longtemps pour avoir accès aux données sources des essais. Nous nous sommes interrogés aussi sur la qualité des revues systématiques faites à partir d'articles, sans avoir accès aux rapports cliniques !

Le 5 février 2013, GSK annonce sur son site internet que les rapports cliniques (CSR pour clinical study reports) seront diisponibles : "GSK is committing to make CSRs publicly available through its clinical trials register. CSRs are formal study reports that provide more details on the design, methods and results of clinical trials and form the basis of submissions to the US Food and Drug Administration (FDA), European Medicines Agency (EMA) and other regulatory agencies. From now, GSK will publish CSRs for all of its medicines once they have been approved or discontinued from development and the results have been published. This is to allow for the data to be first reviewed by regulators and the scientific community. Patient data in the CSRs and their appendices will be removed to ensure patient confidentiality is maintained."

C'est une bonne nouvelle très commentée sur les blogs, dont celui de Thomas Sullivan qui fait une très bonne analyse. Plusieurs remarques :

55 % des publications d'essais randomisés identifiés dans Medline contiennent le numéro d'enregistrement de l'essai

Va-t-on-y arriver ? Depuis septembre 2005, le comité international des rédacteurs biomédicaux demande que les essais randomisés soient enregistrés dans un registre (par exemple clinicaltrials.gov), et que le numéro d'enregistrement soit mentionné dans la publication de l'essai...    On pourrait faire mieux car ce sont 55 % (106 / 302) des essais publiées en novembre 2010 dans Medline (PubMed) qui contiennent un numéro d'enregistrement.

Cet article de PLOS ONE (novembre 2012) provient du centre Cochrane hollandais, et la méthodologie est bonne. Qu'en penser ? Il faudrait faire mieux en sensibilisant auteurs, reviewers et rédacteurs...   d'ailleurs les essais publiés dans des revues adhérant à ICMJE ont des résultats un peu meileur..   Il faudrait ajouter cet item à la checklist de CONSORT révisée en 2010.

Que fait un rédacteur en chef qui doit prendre une décision sur un excellent essai soumis à sa revue, alors que cet essai n'a pas été enregistré ? Peui-il refuser pour voir cet essai aller dans une revue concurrente ? Autres résultats troublants : 39 % des essais publiés n'avaient pas été enregistrés, et 48 % des essais enregistrés et terminés depuis 2 ans n'avaient pas été publiés (par analyse d'une base hollandaise)...  pas étonnant ! Article court, bien fait et facile à lire, ce qui est rare.

van de Wetering FT, et al. Trial Registration Numbers Are Underreported in biomedical publications. PLOS ONE 2012:7(11): e49599. doi:10.1371/journal.pone.0049599

Le BMJ se met au service de la recherche de données manquantes : est-ce un progrès ? Oui, mais..

Depuis queqlues temps, Fiona Godlee, rédactrice en chef du BMJ, mène un combat pour avoir accès à toutes les données des essais, en particulier les données concernant les essais de l'industrie pharmaceutique...   Mais ce combat devrait aussi concerner toutes les données, y compris académiques...  Vous avez peut-être suivi cette campagne BMJ Open Data : elle vise autant les autorités de santé que les industriels. La transparence, c'est bien, mais nous avons évoqué cette question : les agences sont supposées bien faire leur travail ? Le BMJ pense que NON ! Rendre public toutes les données permettra à chacun, dont les ayatollas de principe opposés à l'industrie, de refaire ces analyses et de trouver le résultat qu'ils cherchent.........  C'est difficile, je suis pour la transparence sauf si des individus mal intentionnées utilisent à mauvais escient des données validées par les agences.....  Nous ne sommes peut-être pas prêts pour l'accès aux données sources... qui est la question suivante, après accès aux données....

En France aussi, certains aimeraient avoir les données de la CNAMTS, voir le Monde du 15 janvier 2013.

Vous avez peut-être reçu le 28 janvier 2013 l'email ci-dessous de Fiona Godlee, et vous pouvez faire une déclaration :

Ecrire un protocole pour un essai interventionnel : les recommandations SPIRIT 2013 viennent d'être publiées

C'est un effort majeur, sous l'égide d'institutions canadiennes qui ont supporté le groupe de travail. La publication simultanéé le 8 janvier 2013 dans BMJ et Annals of Internal Medicine, et le site dédié vous donnent accès à des ressources précieuses. Il s'agit de la description de tous les items pour écrire un protocole pour un essai interventionnel. SPIRIT veut dire Standard Protocol Items: Recommandations for Interventional Trials. La plupart des méthodologistes canadiens, américains et anglais concernés par les essais ont collaboré. L'article explicatif est détaillé sur 42 pages pour le pdf du BMJ ! Il y a 33 items, avec des sous-items, et tout est bien fait : des exemples d'enregistrement, les conseils pour discuter des auteurs des articles futurs, des correspondances avec CONSORT, etc...  Qui va faire la traduction en français dont nous avons besoin ?

Répète après moi : un "certificat de validité" pour éviter la non-réplication des publications en sciences fondamentales

C'est un problème ignoré qui nuit gravement à la recherche, source de gaspillages de temps et de ressources. Nous avons évoqué 2 publications du groupe Nature. Les chercheurs d'Amgen et de Bayer ont publié leurs données montrant qu'ils ne pouvaient répliquer que 11 à 25 % des expérimentations fondamentales publiées...   et le domaine de la cancérologie semble le plus atteint !

Nature vient de publier le 5 octobre 2012 un éditorial "Repeat after me", car ce n'est pas possible de continuer. Cet éditorial expose les activités d'une strat up américaine, Science Exchange, Palo Alto, qui se propose d'engager les laboratoires indépendants pour valider les données..   leur site impressionne..   Mais les auteurs doivent payer, pour ensuite avoir un certificat de validité qui serait joint la la publication. Le NIH a accepté de supporter cette initiative pour l'aider à démarrer... et PLoS ONE aurait des archives dédiées. Attendons de voir si les rédacteurs en chef de revues prestigieuses vont inciter les auteurs à fournir un certificat de validité !!!

Repeat after me. Nature Medicine, 2012;18:1443.

A trop nettoyer le fond du pôt, il se casse !!!

En lisant 2 articles de Nature, mars 2012, j'ai pensé à cette définition de la psychanalyse qui s'applique aux revues scientifiques...  Deux chercheurs américains, dont un ancien directeur de recherche d'Amgen, apportent des données sur la non reproductibilité des études de recherche fondamentale en cancérologie. Dans l'industrie, pour développer des médicaments, les hypothèses sont issues de travaux fondamentaux publiés dans les plus grandes revues. Sur 53 découvertes scientifiques en cancérologie (53 articles), seuls 6 (11 %) ont été confirmées chez Amgen...    Chez Bayer, même constat : 25 % des découvertes ont été confirmées...   C'est inquiétant pour la qualité des données publiées dans les meileures revues.... et une des causes est bien sûr la compétition, la course aux publications qui règlent les promotions académiques.

Les résultats d'essais sont publiés trop tardivement

Logique : le congrès américain a réagi fortement après la publication d'articles dans le BMJ sur les délais de publications des essais. Le congrès demande à la FDA et aux institutions de recherche (NIH, National Institutes for Health) de prendre des sanctions... Que disent les articles du BMJ : 22 % (163/738) des essais enregistrés dans clinicaltrials.gov diffusent les résultats un an après la fin des essais, comme la loi le demande ; 46 % (294/635) des travaux financés par les NIH sont publiés dans les 30 mois après la fin des recherches, et 68 % dans les 51 mois (médiane) ; et 30 % jamais publiés... bravo les NIH ! Mais a-t-on les données sur les PHRC en France ? Je suppose que oui : où les trouver ?

Roehr B. Congressmen demand faster publication of trial data after BMJ revealed long delays. BMJ 2012;344:e1217

Les meilleures méta-analyses seraient mauvaises

Nous avons souvent discuté les biais des méta-analyses, et le 16 février 2012, nous avons vu que les recommandations dites PRISMA étaient peu suivies. En janvier 2012, belle étude d'accès gratuit et publiée dans le BMJ par des méthodologistes anglais. Ils ont une base de données contenant 383 méta-analyses réalisées à partir des données individuelles des patients. Ces méta-analyses sont considérées comme les meileures car les cherccheurs essayent d'obtenir les données des patients pour faire une nouvelle base à analyser. C'est un énorme travail, et environ 50 seraient réalisées chaque année dans le monde.... la qualité est supérieure aux méta-analyses qui compilent les données contenues dans les articles (les plus fréquentes).

Amélioration insuffisante des publications d'essais randomisés en cluster depuis l'extension de CONSORT

CONSORT est une usine à gaz dont nous avons vraiment besoin. Ces recommandations sont périodiquement évaluées : bravo car trop de recommandations ne sont jamais évaluées... CONSORT comprend des recommandations pour les essais randomisés et en 2004, une extension a été dédiée aux essais en cluster (en groupe, en grappe). Nous avons besoin des essais en cluster : la randomisation n'est pas faite au niveau d'individus, mais au niveau de groupes de patients par exemple. Il s'agit de randomiser des hôpitaux, des communautés, des cabinets de médecins, etc... ce sont des essais très pragmatiques.

Peu d'auteurs acceptent de transmettre les données de leurs publications ?

Les rédacteurs de journaux ont eu des initiatives qui ont influencé nos systèmes et organisations... par exemple, les registres d'essais comme www.clinicaltrials.gov ont été créés grâce aux exigences des rédacteurs de revues qui demandaient l'accès aux protocoles,...   Les rédacteurs en veulent plus, et les technologies le permettent : l'accès aux données sources des publications est indispensable. L'article du futur contiendra les données sources. Idéalement les données de plusieurs articles pourront être fusionnées...  La technologie existe mais les résistances sont majeures.

Les études qualitatives sont insuffisamment publiées... dans les journaux biomédicaux

Une analyse des études qualitatives publiées en 10 ans (1999-2008) dans les journaux biomédicaux a montré que les études qualitatives étaient peu publiées.. 0 à 0,6 % des articles dans 10 journaux généraux de médecine ; 0 à 6,4 % das articles dans 10 journaux sur la recherche en services et politiques de santé. Parmi les journaux généraux de médecine, le BMJ est en tête (41 articles d'études qualitatives sur 6339 articles en 10 ans) et le NEJM en dernier (zéro..). Pour la recherche en services et politiques de santé, "Quality and Safety in Health Care" est en tête (39 sur 612 articles en 10 ans). Ce journal a changé de nom depuis ce travail.. il s'appelle BMJ Quality and Safety.

Améliorer les publications sur la qualité de vie : une extension future de CONSORT

Des résultats de type qualité de vie sont souvent analysés dans les essais randomisés. Ces données sont utiles pour des décisions cliniques, des politiques de santé, des décisions de remboursements de soins. C'est un commentaire dans The Lancet du 12 novembre 2011 qui nous annonce la constitution d'un groupe de travail. En pratique, toutes les publications de ces données sont de mauvaise qualité. Sur 794 publications d'essais cliniques randomisés (2002/2008), 56 % contenaient un rationnel pour le choix du critère de jugement, 50 % avaient une hypothèse, 28 % donnaient des informations sur les données manquantes, et 64 % discutaient la qualité de vie dans le contexte des autres résultats. Tout ceci est insuffisant, et de nombreux critères sont absents. Il existe 18 publications sur recommandations et/ou standards dans ce domaine attirant l'attention sur la nécessité d'avoir une bonne qualité des essais et publications. CONSORT n'a pas proposé de grille pour publier les données sur la qualité de vie.

En 2012, un groupe d'experts a l'objectif de proposer des recommandations de qualité de vie pour les ajouter dans CONSORT. Ils proposent de répondre à une enquête préliminaire à leurs travaux. Cette initiative est supportée par le Medical Research Council (UK) et le Canadian Institute for Health Research.

Calvert M et al. Lancet 2011;378:1684-1685.

 

STROBE-ME : des recos pour les biomarqueurs

La production de recommandations pour présenter des résultats d'études dans les articles soumis aux journaux biomédicaux est une industrie utile... mais il faut beaucoup de patience avant d'en mesurer l'impact.  En octobre 2011, 7 journaux nous ont proposé simultanément STROBE-ME : Journal of Epidemiology & Community Health, PLoS Medicine, European Journal of Epidemiology, European Journal of Clinical Investigation, Preventive Medicine, the Journal of Clinical Epidemiology and Mutagenesis.

Bonne nouvelle : les essais randomisés sont mieux décrits dans les journaux d'hépatogastroentéro

Le 30 juillet 2011, BMC Medical Research Methodology a publié un article sur la qualité des publications de RCTs (Randomized Controlled Trials) pour voir si les recos CONSORT 2001 avaient eu un impact. Je reproduis ci dessous les données du résumé :

Methods: RCTs in five major hepato-gastroenterology journals published in 1998 or 2008 were retrieved from MEDLINE using a high sensitivity search method and their reporting quality of methodological details were evaluated based on the CONSORT Statement and Cochrane Handbook for Systematic Reviews of interventions. Changes of the methodological reporting quality between 2008 and 1998 were calculated by risk ratios with 95% confidence intervals.

 

Publication des études sur l'amélioration de la qualité par des journaux biomédicaux

Hier, nous avons évoqué la publication des études qualitatives par les journaux biomédicaux, et la problématique est voisine pour les travaux sur l'amélioration continue de la qualité.... Mais des recommandations spécifiques existent : SQUIRE pour Standards for QUality Improvement Reporting Excellence avec de nombreuses explications sur un site dédié. Moins de 20 journaux ont endossé réellement SQUIRE et publient dans ce domaine.

Début juillet 2011, en 'online first', un travail (BMJ Qual Saf) a recherché ces types d'études dites CQI pour Continuous Quality Improvement. C'est un projet 'Advancing the science of continuous quality improvement' dont une partie a été publiée : tout d'abord une définition du CQI, ou au moins les items pouvant définir le CQI. Ensuite détermination de 6 critères permettant d'identifier les études CQI parmi toutes les études d'intervention sur l'amélioration de la qualité. Peu de publications contiennent ces 6 critères, et des recommandations sont encore nécessaires pour mieux identifier, valider les études de CQI.

Tout ceci est du niveau des experts de ce domaine, mais si vous connaissez le domaine, les 6 critères (voir explications dans l'article) sont intéressants : "Iterative development process; Feedback at meetings involving participant leaders; Feedback of systematically-collected data; Recognized change method; Data-driven; Local conditions".

O'Neill SM et al. Identifying continuous quality improveent publications: what makes an improvement intervention 'CQI'? BMJ Quality and Safety 2011;doi: 10.1136/bmjqs.2010.050880

Publication des études qualitatives par des journaux biomédicaux

Je suis régulièrement interrogé car les méthodes qualitatives commencent à se développer en France dans le domaine biomédical....  Mais comment les publier en biomédecine..   Ce sont des techniques des sciences sociales très utiles en médecine..  Mais les comités de rédaction des journaux sont dans les mains des défenseurs des essais randomisés qui ne reconnaissent pas ces méthodes...
Les études qualitatives ont commencé avec une excellente série d'articles méthodologiques publiés dans le BMJ en 1995, et regroupés dans un premier ouvrage de 80 pages en 1996. Les 2 auteurs étaient N Mays et C Pope. Vous trouvez toujours ces articles sur le site BMJ. Puis la 3ème édition a été publiée en 2006 très augmentée, avec des détails sur les méthodes...

Il y a quelques jours, je vous ai montré un site français avec des publications open access en sciences sociales...

Mais ceci ne répond pas à la question : quelles recommandations pour publier des articles dans ce domaine ? Il existe peu de journaux biomédicaux qui aient publié des recommandations pour les études qualitatives. C'est le site de Equator qui donne le plus de références, la plupart d'auteurs anglais, australiens... Par exemple COREQ qui est pour les interviews et focus groups. Vous trouvez quelques conseils sur BioMEdCentral, avec RATS guidelines, dérivés d'un livre excellent de F Godlee et T Jefferson. Une autre ressource est la checklist de NICE, qui contient aussi quelques références.

Je propose parfois les réflexions d'un article de Journal of Workplace Learning de 2009, et cela peut aider. De même, toutes les recos de l'APA sont utiles.

Quels articles intéressent un journal biomédical dans ce domaine ? De nouvelles méthodes testées pour la première fois, OK ; la même méthode, mais en changeant la maladie étudiée : variable.. par exemple, vous pourriez faire un focus group avec des diabétiques, puis des asthmatiques, etc.. le journal se lasse.... même si les données différent..   

Avant d'envoyer une étude qualitative à un journal français, informez la rédaction et faites leur comprendre l'intérêt... Car la plupart ferment la porte à ces méthodologies.. La relecture des observations initiales de Mays et Pope est superbe, car ils avaitn inventé un dialogue entre un expert ayant publié des essais randomisés et un sociologue : deux mondes qui ont intérêt à se comprendre mais qui s'évitent.....

Qui veut préparer des recos en français pour publier des études qualitatives ?