Rédaction Médicale et Scientifique

Amélioration insuffisante des publications d'essais randomisés en cluster depuis l'extension de CONSORT

CONSORT est une usine à gaz dont nous avons vraiment besoin. Ces recommandations sont périodiquement évaluées : bravo car trop de recommandations ne sont jamais évaluées... CONSORT comprend des recommandations pour les essais randomisés et en 2004, une extension a été dédiée aux essais en cluster (en groupe, en grappe). Nous avons besoin des essais en cluster : la randomisation n'est pas faite au niveau d'individus, mais au niveau de groupes de patients par exemple. Il s'agit de randomiser des hôpitaux, des communautés, des cabinets de médecins, etc... ce sont des essais très pragmatiques.

Peu d'auteurs acceptent de transmettre les données de leurs publications ?

Les rédacteurs de journaux ont eu des initiatives qui ont influencé nos systèmes et organisations... par exemple, les registres d'essais comme www.clinicaltrials.gov ont été créés grâce aux exigences des rédacteurs de revues qui demandaient l'accès aux protocoles,...   Les rédacteurs en veulent plus, et les technologies le permettent : l'accès aux données sources des publications est indispensable. L'article du futur contiendra les données sources. Idéalement les données de plusieurs articles pourront être fusionnées...  La technologie existe mais les résistances sont majeures.

Les études qualitatives sont insuffisamment publiées... dans les journaux biomédicaux

Une analyse des études qualitatives publiées en 10 ans (1999-2008) dans les journaux biomédicaux a montré que les études qualitatives étaient peu publiées.. 0 à 0,6 % des articles dans 10 journaux généraux de médecine ; 0 à 6,4 % das articles dans 10 journaux sur la recherche en services et politiques de santé. Parmi les journaux généraux de médecine, le BMJ est en tête (41 articles d'études qualitatives sur 6339 articles en 10 ans) et le NEJM en dernier (zéro..). Pour la recherche en services et politiques de santé, "Quality and Safety in Health Care" est en tête (39 sur 612 articles en 10 ans). Ce journal a changé de nom depuis ce travail.. il s'appelle BMJ Quality and Safety.

Améliorer les publications sur la qualité de vie : une extension future de CONSORT

Des résultats de type qualité de vie sont souvent analysés dans les essais randomisés. Ces données sont utiles pour des décisions cliniques, des politiques de santé, des décisions de remboursements de soins. C'est un commentaire dans The Lancet du 12 novembre 2011 qui nous annonce la constitution d'un groupe de travail. En pratique, toutes les publications de ces données sont de mauvaise qualité. Sur 794 publications d'essais cliniques randomisés (2002/2008), 56 % contenaient un rationnel pour le choix du critère de jugement, 50 % avaient une hypothèse, 28 % donnaient des informations sur les données manquantes, et 64 % discutaient la qualité de vie dans le contexte des autres résultats. Tout ceci est insuffisant, et de nombreux critères sont absents. Il existe 18 publications sur recommandations et/ou standards dans ce domaine attirant l'attention sur la nécessité d'avoir une bonne qualité des essais et publications. CONSORT n'a pas proposé de grille pour publier les données sur la qualité de vie.

En 2012, un groupe d'experts a l'objectif de proposer des recommandations de qualité de vie pour les ajouter dans CONSORT. Ils proposent de répondre à une enquête préliminaire à leurs travaux. Cette initiative est supportée par le Medical Research Council (UK) et le Canadian Institute for Health Research.

Calvert M et al. Lancet 2011;378:1684-1685.

 

STROBE-ME : des recos pour les biomarqueurs

La production de recommandations pour présenter des résultats d'études dans les articles soumis aux journaux biomédicaux est une industrie utile... mais il faut beaucoup de patience avant d'en mesurer l'impact.  En octobre 2011, 7 journaux nous ont proposé simultanément STROBE-ME : Journal of Epidemiology & Community Health, PLoS Medicine, European Journal of Epidemiology, European Journal of Clinical Investigation, Preventive Medicine, the Journal of Clinical Epidemiology and Mutagenesis.

Bonne nouvelle : les essais randomisés sont mieux décrits dans les journaux d'hépatogastroentéro

Le 30 juillet 2011, BMC Medical Research Methodology a publié un article sur la qualité des publications de RCTs (Randomized Controlled Trials) pour voir si les recos CONSORT 2001 avaient eu un impact. Je reproduis ci dessous les données du résumé :

Methods: RCTs in five major hepato-gastroenterology journals published in 1998 or 2008 were retrieved from MEDLINE using a high sensitivity search method and their reporting quality of methodological details were evaluated based on the CONSORT Statement and Cochrane Handbook for Systematic Reviews of interventions. Changes of the methodological reporting quality between 2008 and 1998 were calculated by risk ratios with 95% confidence intervals.

 

Publication des études sur l'amélioration de la qualité par des journaux biomédicaux

Hier, nous avons évoqué la publication des études qualitatives par les journaux biomédicaux, et la problématique est voisine pour les travaux sur l'amélioration continue de la qualité.... Mais des recommandations spécifiques existent : SQUIRE pour Standards for QUality Improvement Reporting Excellence avec de nombreuses explications sur un site dédié. Moins de 20 journaux ont endossé réellement SQUIRE et publient dans ce domaine.

Début juillet 2011, en 'online first', un travail (BMJ Qual Saf) a recherché ces types d'études dites CQI pour Continuous Quality Improvement. C'est un projet 'Advancing the science of continuous quality improvement' dont une partie a été publiée : tout d'abord une définition du CQI, ou au moins les items pouvant définir le CQI. Ensuite détermination de 6 critères permettant d'identifier les études CQI parmi toutes les études d'intervention sur l'amélioration de la qualité. Peu de publications contiennent ces 6 critères, et des recommandations sont encore nécessaires pour mieux identifier, valider les études de CQI.

Tout ceci est du niveau des experts de ce domaine, mais si vous connaissez le domaine, les 6 critères (voir explications dans l'article) sont intéressants : "Iterative development process; Feedback at meetings involving participant leaders; Feedback of systematically-collected data; Recognized change method; Data-driven; Local conditions".

O'Neill SM et al. Identifying continuous quality improveent publications: what makes an improvement intervention 'CQI'? BMJ Quality and Safety 2011;doi: 10.1136/bmjqs.2010.050880

Publication des études qualitatives par des journaux biomédicaux

Je suis régulièrement interrogé car les méthodes qualitatives commencent à se développer en France dans le domaine biomédical....  Mais comment les publier en biomédecine..   Ce sont des techniques des sciences sociales très utiles en médecine..  Mais les comités de rédaction des journaux sont dans les mains des défenseurs des essais randomisés qui ne reconnaissent pas ces méthodes...
Les études qualitatives ont commencé avec une excellente série d'articles méthodologiques publiés dans le BMJ en 1995, et regroupés dans un premier ouvrage de 80 pages en 1996. Les 2 auteurs étaient N Mays et C Pope. Vous trouvez toujours ces articles sur le site BMJ. Puis la 3ème édition a été publiée en 2006 très augmentée, avec des détails sur les méthodes...

Il y a quelques jours, je vous ai montré un site français avec des publications open access en sciences sociales...

Mais ceci ne répond pas à la question : quelles recommandations pour publier des articles dans ce domaine ? Il existe peu de journaux biomédicaux qui aient publié des recommandations pour les études qualitatives. C'est le site de Equator qui donne le plus de références, la plupart d'auteurs anglais, australiens... Par exemple COREQ qui est pour les interviews et focus groups. Vous trouvez quelques conseils sur BioMEdCentral, avec RATS guidelines, dérivés d'un livre excellent de F Godlee et T Jefferson. Une autre ressource est la checklist de NICE, qui contient aussi quelques références.

Je propose parfois les réflexions d'un article de Journal of Workplace Learning de 2009, et cela peut aider. De même, toutes les recos de l'APA sont utiles.

Quels articles intéressent un journal biomédical dans ce domaine ? De nouvelles méthodes testées pour la première fois, OK ; la même méthode, mais en changeant la maladie étudiée : variable.. par exemple, vous pourriez faire un focus group avec des diabétiques, puis des asthmatiques, etc.. le journal se lasse.... même si les données différent..   

Avant d'envoyer une étude qualitative à un journal français, informez la rédaction et faites leur comprendre l'intérêt... Car la plupart ferment la porte à ces méthodologies.. La relecture des observations initiales de Mays et Pope est superbe, car ils avaitn inventé un dialogue entre un expert ayant publié des essais randomisés et un sociologue : deux mondes qui ont intérêt à se comprendre mais qui s'évitent.....

Qui veut préparer des recos en français pour publier des études qualitatives ?

Les recommandations contribuent-elles au problème qu'elles veulent résoudre ?

Il s'agit de l'une des questions posées par les rédacteurs des Annals dans un éditorial du 7 juin 2011. Ils connaissent très bien la question. Par le titre "Trustworthy clinical guidelines", ils reprennent les démarches de l'Institute of Medicine. Outre ces interrogations cet éditorial insiste sur la politique des Annals, et de l'American College of Physician : deviennent-ils le Journal des guidelines ? Est-ce que les guidelines aident les praticiens, ou est-ce que leur nombre et propositions parfois divergentes aident les praticiens ?

Les Annals ont publié et continueront à publier des recommandations provenant d'origine diverses. Par exemple, ils publient des recos "non-US-centered" en faisant la part belle au National Institute for Health and Clinical Excellence (NICE). Dans le même numéro des Annals, 2 articles en plus de l'édito : 6 pages sur les méthodes de NICE, et 11 pages sur les évaluations coût-efficacité de NICE... Impressionnant... d'autant plus qu'ils ont publié 2 autres articles le 3 mai 2011 : "Individualized guidelines: the potential for increasing quality and reducing costs" et " Improving practice guidelines with patient-specific recommendations".

Ils réaffirment qu'ils veulent publier des recos de qualité, et précisent leurs instructions : les soumissions sont faites au moins 3 mois avant la communication des recos ; parmi les auteurs, l'un au moins était dans le groupe qui a développé les recos ; les critères de IOM sont respectés ; ils préparent des résumés dans un langage pour le public, et ces résumés sont sur leur site web. Rappelons nous qu'en terme de qualité rédactionnelle, les Annals sont probablement le meilleur journal.... les auteurs ayant publié dans les Annals vous le diront, et aller vous plonger dans l'excellent livre de T Lang à ce propos.

Numéro spécial "Unpublished studies" en décembre 2011

Le BMJ a raison en affirmant que la situation n'est pas acceptable : trop de données, de preuves ne sont jamais publiées...  On le sait mais rien ne bouge... Trop d'analyse de la littérature, trop de méta-analyses sont biaisées car des données manquent.... La contribution du BMJ sera de publier un numéro spécial sur les données non publiées début décembre 2011.

Soumettez vos articles avant le 15 août 2011.... donc les données non publiées vont être publiées !!!!

L'éditorial décrivant cette initiative est bien fait...

Transparence des données

Proposer que les données brutes soient disponibles, et que l'on puisse avoir une traçabilité totale de toutes les étapes de la recherche, est un mouvement initié il y a plus de 10 ans par deux anglais célèbres : Sir Iain Chalmers et Doug Altman. Le blog de BMC fait le point sur "Threaded publicatons", et répète "We want science to be more efficient, to improve patient care, and to produce better outcomes for people and communities".

Le fond de ce mouvement est d'avoir accès aux données des essais cliniques et autres recherches....Cette pyramide part du moins transparent au plus transparent, du haut en bas... Tout ceci pour diminuer les biais de publication, pour avoir accès aux données négatives peu publiées, pour être plus éthique...... C'est un enjeu majeur... car avec les bricolages permanents dans les articles, on ne sait plus où sont les progrès de la science....

Faut-il toujours citer tous les RCTs pour écrire un article ? Je ne suis pas convaincu

Cet article de janvier 2011 dans les Annals est de bonne qualité, et représente un travail important. L'objectif était d'évaluer si les articles d'essais randomisés contrôlés (RCTs pour Randomized Controlled Trials) citaient les RCTs antérieurs sur la même intervention.   227 méta-analyses et 1523 RCTs publiés entre 1963 et 2004 ont été identifiés à partir de revues systématiques publiées en 2004, puis analysés.... je passe sur les méthodes car vous avez deviné la réponse : "Dans les articles de RCTs publiés sur 4 décennies, moins de 25 % des RCTs antérieurs étaient cités, représentant moins de 25 % des patients inclus dans les RCTs antérieurs."

D'après les auteurs, une recherche serait utile pour expliquer ce phénomène : essais injustifiables sur le plan éthique, ressources gaspillées, conclusions non correctes, risques inutiles pour les patients inclus... L'article est bien fait, discute les limites, hypothèses, etc...

Depuis quelques années la recherche sur la recherche a été développée, c'est bien mais où va-t-on dans certains cas ? Il faut des crédits pour ces recherches, mais pour montrer quoi ? Que tous les RCTs ne sont pas cités... c'est pas nouveau, et pourquoi faudrait-il tous les citer ? Dans mes cours, je propose d'identifier tous les RCTs dans le domaine étudié quand on écrit l'introduction d'un article, mais surtout de ne citer que ceux qui sont pertinents pour le travail, et rejeter ceux qui sont de mauvaise qualité....

Robinson KA, Goodman SN. A systematic examination of the citation prior research in reports of randomized, controlled trials. Ann Intern Med 2011;154:50-55.

Un registre bienvenu : les protocoles de revues systématiques

Les journaux biomédicaux, les rédacteurs du groupe de Vancouver, et quelques centres de recherche, ont été les leaders qui ont été à l'origine de la création des registres de protocoles d'essais contrôlés : http://www.clinicaltrials.gov/ contient 103 000 essais enregistrés de 174 pays en février 2011....  Les protocoles des essais français sont sur le site de l"agence française de sécurité sanitaire des produits de santé.

La qualité des revues systématiques publiées par des journaux pose problèmes : certaines ne sont pas de vrais revues systématiques, d'autres n'ont pas de protocole à priori et donc des stats faites à posteriori..... Vous avez compris....

Un éditorial du Lancet de janvier 2011 nous annonce la création d'un registre de protocoles de revues systématiques et cela va marcher si les journaux demandent accès aux protocoles lors du peer-review. Cet appel est cosigné par des anglais (Cochrane à Oxford, Centre de York, London school of hygiene and tropical medicine), un canadien (Ottawa research institute) et un représentant de l'OMS. Tout travail collaboratif est déjà un facteur de succès... Il y aura un numéro d'identification, des données minimum à entrer, etc.... mais l'URL n'est pas dans l'article...

Le Lancet a déjà demandé de citer des revues systématiques dans les hypothèses des articles origianux.

Booth A et al. An international registry of systematic-review protocols. The Lancet 2011;377:108-109.

Encore la fraude MMR/Lancet/Wakefield vue par le NY TImes et Seth Mnookin

Bel article du NY TImes qui vient en janvier 2011 compléter nos précédents billets sur cette fraude dans un article du Lancet en 1998... Cette fois-ci, cette une vision Nord Américaine d'une fraude européenne. Les retombées en terme de diminution des vaccinations ont été importantes sur la cote Est des USA.

Cet article accuse une forme de journalisme sensationnel qui n'a aucun raisonnement scientifique pour diffuser des informations. Les lobbies 'anti-vaccins' ont été aidés par des journalistes grand public, notamment Larry King, Oprah Winfrey, ....

Le BMJ a raison : "Goodbye PubMed, hello raw data"

Trop, c'est trop d'après la rédactrice du BMJ, F Godlee dans un éditorial de début janvier 2011, à propos des données sur le Tamiflu que le groupe Cochrane n'arrive pas à avoir... et hier, nous avons évoqué la fraude de Wakefield avec MMR. Le mouvement général pour examiner les données brutes est parti... Le groupe de Vancouver a mis cela à l'ordre du jour de sa prochaine réunions..... Ils ont déjà fait un lobby il y a 15 ans pour enregistrer les essais, mais cet enregistrement est insuffisant.

Un autre éditorial de ce même numéro du BMJ demande l'accès aux données originales... compte tenu de l'état des publications limitées à une partie de l'histoire des essais.... Dans un autre article de ce même BMJ, nombreux sont les cas décrits de médicaments pour lesquels toutes les données n'ont pas été rendues publiques....

Libérons les données et militons pour que ce soit pour toutes les expérimentations, et pas uniquement pour les essais médicamenteux... avec une couverture du BMJ à faire peur mais sans relation avec la question des données...

 

Tai chi et fibromyalgie : un flop ? Probablement..... 3 lettres opposées à l'essai...

Nous avons évoqué la "Quackademic" medicine du NEJM à propos de cet essai randomisé dans la fibromyalgie...Mais est-ce un flop dont nous n'entendrons plus parler ? Est-ce que l'objectif du NEJM de faire parler de lui dans la presse a été atteint (oui, je pense) ? Est-ce que cet article va conribuer au facteur d'impact du NEJM ?....à voir, il n'y a pas beaucoup de correspondance.

Le NEJM vient de publier 3 lettres critiquant cet essai randomisé, pas une lettre en faveur de ce travail. Il y a les réponses des auteurs qui suivent. Je me suis dit : peut-être que sur Facebook, cet article a été discuté...et c'est très dévevant avec 29 commentaires tous NON constructifs...entre le 19 et le 29 août..plus rien depuis...... et 203 personnes ayant coché "like this" : c'est vraiment NUL.

Autant, je défends les "social networks" et j'aime LinkedIn, autant je suis déçu par les discussions sur facebook à propos des articles du NEJM et autres journaux....

 

Les articles sur l'amélioration de la qualité : comment les utiliser ?

La série des "Users' guides to the medical literature" initiée à McMaster, Toronto, et publiée par le JAMA   accueilli une nouvelle contribution le 24 novembre. Comment lire ces articles sur l'amélioration de la qualité qui sont de plus en plus nombreux avec des méthodologies que l'on pourrait qualifier de 'molles', voire de mauvaise qualité... Ce guide est très complet, très utile et considère le QI (Quality Imporvement) comme une science. Il s'agit souvent d'analyses de comportements qui apportent plus d'hypothèses que de preuves, mais qui conduisent à des changements et des amélioration de la qualité des soins aux patients. Les questions classiques sont considérées : "Are the result valid? What were the results? How can I apply the results?" avec 12 encadrés excellents.

Fan E et al. How to use an article about quality improvement. JAMA 2010;304:2279-2287.

Les essais supportés par l'industrie ont diminué dans le JAMA, augmenté dans Lancet et NEJM

La politique du JAMA va-t-elle faire baisser son facteur d'impact si les essais industriels diminuent ? A voir !

Elizabeth Wager, anglaise free-lance, que nous connaissons bien, a voulu étudier les conséquences de la politique introduite par le JAMA en juillet 2005 : une analyse statistique indépendante pour les essais industriels. Elle a publié son travail dans PLoS ONE fin octobre 2010. Entre juillet 2002 et juillet 2008, le JAMA a publié 1314 articles dont 311 essais randomisés. Le nombre d'essais supportés par l'industrie a diminué dans le JAMA (baisse statistiquement significative entre avant et après 2005), alors qu'il augmentait dans le Lancet et NEJM. L'hypothèse serait que le JAMA a reçu moins d'articles venant des industriels, et en a peut-être accepté moins parmi ceux soumis au JAMA.

Dans notre billet d'hier, nous évoquions les revenus générés par les tirés à part de l'industrie : est-ce que les ressources du JAMA ont baissé quand celles du Lancet et du NEJM augmentaient ???

Wager E, et al. JAMA Published Fewer Industry-Funded Studies after Introducing a Requirement for Independent Statistical Analysis. PLoS ONE 2010; 5(10): e13591. doi:10.1371/journal.pone.0013591

La communication sur les risques est mauvaise dans les abstracts

Editorial surprenant du BMJ en octobre 2010 par ses propositions. Cela part d'un constat regrettable : les risques absolus sont rarement clairement exprimés dans les articles, et en particulier les abstracts. Nombreux commentaires sur le site BMJ. Le début de cet édito : "In 1996 a review of mammography screening reported in its abstract a 24% reduction of breast cancer mortality; a review in 2002 claimed a 21% reduction. Accordingly, health pamphlets, websites, and invitations broadcast a 20% (or 25%) benefit. Did the public know that this impressive number corresponds to a reduction from about five to four in every 1000 women, that is, 0.1%? The answer is, no." La suite est édifiante car des gynécos se trompent aussi.... Beaucoup de bons exemples dans cet article.

Les auteurs plaident pour mieux exprimer les risques dans les abstracts surtout, et dans les articles. Ils ont raison, mais je reste perplexe sur les mesures à prendre pour contraindre les rédacteurs de faire préciser les risques absolus : "Steps can be taken to improve the transparency of risk communication. Firstly, editors should enforce transparent reporting in journal abstracts: ......Secondly, institutions that subscribe to medical journals could give journal publishers two years to implement the first measure and, if publishers do not comply, cancel their subscriptions. Thirdly, writers of guidelines, such as the CONSORT statement, should stipulate transparent reporting of benefit and harms in abstracts." D'accord avec les propositions 1 et 3 ; comment appliquer la menace numéro 2 ?

Gigerenzer G et al. Misleading communication of risk. Editors should enforce transparent reporting in abstracts. BMJ 2010; 341:c4830

"Free the data" : R Steinbrook et JP Kassirer, anciens rédacteurs du NEJM

Le BMJ du 16 octobre 2010 publie une prise de position basée sur les expériences de la rosiglitazone (Avandia), en disant qu'il s'agit de l'histoire du rofecoxib (Vioxx) de 2005 qui se repète, et que les rédacteurs de journaux n'ont pas réagi apres Vioxx. Néanmoins, tous les guidelines et codes de bonne conduite existent sans être suivis......C Del Mar, d'Australie, resume ainsi les positions de Steinbrook et Kassirer :

• the definition (currently ambiguous) of “full access to data” for the authors should be cleared up;
• one author in the team should be truly independent of any pecuniary interest in the product and act as guarantor;
• data must be available to editors in case of future concern, (something hopefully rarely exercised); the responsible author should be prepared and able to provide the data to the journal.....and after publicationm perhaps 5 years,
• there would be consequences after publication if data were found to have been misleadingly provided (presumably retractions and public disgrace).

Bel argumentaire accompagné de 3 commentaires dans le même numéro : C Del Mar, N Freemantle, Couts G. Intéressant, mais croire que les journaux vont pratiquement réanalyser les essais industriels me semble naïf....Les opinions sont variées, en disant que ce n'est pas si simple, et que les facteurs sont multiples : carrière des auteurs, que la collusion entre les acteurs (auteurs, investigateurs, industrie) n'est pas évidente,....

Dans ce même numéro du BMJ, l'histoire d'un antidépresseur dont 74 % des données n'avaient pas été publiées....et qui ont été réanalysées, changeant totalement les données d'efficacité.... très mauvais exemple pour l'industrie qui a caché ces données.....

Steinbrook R, Kassirer JP. Free the data. BMJ 2010;341:811-812,