Rédaction Médicale et Scientifique

Méfiez-vous des méta-analyses

Le mot sonne bien ; quand on ne connait pas, on est admiratif du travail ; quand on lit un peu mieux les méta-analyses, très rares sont celles de qualité...  Il fût un temps où les méta-analyses étaient même considérées comme le meilleur niveau de preuve d'un article... PRUDENCE, et allez lire une revue systématique parue en décembre 2011 dans BMC Medical Research Methodology : 236 méta-analyses ont été évaluées. Les auteurs anglais ont utilisé la check-list des recommandations PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses) qui ont remplacé les recommandations QUORUM en 2009.

Amélioration du peer review en utilisant des guidelines : effet minime

L’idée de proposer aux reviewers des recommandations pour analyser les articles est bonne, mais cette stratégie ne semble pas très efficace. Un essai randomisé a été effectué au sein du journal catalan « Medicina Journal ». Les auteurs ont comparé une relecture d’article dite ‘conventionnelle’ à une relecture dite complémentaire avec utilisation de recommandations CONSORT (recos pour publier les essais randomisés) ou STROBE (recos pour les études observationnelles en épidémiologie). Ces recommandations ont été faites pour les auteurs lorsqu’ils préparent des manuscrits, et n'ont pas été concues pour des reviewers.

Critères de paternité d'un article : toujours peu appliqués

Des données nouvelles viennent conforter le fait que les critères de qualification des auteurs d'articles scientifiques sont ignorés. C'est un article de janvier 2012 dans Archives of Internal Medicine, par une équipe espagnole qui a montré l'ignorance des critères de ICMJE (International Committee of Medical Journal Editors ou groupe de Vancouver). Ils ont analysé les recommandations auteurs de 135 journaux biomédicaux (facteur d'impact moyen de 6,1), et montré :

• 7 des 32 journaux (21,8 %) publiant uniquement des revues générales demandaient le respect des 3 critères ; 53 des 104 journaux (51,4 %) publiant des recherches origianles demandaient les 3 critères ;
• 50 des 135 journaux endorsaient clairement les recommandations de Vancouver, et 9 (18 %) ne demandaient aucun des 3 critères ! 85 des 135 journaux n'endorsaient pas ces recos, et 44 (51,7 %) ne demandaient aucun des 3 critères.

Développer des revues systématiques prenant en compte l'équité : PROGRESS-Plus

Les revues systématiques, analyses de la littérature faites selon des méthodes recherchant les preuves existantes pour répondre à une question, sont développées par 2 groupes collaboratifs : Cochrane collaboration dans le domaine des soins et Campbell collaboration dans des domaines des sciences sociales. Pour publier des revues systématiques, les auteurs doivent suivre des recommandations appelées PRISMA pour "Preferred Reporting Items for Systematic Reviews and Meta-Analyses". Ces 2 groupes collaboratifs se sont associés pour réfléchir aux revues systématiques qui sont en général ciblées pour les pays développés, sans tenir compte des populations vulnérables ayant peu d'accès aux soins et interventions sociales. 

Auteurs fantômes, invités, cadeaux.... et honoraires... mais qui écrit les articles ?

J'évoque souvent des termes différents pour qualifier les auteurs des articles scientifiques, et il y a une confusion entre les termes...  Ce jargon de rédacteurs de journaux évolue... Certains acquis sont acceptés. Les termes anglais "ghosts, guests, gifts" sont les termes que l'on lit dans les diagrammes de COPE. Le terme "honorary" est dans les articles scientifiques. Je résume ce que je crois savoir, ayant supervisé la traduction française des recommandations dites de Vancouver, et des recommandations de COPE (en ligne dans quelques semaines).

Les auteurs fantômes (ghosts) sont de 2 types :

Il faut améliorer les recommandations éthiques de tous les journaux

Les recommandations éthiques de 30 journaux à facteur d’impact (FI) > 10 étaient meilleures que celles de 30 journaux à FI < 10. Félicitons des auteurs français pour ce travail publié dans le Journal of Medical Ethics  (online first en décembre 2011) ! Nous avons déjà mentionné des travaux de Ph Charlier, notamment dans le numéro de Noël 2010 du BMJ.

Un score de 5 items a été créé pour ce travail et les scores moyens étaient de 3,6 (FI > 10) et 2,8 (FI < 10). Au moins tous sont au dessus de la moyenne. Un item n’a pas été discriminant : les 60 journaux demandaient les conflits d’intérêts. Les autres items : 13 sur 60 journaux demandaient de suivre STROBE pour les études épidémiologiques ; 28 demandaient de suivre CONSORT pour les essais cliniques ; 43 demandaient de mentionner les comités d’éthiques locaux ; 44 demandaient des consentements signés des patients. Les auteurs n’expliquent pas comment ont été choisis les journaux… ce qui manque pour la validité de cet article… Certains journaux n’étaient peut-être pas concernés par certains items. Le résultat principal n’est pas étonnant mais attire l’attention sur les recommandations éthiques qui sont souvent insuffisantes ou négligées ? Ce travail n’a pas évalué la pratique des journaux dans les articles car il existe des variations : certains journaux ne respectent pas leurs recommandations aux auteurs, d’autres vont au-delà des exigences de leurs recommandations.

Merci à Ph Charlier pour m'avoir transmis l'article.

Charlier Ph et al. Ethics requirements and impact factor. J Med Ethics 2011 doi : 10.1136/medethics-2011-100174

 

De mauvais conseils aux auteurs par des rédacteurs novices !

Trop de revues ont des rédacteurs qui ne savent pas écrire des recommandations aux auteurs... Surprenant ? NON. Deux exemples :

• dans le journal "Environmental Health Perspective" en juillet 2011, un Sud Coréen publie un article sur les critères pour publier un article dans les grands journaux de toxicologie...  Interessant ? Oui, mais article très mauvais : il n'a pas daigné écrire un chapitre "Méthodes". Il n'y a aucune info sur la qualité/validité du travail. Donner des conseils aux autres sans expliquer ses méthodes de travail est un exercice ambitieux..... Le texte est sans saveur. Qu'apprend-t-on dans le résumé de cet article ?

QUADAS-2 : un instrument pour évaluer les articles sur les tests diagnostics

Les recommandations autour des publications sont très nombreuses et des confusions sont normales pour les auteurs novices. Nous connaissons STARD, qui sont des recommandations pour écrire des articles dans le domaine des tests diagnostics. STARD pour STAndards for the Reporting of Diagnostic accuracy studies. C'est une checklist de 25 items avec un diagramme de flux. STARD n'a pas beaucoup évolué depuis quelques années, mais reste un guide très satisfaisant.

Amélioration insuffisante des publications d'essais randomisés en cluster depuis l'extension de CONSORT

CONSORT est une usine à gaz dont nous avons vraiment besoin. Ces recommandations sont périodiquement évaluées : bravo car trop de recommandations ne sont jamais évaluées... CONSORT comprend des recommandations pour les essais randomisés et en 2004, une extension a été dédiée aux essais en cluster (en groupe, en grappe). Nous avons besoin des essais en cluster : la randomisation n'est pas faite au niveau d'individus, mais au niveau de groupes de patients par exemple. Il s'agit de randomiser des hôpitaux, des communautés, des cabinets de médecins, etc... ce sont des essais très pragmatiques.

Peu d'auteurs acceptent de transmettre les données de leurs publications ?

Les rédacteurs de journaux ont eu des initiatives qui ont influencé nos systèmes et organisations... par exemple, les registres d'essais comme www.clinicaltrials.gov ont été créés grâce aux exigences des rédacteurs de revues qui demandaient l'accès aux protocoles,...   Les rédacteurs en veulent plus, et les technologies le permettent : l'accès aux données sources des publications est indispensable. L'article du futur contiendra les données sources. Idéalement les données de plusieurs articles pourront être fusionnées...  La technologie existe mais les résistances sont majeures.

Améliorer les publications sur la qualité de vie : une extension future de CONSORT

Des résultats de type qualité de vie sont souvent analysés dans les essais randomisés. Ces données sont utiles pour des décisions cliniques, des politiques de santé, des décisions de remboursements de soins. C'est un commentaire dans The Lancet du 12 novembre 2011 qui nous annonce la constitution d'un groupe de travail. En pratique, toutes les publications de ces données sont de mauvaise qualité. Sur 794 publications d'essais cliniques randomisés (2002/2008), 56 % contenaient un rationnel pour le choix du critère de jugement, 50 % avaient une hypothèse, 28 % donnaient des informations sur les données manquantes, et 64 % discutaient la qualité de vie dans le contexte des autres résultats. Tout ceci est insuffisant, et de nombreux critères sont absents. Il existe 18 publications sur recommandations et/ou standards dans ce domaine attirant l'attention sur la nécessité d'avoir une bonne qualité des essais et publications. CONSORT n'a pas proposé de grille pour publier les données sur la qualité de vie.

En 2012, un groupe d'experts a l'objectif de proposer des recommandations de qualité de vie pour les ajouter dans CONSORT. Ils proposent de répondre à une enquête préliminaire à leurs travaux. Cette initiative est supportée par le Medical Research Council (UK) et le Canadian Institute for Health Research.

Calvert M et al. Lancet 2011;378:1684-1685.

 

Reporter des stats sans dire le sens et la taille de l'effet trompe des lecteurs

C'est une courte mais intéressante 'Research letter' du JAMA du 9 novembre 2011 qui attire l'attention sur un point important. Des méthodologistes/statisticiens connus ont analysé les résumés de revues systématiques. Ils ont cherché à savoir si dans ces résumés, la direction et la taille d'un effet, la signification statistique, l'intervalle de confiance, le P, et quelques autres données étaient clairement exposés avec des mots. 

Un guide pour rédacteurs : bravo l'OMS

Je n'avais pas vu une publication intéressante du bureau régional OMS de la Méditerranée orientale en 2010, et que vient de me faire parvenir un collègue étranger.... erreur de ma part car ce manuel de 82 pages a une version française en plus de la version anglaise. Peu de guides spécifiquement dédiés aux rédacteurs de journaux existent. La plupart des manuels de style sont pour les auteurs et les rédacteurs. Les rédacteurs de journaux apprennent trop souvent leur métier sans formation ni ouvrages de références.. et c'est dommage. 

Des autruches dans les couloirs de la HAS

La plupart des publications les corrigent et progressent. Un cas me gêne, celui de la publication DPC & Pratiques, sous l'égide de la Haute autorité de santé (HAS). Dans le numéro 56, il y a une erreur : ce n'est pas grave car nous en faisons tous. L'erreur, c'est de faire référence à un document qui n'existe pas. Vous trouverez l'histoire dans des billets précédents. La référence inventée avait pour objectif de valider un verbiage incompréhensible....

La HAS connaît le management des erreurs... J'ai proposé de mettre des excuses dans un des numéros suivants de DPC & Pratiques comme font la plupart des publications. Mais surprise, surprise...  le numéro 58 qui vient de sortir ne contient toujours pas d'excuses (ni le 57).... Que fait le comité de rédaction car la plupart des personnels de la HAS sont en faveur du bon management des erreurs.... 

J'imagine le comité de rédaction : chappe de plomb...  où est le problème ? omerta ! ridicule ! qui va en parler le premier ? évitements dans les couloirs... peur du gendarme, chasse à ces sorcières qui reconnaissent leurs erreurs, etc...... Quand une organisation fait l'autruche, elle se raidit ; les défenseurs de l'erreur cachée deviennent autoritaires : le politique prend alors le dessus sur le scientifique...  

L'importance du cas clinique

Le Journal of Medical Case Reports ne publie que des cas cliniques, avec parfois des séries sur des thèmes prédéterminés, et par exemple H1N1..   Ce journal a regroupé des éditoriaux sur l'importance des cas cliniques. Il s'agit de 9 courts articles sur l'utilité des cas cliniques, avec quelques redondances. C'est bien fait, mais il faut aussi apprendre à les écrire..  et là, trop de dérapages sont observés. Tous les auteurs ont leur cas unique...  mais les cas exceptionnels sont rares. Ecrire un cas de type Guinness Book of Records, ou un cas "Je suis intelligent ", est facile et peu instructif. Attention, les consentements des patients sont toujours exigés par ce journal !

Quels cas sont considérés ?   Manuscripts must meet one of the following criteria:

Il n'existe pas de recos pour les articles de recherche à partir d'enquêtes, de questionnaires

Félicitons l'équipe de Jeremy Grimshaw, cet écossais qui a développé sa carrière à Ottawa, Canada. C'est une bonne idée : ils ont analysés comment, dans les articles, étaient décrites les recherches faites à partir d'enquêtes, de questionnaires. Bon travail qui a été accepté par PLoS Medicine en août 2011.

Tout d'abord, sur 165 journaux  ayant publié ce type de recherches, 7 % avaient quelques conseils dans leurs instructions aux auteurs. Ils ont identifié 4 checklists (aucune validée). Ils ont analyse 117 articles sur des recherches à partir d'enquête, et devinez le résultat :"many items were poorly reported: few studies provided the survey or core questions (35%), reported the validity or reliability of the instrument (19%), defined the response rate (25%), discussed the representativeness of the sample (11%), or identified how missing data were handled (11%)."

La HAS laisse en ligne des recos suspendues BRAVO, BRAVO

Par décision du 19 septembre 2011, la HAS a suspendu 6 recommandations. Nous avions regretté le 6 mai 2011 que la HAS ne laisse pas en ligne des recommandations qui avaient été retirées suite aux remarques du Conseil d'état. Il existe des recommandations de COPE pour dire que les documents abrogés doivent rester en ligne.

Cette fois ci, la HAS applique les bonnes pratiques en matière de gestion des sites et des publications. Nous ne pouvons qu'applaudir en lisant le document ci-dessous, avec une mention en arrière plan de chaque page des documents :

Faut-il modifier les articles pouvant aider les terroristes ?

Peu de journaux font attention aux articles contenant des informations pouvant intéresser des terroristes. Il s'agit des DUR pour "Dual Use Research", concept pour décrire des recherches qui peuvent être utilisées délibérement pour une menace biologique de santé publique ou pour une atteinte à la sécurité nationale. Une déclaration a été publiée en 2003, suite aux évènements de septembre 2001, par Nature, Science et PNAS. Mais les recommandations proposées n'ont jamais été formalisées.

Un éditorial du JAMA d'août 2011 contient des exemples de DUR comme "augmenter la virulence du virus de la variole et rendre les vaccins inéfficaces.."

Que proposent les rédacteurs de journaux ?

• que les auteurs communiquent leurs données en maximisant les bénéfices publiés et minimisant les risques de mauvaise utilisation ;
• que les rédacteurs soient vigilants pour identifier les DUR, alerter les auteurs, voire propsoer des modifications éditoriales,...

Les DURC (Dual Use Research of Concern) sont rares : trois cas du journal "Biosecurity and bioterrorism" ont été identifiées entre 2002 et 2008 ; sur 78 000 soumissions à Nature entre 2005 et 2008, 28 articles ont été considérés comme DUR, et zéro comme DURC. Une enquête sur 155 journaux a montré que 5,8 % avaient eu des manuscrits dits "DUR" en 5 ans..

Nightingale SL. Scientific publication and global security. JAMA 2011;306:545-546.

Corrections, rétractations et 'expressions de réserves'

  Les recommandations de ICMJE, ou convention de Vancouver (consultables en français sur www.icmje.org grâce à la HAS), ont un paragraphe expliquant comment manager les erreurs et les fraudes. Ce paragraphe est long et je l'ai reproduit en entier en fin de ce billet. Je le cite à propos de la référence inventée dans le numéro 56 de la publication DPC & Pratiques. Ces recommandations ne font que reprendre les recommandations habituelles quand on fait une erreur : ne pas faire l'autruche, avouer et dire quelles mesures seront prises pour éviter une nouvelle erreur.

Ayant cité une référence inexistante par erreur, et compte tenu des recommandations de Vancouver pour les publications, la rédaction de DPC & Pratiques devrait publier des excuses (dans le numéro 58) ainsi :

1. Une note signée des auteurs de l'article : Dans l'article "Analyse des processus de DPC - Etat des lieux réalisé dans le cadre des Assises du médicament", nous avons par erreur cité une analyse de l'OCDE qui n'existe pas. nous nous en excusons et remercions les lecteurs qui nous en ont fait la remarque.  Signé "Les auteurs" (HAS ou Collège ou Dr Machin)
2. Un erratum du coordinateur de DPC & Pratiques du type : Dans le numéro 56 de DPC & Pratiques, nous avons oublié de mentionner la paternité de l'article "Analyse des processus de DPC - Etat des lieux réalisé dans le cadre des Assises du médicament" et nous nous en excusons auprès de HON code et de nos lecteurs que nous remercions pour leur sagacité. Les auteurs étaient : HAS ou Collège ou Dr Machin. Une référence inexistante a été citée dans le même article ; le comité de rédaction a mis en place une relecture de tous les articles avant publication ; pour chaque article, cette relecture sera confiée à deux reviewers externes à la HAS.

Après publication de ces courtes notes, nous féliciterons la rédaction de la publication. Ces erreurs nous arrivent à tous et il vaut mieux en rire et ne pas accuser.  Nous avons vu les erreurs du BMJ, du journal Le Monde et ces journaux les reconnaissent.....    Je fais des erreurs...  et j'essaye de les corriger au plus vite.

WikiProject Medicine : la Ferrari des encyclopédies en santé ?

Un éditorial du BMJ (juin 2011) nous raconte l'histoire et les challenges de cette encyclopédie médicale qui serait la meilleure...  Avec 7 ans d'ancienneté, WikiProject Medicine a 150 millions de lecteurs par mois, soit la moitié de Wikipédia.

Cet éditorial analyse très bien les forces et faiblesses du projet : tous les articles cités ont été évalués, et peu ont une évaluation excellente (normal !), la qualité de WikiProject Medicine semble bonne, mais les conflits d'intérêts des auteurs anonymes ne sont pas gérés..  Il semble que les étudiants en médecine utilisent beaucoup cette encyclopédie destinée à tous publics... Le projet a des task forces, avec la liste des contributeurs, un manuel de style détaillé, etc...

WikipProject Medicine semble aussi répondre aux besoins des cliniciens qui veulent des résumés actualisés des preuves existantes, et faciliter la mise en oeuvre de stratégies dites EBM (evidence based medicine).

A quand un projet en langue française ? Avez-vous testé ?

Trevena L. WikiProject Medicine. Could become a trusted resource if it is assisted not shunned. BMJ 2011;342:d3387