Rédaction Médicale et Scientifique

Le système GRADE pour évaluer les preuves et préparer de bonnes recommandations de pratique clinique est applicable aux interventions de santé publique

GRADE (The Grading of Recommendations Assessment, Development and Evaluation) est insuffisamment connu en France. Cet outil permet d'évaluer le niveau de preuve des études, et de proposer la force des recommandations. Il a été adopté par de nombreux groupes ou organisations qui produisent des recommandations de pratique clinique. Plus de 65 organisations nationales et internationales ont adopté GRADE (mais personne en France). 

18 entretiens semi-directifs ont évalué l’application de GRADE en santé publique, dans une étude faite par 2 auteurs (avec 4 adresses Munich, Hamilton Canada, Buffalo NY et Beirut Libanon) et publiée début 2013 dans BMC Public Health. Il avait été dit que cette discipline ne pouvait pas bien utiliser GRADE. Ce n’est pas vrai. Au contraire, GRADE a bien aidé les rédacteurs de recommandations, et bien sûr des améliorations ont été suggérées.

Les auteurs de cet article ont bizarrement mis un sous-titre ‘empirical study’ alors que s’ils avaient mis ‘18 entretiens semi-directifs’, cela aurait été clair… mais nos revues ‘quantitatives’ n’aiment pas suffisamment le ‘qualitatif’.

Trop de recommandations, avec le temps, sont devenues subjectives, et se sont éloignées des preuves existantes. Réaliser des revues systématiques est difficile, et les groupes rédacteurs de recommandations sont pressés..   et la qualité diminue..    NO COMMENT !

Rehfuess E, Akl EA. Current experience with applying the GRADE approach to public health interventions : an empirical study. BMC Public Health 2013 ;13 :9.

Des recommandations éthiques pour les reviewers par COPE (Committee On Publication Ethics)

Nous avions évoqué la préparation de ces recommandations, et elles viennent d'être publiées. Elles sont nécessaires, et que contiennent-elles :

• Les principes de base : accepter de relire des articles pour lesquelles le relecteur a les compétences ; respecter la confidentialité ; ne pas utiliser les données pour soi-même ou des collègues ; déclarer ses liens d'intérêts ; évaluer le fond sans tenir compte de l'origine de l'article, des auteurs, etc...; être objectif et constructif ; être professionnel ; reconnaître qu'imiter quelque'un d'autre dans le peer review est une mauvaise pratique.
• Les relecteurs doivent répondre vite (même pour dire non) ; dire s'ils ont déjà vu l'article ; suivre les instructions de la revue ; ne pas relire s'ils écrivent un mauscrit similaire ; suggérer d'autres relecteurs si besoin ; ne pas relire s'ils ont été engagés dans le travail.
• Les relecteurs doivent tout lire avant de donner leur avis ! Ils ne doivent pas faire relire pas des collègues, informer la revue de toutes questions qu'ils se posent sur leur travail de relecture, en particulier s'ils suspectent de mauvaises pratiques ; ne pas retarder la relecture sans raisons.
• Ensuite, il y a des conseils pour écrire son avis de relecture.

Récompenser les études reproductibles ! Eh oui, la plupart des études publiées sont difficiles à reproduire !

Problème négligé, mais combien important : la reproductibilité des études publiées ! Nous avons vu que les chercheurs d'Amgen, et de Bayer avaient publié leurs données : ils reproduisaient dans leurs labos de 11 à 25 % des études publiées ! En médecine clinique, la reproductibilité est plus difficile que dans les laboratoires de recherche...   et là pas de données... Des américains proposent un certificat de reproductibilité à adjoindre à votre manuscrit lors de sa soumission à une revue !

Une société a lancé "The reproducibility initiative" ! Vous êtes conviés pour nominer les articles reproductibles ! Des médias, notamment le New York Times et le Wall Street Journal, ont publié un rapport sur la reproductibilité de la recherche scientifique. Les  chercheurs ne peuvent pas facilement valider et publier les résultats reproduits.... C'est tout près de changer.....

Science Exchange, PLOS ONE, figshare et Mendeley ont lancé l'Initiative de reproductibilité pour résoudre ce problème. Il faut récompenser les personnes qui prennent du temps pour faire des recherches reproductibles. Les incitations académiques mettent l'accent sur la nouveauté, ce qui se fait au détriment de la rigueur. La politique annoncée est détaillée sur le site de Science Exchange. Il faudra avoir des ressources (apportées par le demandeur ?) pour que les expérimentations soient refaites et validées. Les résultats de ces expérimentations seront publiées dans une collection dédiée de PLOS ONE, et des données de reproductibilité seront échangées avec la collection dédiée de figshare. Mendeley (acheté par Elsevier) pourra mesurer l'impact du travail reproductible avec des indicateurs de confiance.

Tout ceci me semble être une excellente initiative, mais c'est aussi un nouveau business qu'il faudra suivre...

SAMPL : des recommandations pour bien publier les statistiques dans vos articles

Ce n'est pas habituel d'appeler "guidelines" un document écrit par 2 experts ! Mais on peut peut-être l'accepter car ces 2 experts sont renommés, et car ils ont compilé et utilisé des documents existants, et consensuels. Donc voici SAMPL pour Statistical Analyses and Methods in the Published Literature. Vous les aurez sur le site EQUATOR, et bientôt dans la nouvelle édition du Science Editors' Handbook que j'ai co-édité avec P Smart et A Polderman (sortie avec 50 chapitres en septembre 2013).

Les 2 experts sont bien connus pour leur engagement dans la publication des stats depuis longtemps :

Tom Lang, un consultant américain qui a écrit des livres superbes, et quelques publications intéressantes comme les 20 erreurs statistiques les plus courantes ;

Doug Altman, est un statisticien anglais qui conseile plusieurs revues internationales dont le BMJ, et a écrit des livres de stat bien faits. Il a participé à CONSORT et autres recos.

SAMPL commence par une citation d'un psychiatre français, Jean-Etienne Dominique Esquirol dans The Lancet 1838 !  Vous y apprendrez que moyenne et écart-type s'expriment " mean (SD)" et non pas mean + SD...     Qu'il ne faut pas utiliser l'erreur standard de la moyenne, mais bien l'écart type.... il ne faut pas utiliser NS mais donner les valeurs de P,  et plein d'autres trucs simples (quand on aime les stats..). Pas trop long, mais dense !

Politique anglaise sur la bonne gouvernance et la publication des recherches publiques : disponibles en Open Access, avec un fonds dédié pour payer les droits du gold OA

En février et mars 2013, RCUK (Research Councils UK) a publié des documents importants : 

• La politique sur l'Open Access des articles sur des recherches publiques, avec quelques points forts : la stratégie (voir image à gauche), défense du peer-review, ne pas inclure les APCs (Article Publication Charge) dans les grants, car un fonds dédié couvrira ces coûts (il s'agira probablement de commencer des négociations entre bibliothèques et maisons d'éditions), des embargos de 6 à 12 mois seront acceptés encore quelques années, tout devrait être en accès libre dans 5 ans....  La prise en charge des APCs traduit l'acceptation du modèle dit Gold OA, et nous verrons ce que feront des revues prestigieuses comme The Lancet (devriendra-t-il d'accès gratuit pour les articles de recherche ?). Un beau document de 10 pages, parmi d'autres à consulter.

BMJ lance une initiative "Too much Medicine", et il n'est pas isolé !

Dans son éditorial du 27 février 2013, Fiona Godlee, rédactrice du BMJ, annonce une initiative nouvelle : "trop de sur-diagnostics, de sur-traitements". Le BMJ est partenaire d'un congrès sur "Preventing Overdiagnosis", en septembre 2013 à Honver, New Hampshire. Il s'agit d'une nouvelle épidémie ! Et début 2014, le BMJ aura un numéro spécial avec les meilleurs articles provenant de ce congrès. Pour ce congrès, Consumerreports, un magazine de défense des usagers basé à New York, est partenaire avec le BMJ.

Les Etats-Unis sont le premier pays concerné par ces pratiques... et une vidéo explique cela avec quelques chiffres inquiétants : "Harms of overtreatment". Mais des sur-diagnostics et des sur-traitements existent aussi en dehors des USA. Le BMJ rejoint l'initiative du JAMA Internal Medicine avec sa compilation d'articles sur "Less is More".

"The BMJ and the Consumer Reports journal will launch a series on how the expansion of disease definitions is contributing to overdiagnosis, featuring common conditions including pulmonary embolism, chronic kidney disease and (pre)dementia. Underscoring the need for caution, each article will feature a limitations section, highlighting the caveats accompanying this evolving and complex science."

Sexisme dans les revues, les comités de rédaction, les reviewers ? Quel est l'état des pratiques dans ce domaine ?

Euroepan Association of Science Editors (EASE) a créé fin 2012 a "Gender policy committee" pour proposer des recommandations sur le sexisme dans les revues. Nous avons vu que Nature s'était ému de certaines pratiques dans ce domaine.

Les missions du comité :

• Advocate better reporting of gender and sex differences and/or similarities in scientific research.
• Promote gender mainstreaming (and better science) through inclusion of sex and gender considerations in policies and standards for scientific publishing.
• Encourage gender balance among reviewers, on editorial boards, and in editorial offices.

Pour continuer ces recherches, EASE a lancé un questionnaire destiné aux rédacteurs de revues. J'ai rempli ce questionnaire qui demande les ratios hommes/femmes au sein du comité de rédaction de votre revue, pour les reviewers, et quelques autres questions...  10 minutes pour que les revues françaises soient représentées dans cette enquête. MERCI

Les effets indésirables insuffisamment décrits dans les publications des essais médicamenteux des analgésiques : rien de surprenant !

Si depuis la Publication de CONSORT, les publications des essais randomisés controllés ont été améliorées, une extension de CONSORT en 2004 a été dédiée à la publication des effets indésirables. La publication de ces effets n'est pas satisfaisante. Une bonne étude dans PAIN, décembre 2012, a analysé 101 essais randomisés sur des interventions médicamenteuses (revues European Journal of Pain, Journal of Pain, and PAIN), et montré que la publication de cette extension de CONSORT avait eu un effet minime. 

Extrait du résumé : Out of 10 reporting recommendations, the mean number fulfilled was 6.08 (SD2.65). Although more harms recommendations were fulfilled in 2088-2011 (m₂=6.49, SD2.66) than in 2000-2003 (m₁=5.39, SD2.52; P=0.04), only the recommendation to report harms per arm was satisfied by >90% of trials in 2008-2011, whereas <60% reported withdrawals due to harms. Several trial characteristics (study design, participant type, pain type, frequency of treatment administration, treatment administration method, sponsor, and number of randomized participants) were significantly associated with harms reporting.

Des améliorations seraient nécessaires pour les essais randomisés sur les analgésiques. En février 2013, PAIN a publié un autre article montrant, à partir de 74 articles (essais médicamenteux), que les méthodes pour rapporter les effets indésirables étaient très variables...

Smith SM, et al. Adherence to CONSORT harms-reporting recommendations in publications of recent analgesic clinical trials: an ACTTION systematic review. PAIN 2012;153:2415-2421.

55 % des publications d'essais randomisés identifiés dans Medline contiennent le numéro d'enregistrement de l'essai

Va-t-on-y arriver ? Depuis septembre 2005, le comité international des rédacteurs biomédicaux demande que les essais randomisés soient enregistrés dans un registre (par exemple clinicaltrials.gov), et que le numéro d'enregistrement soit mentionné dans la publication de l'essai...    On pourrait faire mieux car ce sont 55 % (106 / 302) des essais publiées en novembre 2010 dans Medline (PubMed) qui contiennent un numéro d'enregistrement.

Cet article de PLOS ONE (novembre 2012) provient du centre Cochrane hollandais, et la méthodologie est bonne. Qu'en penser ? Il faudrait faire mieux en sensibilisant auteurs, reviewers et rédacteurs...   d'ailleurs les essais publiés dans des revues adhérant à ICMJE ont des résultats un peu meileur..   Il faudrait ajouter cet item à la checklist de CONSORT révisée en 2010.

Que fait un rédacteur en chef qui doit prendre une décision sur un excellent essai soumis à sa revue, alors que cet essai n'a pas été enregistré ? Peui-il refuser pour voir cet essai aller dans une revue concurrente ? Autres résultats troublants : 39 % des essais publiés n'avaient pas été enregistrés, et 48 % des essais enregistrés et terminés depuis 2 ans n'avaient pas été publiés (par analyse d'une base hollandaise)...  pas étonnant ! Article court, bien fait et facile à lire, ce qui est rare.

van de Wetering FT, et al. Trial Registration Numbers Are Underreported in biomedical publications. PLOS ONE 2012:7(11): e49599. doi:10.1371/journal.pone.0049599

La 9éme recommandation du comité sur l'éthique des publications : du boulot pour améliorer le système !

COPE, Committee on Publication Ethics, a déjà publié 8 recommandations. Les recommandations pour les reviewers sont disponibles sous forme de draft en consultation jusqu'au 18 février 2013. Vous pouvez donner votre avis. La liste des recommandations de COPE est impressionnante, et on se demande pourquoi le système ne marche pas mieux !

Sur ce lien, vous avez accès à toutes les recommandations de COPE :

• Ethical Guidelines for Peer Reviewers (version en consultation)
• Code of conduct and best practice guidelines for journal editors
• Code of conduct for journal publishers
• Guidelines for retracting articles
• Cooperation between research institutions and journals on research integrity cases: guidance from the Committee on Publication Ethics (COPE)
• A Short Guide to Ethical Editing for New Editors
• Guidelines for the Board of Directors of Learned Society Journals
• Guidance for Editors: Research, Audit and Service Evaluations
• How to handle authorship disputes:a guide for new researchers

 

Abécédaire Poster / Résumé / Présentation orale : un ouvrage simple, de qualité avec des trucs merveilleux

J'ai aimé cet Abécédaire PRO (pour Poster, Résumé, présentation Orale) fait par Olivier Mouterde, gasto-pédiatre à Rouen. Vous le trouverez sur le site de l'éditeur. Ouvrage très pratique, d'initiation, avec de nombreux trucs simples que vous aimerez. L'auteur pense que 60 % des diapos sont illisibles dans les congrès... sans données objectives, je crains qu'il n'ait raison ! Les erreurs sont toujours les mêmes, et je reprends quelques idées :

• Très bons conseils pour les Posters ;
• Si l’orateur s’excuse car la diapo est illisible, pourquoi la projeter ?
• Apprenez à faire des diapos : maximum 5 puces par diapos, 7 mots par ligne ; c’est simple, mais que les diapos chargées sont nombreuses (page 46) ;
• Moi aussi, je n’aime pas trop les camemberts (page 43) ;
• De bonnes citations en français ou en anglais, par exemple : ‘Don’t choose an expert to teach, choose an exert teacher’ et ‘Fail to prepare, prepare to fail’

Merci à O Mouterde et R kohler

 

Ecrire un protocole pour un essai interventionnel : les recommandations SPIRIT 2013 viennent d'être publiées

C'est un effort majeur, sous l'égide d'institutions canadiennes qui ont supporté le groupe de travail. La publication simultanéé le 8 janvier 2013 dans BMJ et Annals of Internal Medicine, et le site dédié vous donnent accès à des ressources précieuses. Il s'agit de la description de tous les items pour écrire un protocole pour un essai interventionnel. SPIRIT veut dire Standard Protocol Items: Recommandations for Interventional Trials. La plupart des méthodologistes canadiens, américains et anglais concernés par les essais ont collaboré. L'article explicatif est détaillé sur 42 pages pour le pdf du BMJ ! Il y a 33 items, avec des sous-items, et tout est bien fait : des exemples d'enregistrement, les conseils pour discuter des auteurs des articles futurs, des correspondances avec CONSORT, etc...  Qui va faire la traduction en français dont nous avons besoin ?

Est-ce que TREND est utile pour rédiger et publier des articles sur des études contrôllées non-randomisées ?

TREND est une recommandation qui signifie "Transparent Reporting of Evaluations with Non-randomized Designs", qui a été publiée en 2004, mais son utilité n'a jamais été évaluée. Est-ce que TREND est utilisé par les auteurs, mentionné dans les instructions des revues ? Est-ce que TREND a eu un impact sur la publication de ces études ? Il existe un site dédiée à TREND, dans lequel vous avez accès à l'article de 2004 et à la liste des 22 items pour aider à la rédaction de ces articles. En fait TREND est une adaptation de CONSORT (recos pour essais controllés randomisés) aux essais contrôllés non-randomisés.

BMJ Open vient de publier le protocole de 2 études destinées à répondre à ces questions, et cet article est très détaillé. Le résumé des méthodes qui seront mises en oeuvre :

"Nous ne pouvons pas croire les recommandations" : cette étude américaine argumentée devrait être refaite en France

Les Archives of Internal Medicine ont publié en novembre 2012 un article évaluant la qualité de 114 recommandations américaines, avec un commentaire intitulé : "In guidelines we cannot trust". Le titre de l'article commence par "Failure of...". Aux, USA peu de progrès ont été observés sur 20 ans, concernant la qualité des recommandations de pratique clinique. Donc les recos seraient mauvaises comme les articles ! Le commentaire est explicite :

Les études qualitatives en santé s’améliorent et nous avons besoin de synthèses de ces études : les recos ENTREQ sont bienvenues

Nous connaissons PRISMA pour écrire les revues systématiques des études quantitatives : il existe quelques tentatives de recommandations pour faire la synthèse des études qualitatives dans le domaine de la santé. Nous avons besoin d’études qualitatives en santé, mais elles sont souvent mal vues des maîtres de la statistique quantitative…   La sociologie est une discipline qui peut nous guider dans de nombreux domaines. Voici donc ENTREQ pour Enhancing transparency in reporting the synthesis of qualitative research. ENTREQ a commencé en 2004, et cet article de BMC Medical Research Methodology, de fin novembre 2012, fait le point sur ces recommandations.

Le BMJ exige les données sources des essais avec des médicaments et dispositifs, mais n'a publié que 6 essais de ce type en 2012 !

Nous avons évoqué début novembre 2012 la nouvelle politique du BMJ pour 2013 concernant les publications d'essais cliniques : les données sources doivent être consultables sous réserve de codes. Le 20 novembre, un éditorial de F Godlee et T Groves, rédactrices du BMJ, revient sur cette politique pour les articles soumis dès janvier 2013 :

• This new policy will apply to any paper that reports the main endpoints of a randomised controlled trial of one or more drugs or medical devices in current use, whether or not the trial was funded by industry ;
• Un tableau définit 'clinical trial, main endpoints, drug, medical device' ; pour device cela est limité aux class III de la FDA ;
• The BMJ policy does not currently apply to trials of diagnostic tools or surgical operations or of any other interventions that are not drugs or devices.
  
• Un article du BMJ et 23 de BMJ Open ont déposé leurs données sources dans Dryad ;
• Le problème n'est pas résolu ! Le BMJ a déjà publié 226 articles de recherche en 2012 : 31 étaient des essais randomisés ; 6 essais médicamenteux (dont un essai industriel) et aucun essai sur un medical device !
• Le BMJ aimerait que les agences de régulations exigent que les résultats soient accessibles car beaucoup d'essais ne sont pas publiés....   mais à quand les données sur les tests diagnostics et les technniques chirurgicales..   JAMAIS !

Godlee F, Groves T. The new BMJ policy on sharing data from drug and device trials. BMJ 2012;345:e7888

EQUATOR : la science est toujours pourrie ? Il faut agir maintenant car 85 milliards de dollars seraient gaspillés chaque année

Nous avons évoqué cet article du New York Times intitulé "La Science est pourrie", et en lisant les diapos du meeting Equator à Friburg en octobre 2012, je suis effrayé.... Félicitons surtout EQUATOR pour la mise en ligne gratuite des diapositives du meeting d'octobre 2012 à Freiburg intitulé "ACT now: accuracy, completeness and transparency in health research reporting". Je les ai toutes visionnées : passionnant, mais pour les lecteurs pressés, je recommande :

• Doug Altman : une belle vision du problème avec beaucoup de références utiles dans ses diapos ; son titre "Improving the quality and value of research publications – how can we speed up progress?"

La meilleure ressource pour rédacteurs de revues : accès libre de 80 pages de checklists, etc...

Les annexes d'un excellent ouvrage sur le peer review sont maintenant en accès libre ! Il s'agit de "Peer
review and manuscript management in scientific journals: guidelines for good practice" de Irene Hames, bien connue dans le milieu des rédacteurs. Ce livre de 2007 que j'aime régulièrement feuilleter est destiné aux rédacteurs de revues biomédicales. Il explicite en détail le management des articles au sein d'une revue et le fonctionnement du peer review. Irene Hames est reconnue ; elle vient de rejoindre le board de COPE. Nous n'avons pas ce type de livre en langue française.

Les titres des chapitres sont explicites : 1) Introduction, 2) The peer-review process: how to get going, 3) Manuscript submission and initial checks on completeness and suitability, 4) The full review process, 5) The decision-making process for reviewed manuscripts, 6) Moving to online submission and review, 7) The obligations and responsabilities of the people involved in peer-review, 8) Misconduct in scientific research and publishing - Waht it is and how to deal with it.

Les annexes devenues d'accès libre sont une compilation des éléments utiles pour les rédacteurs avec toutes sortes de check lists et autres lettres types pour répondre aux auteurs, etc.... Les 4 annexes font 80 pages ! avec 4 parties : The golden rules and the peer-review good practice checklist; examples of checklists, forms, guidance for reviewers and editorial letters (55 pages !); useful websites; alternative models of peer review.

C'est une bonne stratégie de Blackwell et ALPSP car avoir les annexes donne envie d'acheter le livre qui est d'actualité.

Améliorez les résumés des essais randomisés publiés : des recos spécifiques de CONSORT sont insuffisamment suivies

Les recommandations CONSORT pour publier les essais randomisés sont très utiles, et des recommandations spécifiques pour les résumés de ces publications ont été publiées en 2008. Sally Hopewell, qui avait coordonné ces recommandations, en a évalué la mise en oeuvre, en collaboration avec l'équipe française de Ph Ravaud que nous félicitons. Article intéressant du BMJ, et bien fait, avec l'analyse de 955 résumés provenant de 5 revues majeures : JAMA et NEJM (ne mentionnant pas ces recos dans leurs instructions aux auteurs), BMJ (mentionnant ces recos dans leurs instructions aux auteurs), et Lancet et Annals (mentionnant ces recos dans leurs instructions aux auteurs, avec une politique active de mise en oeuvre). Nombreuses données, avec un critère composite pour l'évaluation et une conclusion : les revues avec une politique active font mieux que les autres.

Il a été très souvent documenté les problèmes des abstracts, pas toujours fidèles aux données de l'article, mais très utilisés par des lecteurs qui ne lisent pas les articles... Les références à ces données sont dans l'article de Hopewell et al. La conclusion est que la politique active des revues est utile, et que les auteurs aussi doivent être sensiblisés. Beaucoup de données en annexe électronique : BRAVO.

Hopewell S et al. Effect of editors’ implementation of CONSORT guidelines on the reporting of abstracts in high impact medical journals: interrupted time series analysis. BMJ 2012;344:e4178

 

JAMA : déclarez tous vos liens d'intérêts, ayez accès aux données sources des publications

Dans un éditorial du 11 juillet 2012, H Bauchner, rédacteur en chef du JAMA, revient sur les politiques majeures du JAMA. Elles seront probablement appliquées par les 9 autres JAMA de spécialités. Tout est bien expliqué, et j'ai retenu quelques points :

• Liens d'intérêts : plusieurs fois des corrections ont dû être faites suites à des remarques des lecteurs ; cela vient du fait que les déclaration de liens d'intérêts sont dans divers supports et ne sont pas toujours les mêmes pour un auteur...   CONSEIL : déclarez au maximum et utilisez les grilles ICMJE ;
• Enregistrement des essais : très important, mais le JAMA sera parfois souple... mais pour les enregistrements tardifs, des explications devront être ajoutées dans les articles ;