Rédaction Médicale et Scientifique

'Post-publication peer review' : à voir ?

Les pourfendeurs du peer review, en général dans la mouvance de l'open access et du tout gratuit, ont proposé le 'post-publication peer-review'. Un projet vient d'être annoncé : F1000 Research.

Le principe : vous envoyez un manuscrit à un journal, le manuscrit est immédiatemment mis en ligne, des reviewers (nombre ??) sont informés (comment sont-ils choisis ?), et discutent avec l'auteur pour réviser le manuscrit ; à un moment, les reviewers désignés mettent un tampon 'approved' ou 'not approved', mais l'article reste en ligne... Tout est transparent en permanence. Le groupe de Faculty of 1000 qui a fait du post-publication peer review son business vient d'annoncer un nouveau projet pour cette année 2012...

Amélioration du peer review en utilisant des guidelines : effet minime

L’idée de proposer aux reviewers des recommandations pour analyser les articles est bonne, mais cette stratégie ne semble pas très efficace. Un essai randomisé a été effectué au sein du journal catalan « Medicina Journal ». Les auteurs ont comparé une relecture d’article dite ‘conventionnelle’ à une relecture dite complémentaire avec utilisation de recommandations CONSORT (recos pour publier les essais randomisés) ou STROBE (recos pour les études observationnelles en épidémiologie). Ces recommandations ont été faites pour les auteurs lorsqu’ils préparent des manuscrits, et n'ont pas été concues pour des reviewers.

Gérer les critiques des relecteurs

C’est un éditorial anonyme très en faveur du peer-review qu’a publié Nature neuroscience en août 2011. Le message pour les auteurs est clair : « keep cool » car les relecteurs demandent toujours beaucoup de travail supplémentaire. Dans Nature neuroscience, ce sont 2,5 % des articles (2005) à 3,2 % des articles (2010) qui sont acceptés après un seul round de relecture... donc les auteurs doivent se préparer à travailler beaucoup avec les relecteurs et rédacteurs. L’éditorial donne de nombreux conseils aux auteurs pour bien répondre aux relecteurs, mais le conseil sub-liminaire semble être : arrêtez d’insulter les relecteurs, arrêtez de croire qu’ils font mal leur travail car ce sont des chercheurs très occupés qui sont vos collègues,… et nous sommes conscients que certains relecteurs demandent des modifications inappropriées.

Pour moi, la base des réponses aux relecteurs et rédacteurs est certainement : répondez très vite de façon très constructive, et argumentez bien si vous avez un désaccord. Un rédacteur ou un relecteur qui reçoivent une réponse des auteurs après plusieurs semaines doivent relire votre article, se réapproprier leurs commentaires, et cela les ennuie….

Crafting a revision. Responding to referee comments construtively improves the quality of published papers. Nature neuroscience 2011;14:941.

 

Publié après 2 ans, 7 refus et l'avis de 24 reviewers..... il y a toujours de l'espoir

Nous avons tous connu des articles qui passent de journaux en journaux avant d'être publiés... ceci dure quelques mois ou années..  avec des avis de nombreux reviewers, dont certains contradictoires.....  Le témoignage de Richard Smith dans le Journal of Medical Screening nous interpelle (septembre 2011). R Smith explique le chemin d'un article publié le 4 mai dans PLoS One : "Une version de l'article a d'abord été soumise au BMJ en mars 2009. L'article a été finalement publié dans PloS One en mai 2011, plus de 2 ans après la soumission initiale. Pendant ce temps, l'article a été rejetté 7 fois par 4 journaux, y compris PLoS One à la première tentative, et évalué par 24 reviewers."

Ne défénestrons pas les rédacteurs !

Phil Davis, en septembre 2011, sur Scholarly Kitchen, a résumé une de ses communications en réponse aux mouvements divers qui consistent à dire que l'on a plus besoin des rédacteurs de journaux ! C'est un article du Guardian du 5 septembre qui a lancé le débat en disant que le peer review ne fonctionne pas, que les journaux ne marchent pas bien, et que, de toute façon, tous les articles sont publiés....

Trop de peer review tue le système : mettons en place le "cascade peer review" ??

Scholarly kitchen lance une rubrique mensuelle intitulée "Ask the chefs" qui consiste à demander à des leaders de répondre en quelques lignes à une question. En octobre 2011, la question était "Quelle est l'évolution la plus importante des publications ?", et outre les réponses attendues sur l'électronique, j'ai aimé cette réponse :

Tim Vines: Cascade peer review is going to have a huge and unanticipated effect on STM publishing, and many of these changes will be for the better. Papers are currently over-reviewed — they are submitted to probably two or even three journals before being accepted, and may be seen by six or more reviewers. Authors often receive conflicting demands, and the whole process of going from journal to journal is overlong and unnecessarily stressful.

Confirmation : pas besoin de masquer les noms des auteurs pour les reviewers

Cet article du Br J of Dermatology de septembre 2011 confirme des données connues. L'étude est bien faite, avec 40 articles du journal "Dermatology surgery", reviewés chacun par 4 reviewers avertis de l'étude (est-ce un bias ?). En bref : cacher les noms des auteurs n'a pas d'impact sur la qualité des analyses et les décisions d'accepter ou de refuser des articles. Tout ceci est connu depuis les années 90, quand les premiers essais randomisés ont été fait sur cette question.

Y-a-t-il du neuf ? Oui, si on accpete de dire que le faire dans le domaine de la dermato est original...  Oui si l'on a besoin de confirmer des résultats anciens car les technologies et pratiques ont été améliorées...  Les anciens essais avaient été faits sur des documents papiers avec des caches sur les noms, etc... avec les références qui permettaient de deviner que les auteurs étaient parmi les articles les plus cités...  et cet essai a été fait sur des documents électroniques en enlevant tous les signes de reconnaissance, dont les références.. Donc essai de meilleur qualité.

Les données : "Forty manuscripts submitted to the journal Dermatologic Surgery were assessed by four reviewers, two of whom were randomly selected to be blinded and two unblinded regarding the identities of the manuscripts’ authors. The primary outcome measure was the initial score assigned to each manuscript by each reviewer characterized on an ordinal scale of 1–3, with 1 = accept; 2 = revise (i.e. minor or major revisions) and 3 = reject. Subgroup analysis compared the primary outcome measure across manuscripts from U.S. corresponding authors and foreign corresponding authors. The secondary outcome measure was word count of the narrative portion (i.e. comments to editor and comments to authors) of the reviewer forms."

Dans le même numéro, un commentaire pour défendre le "blinded peer review" en disant que cette étude est biaisée car tous les reviewers savaient qu'ils participaient à une étude...

Je remercie Jean Revuz qui m'a transmis cet article, car je ne lis pas le BJD !

Alam M et al. Blinded vs. unblinded peer review of manuscripts submitted to a dermatology journal: a randomized multi-rater study. BJD 2011;165:563-567.

Vaux L. A biased comment on double-blind peer review. BJD 2011;165:454-455.

Gardons le peer review : conclusions du Parlement du Royaume Uni

Nous avons régulièrement rapporté les travaux d'une commission du Parlement du Royaume Uni qui évaluait le système du peer review, suite à plusieurs scadales...  Les auditions ont été nombreuses, les dépositions très intéressantes, et après 7 mois, le rapport final vient d'être publié le 28 juillet 2011, et analysé dans le BMJ (pour ceux qui ne veulent pas lire encore 300 pages en anglais...). Ouf, ils n'ont pas jeté au bain le peer review, au contraire :

• le peer review est vital pour la réputation et la confiance de la recherche biomédicale ; la qualité du peer review varie beaucoup entre les publications ;
• maisons d'éditions, gouvernement, industries, financeurs de la recherche doivent collaborer pour améliorer le système ; les comités de rédaction, les reviewers doivent être mieux formés pour leur activité ;
• le gold standard à atteindre est la mise à disposition du public des données sources des recherches ;
• bien que ce ne soit pas son rôle, le peer review identifie des malveillances, fraudes et des cas suspects ;
• prudence sur les utilisations à tort du facteur d'impact ;
• la veille et la détection des fraudes doivent être repensées, bien que ce soit compliqué et confus ; la recherche sur l'intégrité doit être encouragée, et le gouvernement doit repenser le contôle de l'intégrité de la recherche.

HAS : non au peer review, non à l'EBM, et non à HON ? Je n'y crois pas

Je ne cache pas mon attachement à la Haute autorité de santé (HAS), et aux publications en général. J'ai regretté le 6 mai que la HAS bidouille son site internet en enlevant des documents qui continueront à exister chez les médecins, dans les bibliothèques et dans PubMed... Depuis le 6 mai, silence radio, malgré une lettre dans le BMJ, et HON n'a pas de positions sur ce point....  Courage, courage !!!

J'ai fait un rêve... Pourquoi la HAS ne ferait pas relire toutes ses publications, comme elle le fait très bien pour les recommandations... 

J'ai imaginé un système de peer review sur un texte proposé sur le site de la HAS. Presque au hasard, j'ai envoyé à 2 relecteurs un texte de juin 2011 comme s'il s'agissait d'un peer review, modèle défendu par la HAS, et jugez ce que j'ai obtenu...

Le texte s'intitule "Analyse des processus de DPC - Etat des lieux réalisé dans le cadre des Assises du médicament", paru dans DPC & Pratiques, n° 56, Juin-Août 2011, et il est encore consultable le 18 juillet 2011 (espérons qu'il ne disparaîtra pas).

• Le reviewer 1 a proposé des révisions majeures,
• Le reviewer 2 a dit que ce texte violait le code HON du site de la HAS !

Vos avis m'intéressent..  faut-il faire relire avant publication tout texte scientifique soumis à publication ? Je suis persuadé que les relectures améliorent en enlèvent les erreurs....

La publication de textes autoritaires sans aucun esprit critique et administrés à des professionnels perplexes... est une pratique déviante. J'aurais pu reprendre le titre du billet d'hier : "Don't just swallow, check the evidence first"

Toujours les auditions sur le peer review pour le Parlement du Royaume Uni

Nous avons évoqué plusieurs fois cette évaluation du système de peer review par le Parlement du Royaume Uni et qui a commencé en janvier 2011.. Encore une séance d'auditions le 8 juin 2011 dont la transcription est disponible sur leur site. Mais le résumé d'une page du BMJ du 18 juin 2011 est plus facile d'accès (mis en ligne le 9 juin). Des leaders ont clairement défendu le peer review en disant que c'était une partie intégrale de la science. Les parlementaires ont posé des questions basées sur l'hypothèse que le peer review étant lent, c'était un facteur qui ralentissait l'innovation. Comment leur faire comprendre que 6 mois est un temps court même lorsqu'il s'agir d'une soi-disant innovation....

Me faire croire que le peer review retarde les innovations : NON, pas d'accord, car les innovations ont besoin de temps pour être validées....

O'Dowd A. Peer reveiw must stay as guarantee of qualitity, research leaders tell MPS. BMJ 2011;342:d3656

BMJ Open utilise le peer review ouvert

Nous avons annoncé l'arrivée de BMJ Open sur le modèle d'autres journaux en Open Access (OA), avec un modèle d'affaires qui consiste à faire payer les auteurs. BMJ Open a démarré. Nous verrons à l'usage si les articles rejetés par le BMJ sont orientés vers BMJ Open... cela me semble une stratégie prévisible.

Comme d'autres, ils utilisent le peer review ouvert, c'est à dire que les avis des reviewers, et les commentaires des auteurs sont disponibles avec l'article. Les auteurs ont connaissance des noms des reviewers. Par exemple, l'article intitulé "Tai chi for the treatment of osteoarthritis: a systematic review and meta-analysis " a été soumis les 15 décembre 2010, deux reviewers (Chris Maher et Kevin Chen) ont donné leur avis, les auteurs ont soumis une 2ème version les 31 janvier 2011, puis les mêmes reviewers ont demandé d'autres modifications. Donc version 3 le 14 février 2011, puis encore quelques modifications pour une version 4 le 24 mars 2011, et publication onlinz le 28 mars. Pour exemple, je vous ai téléchargé tous les échanges entre reviewers et auteurs pour cet article (20 pages). Le lecteur peut juger de la qualité des expertises et du travail de modifications des auteurs.

Kang JW et al. T'ai chi for the treatment of osteoarthritis: a systematic review and meta-analysis. BMJ Open 2011

Les députés anglais auditionnent toujours sur le peer review

Nous avons déjà rapporté, début 2011, l'enquête en cours d'une commission du parlement anglais, et cité ces dépositions écrites nombreuses (rapport de 407 pages). Des auditions ont eu lieu le 4, 11 et le 23 mai 2011... la prochaine le 8 juin, avec les transcriptions écrites de ces auditions. Des comptes rendus brefs d'une page ont été publiés dans le BMJ chaque semaine par Adrian O'Dowd...  avec des titres en forme de messages  "Experts deny claims that peer review system is in crisis" pour le 4 mai ; "Peer review system needs thorough evaluation, MPs hear" pour le 11 mai ; "Open access approach to medical research publishing will continue to grow, experts predict" pour le 23 mai ; à suivre le 8 juin...

Les 407 pages du rapport ont donné lieu à certaines publications, et j'ai lu avec méfiance la charge gratuite et méchante de Kamal K Mahawar, le chirurgien actionnaire de WebMedCentral. Dans son journal, sous la rubrique My Opinion, il détruit le peer review car son modèle de publication est basé sur la publication immédiate avec peer review fait à posteriori par les lecteurs, etc...  Je cite :

"There is widespread belief that pre publication peer review, ineffective and harmful as it may be, is a necessary evil. I believe time has now come for scientific community to discard pre publication peer review and concentrate on reinforcing post publication peer review. New article level metrics need to be developed to identify merit of each arti cle and hence those of the authors. Scientific career progression should move away from number of articles published in journals with high impact factor to the true impact of one’s research. Such measures will not be easy to develop and this poses unique challenges for the scientific community in 21st century."

Est-ce que les auteurs doivent proposer des noms de reviewers ? OUI

Vous avez souvent été perplexes en soumettant vos articles : que répondre à la question qui demande de suggérer des reviewers ? Nous en parlons souvent lors des cours car les auteurs sont mal à l'aise : dois-je proposer mes amis pour relire mon article ? Je réponds OUI, ne soyons pas masochistes. Mais je n'avais pas lu la littérature qui nous dit que les reviewers proposés par les auteurs donnent des avis plus favorables que les reviewers proposés par les rédacteurs.

Quelques travaux ont comparé les décisions entre ERS (editor-suggested reviewers), et ARS (authors-suggested reviewers), autrement dit, vous proposer les ARS, et le rédacteur choisit les ERS dans son fichier ou sa mémoire. Eh bien, déjà 4 études simples ont montré que les avis des ARS étaient plus favorables que les avis des ERS, et un article du Journal of Pediatrics en avril 2011 est la 5^ème étude qui observe la même tendance.... Selon les journaux, les études ont été faites sur quelques centaines de manuscrits, et en général il y a un écart de 10 % entre décisions positives des ARS versus ERS (86 vs 74 % pour le journal Archives of Pediatrics and Adolescent Medicine, en 2007 ; 65 vs 54 % sur 344 articles du Journal of Pediatrics, ...).

Mais n'oublions pas : "Reviewers advise ; Editors decide", et donc le peer-review est bien impartial !!!!

Dans des commentaires sur un blog, un rédacteur propose la prudence : il a eu plusieurs fois des problèmes avec des auteurs après avoir sollicités les reviewers suggérés.... car les avis étaient négatifs....

Helton ML, & Balistreri WF. Peering into peer-review. The Journal of Pediatrics 2011; ehead of print

Parlement UK : 407 pages de dépositions sur le peer review

Nous avons présenté début février 2011 la commission du parlement UK qui investigue sur le peer review. Le 24 mars 2011 a été publié un rapport de 407 pages avec la transcription des dépositions écrites de 90 experts... Impressionnant. Voici le pdf de ce rapport !

Les experts, essentiellement britanniques, ont des expériences diverses, et proviennent de toutes les disciplines scientifiques. J'ai survolé le rapport qui contient toutes les références sur le peer review, et je recommande quelques dépositions :

• Richard Horton, rédacteur en chef du Lancet, a expliqué comment le peer review était fait dans son journal, et a donné ses opinions (pages 7 à 18 du rapport) ;

Améliorons la qualité du peer review : un document plein de ressources

Face aux critiques incessantes du peer review, critiques probablement poussées par certains lobbies qui ont leurs propres objectifs, il est bon de prendre connaissance d'un excellent document. ScholarOne, qui a mis en ligne ce rapport de 16 pages, est un système de management de manuscrits de Thomson Reuters (la société qui publie les facteurs d'impact). ScholarOne est très utilisé, par exemple par le NEJM et beaucoup d'autres,... et défend natuellement son métier, le peer review dit 'classique'.

Intitulé "Increasing the quality and timeliness of scholarly peer review", c'est une bonne revue sur ce que l'on sait du peer review dont les supporters du peer review sont nombreux. Le process est expliqué en détail (peer review interne et externe) et des propositions sont faites pour s'assurer de la rapidité du peer review. Tous les acteurs devraient accélérer le processus dont nous avons vu qu'il était coûteux pour la communauté scientfique (150 millions de £ par an au Royaume Uni). Ce document liste de très nombreuses ressources pour les auteurs, et donne de bons conseils aux rédacteurs. Mais comment définir un 'peer reviewed' journal tant les pratiques sont hétérogènes ?

Les stratégies pour améliorer et accélérer le peer review sont successivement abordées :

Le Parlement anglais évalue le peer review

Le Parlement anglais a annoncé qu'il voulait évaluer le peer review ! Bizarre ? En fait, le Parlement voudrait comprendre comment sont validées les informations scientifiques publiées par les journaux biomédicaux. Est-ce que la discussion fréquente de fraudes a donné des idées aux parlementaires ? Dans l'appel pour recevoir des contributions avec le 10 mars 2011, toutes les questions que l'on se pose sur le peer review sont listées, y compris la recherche d'alternatives au peer review.... 

Bonne chance..... car il existe peu de preuves sur l'efficacité du peer review...  Vont-ils écouter les partisans des journaux électroniques gratuits qui sont en faveur du "post-publication peer review" ???? Ces experts critiquent le peer review actuel avant publication et c'est facile de lister les griefs... Nombreux sont les articles sur ce sujet, avec aussi le livre de Richard Smith "The trouble with medical journals" qu'il a résumé dans un pamphlet de 5 pages en 2006...Les journaux qui publient beaucoup d'articles comme PLoS ONE partent du principe qu'il faut publier tout ce qui est méthodologiquement correct, et que ce sont les lecteurs qui se chargent du peer review.... par la mesure des consultations des articles (par exemple un site de PLoS est consacré aux "article-level metrics"....).

Royaume Uni : le peer review coûterait environ 150 millions de £ par an

Que nous apprend le rapport "The value of UK HEIs contribution to the publishing process" ?

HEI pour Higher Institution Institutions, car ce rapport très intéressant a évalué le coût du peer review au Royaume Uni. Le résumé :

• Peer review is essential to scholarly journal publishing
•  Publishers do not pay their peer reviewers
• The number of articles being peer reviewed is rising
• The cost to HEIs of peer review is rising as salaries and overheads rise
• Different studies put the cost to UK HEIs of peer review at between £110 million and £165 million per year
• Editors and editorial boards cost UK HEIs up to £30 million per year
• Publishers make payments to some editors, but this generally does not reach the HEI
• All these figures depend on where the hourly rate is set: currently set at £56/hour, the figures can be recomputed easily for a different rate

 

Le peer review retarderait l'innovation ? Vieux débat !

Un bel article de sociologues sur la valeur du peer review a été publié en janvier 2011 dans le "International journal of forecasting", peer-reviewed journal que je ne connais pas plus que vous.... facteur d'impact 1.064. C'est le journal de "International Institute of Forecasters"... tout cela fait sérieux. Cet article est une réflexion sociologique, ce n'est pas un travail original, mais il très bien documenté et de bon niveau de réflexion. Attention, ce sont des socioloques, donc 17 pages à lire..... Que retenir :

Conseils pour les reviewers : bon article à conserver

La littérature sur le peer review est abondante, mais rares sont les articles expliquant comment relire un article. Fin décembre 2010, le rédacteur du journal Otolaryngology - Head & Neck Surgery nous transmet son expérience avec de nombreux conseils pour les jeunes reviewers (et les autres d'ailleurs). L'article est très méthodologique, peut-être trop détaillé (14 pages), car renvoyer à CONSORT ou autres guidelines serait parfois suffisant. Voici un tableau de l'article :

 

Rosenfeld RM. How to review journal manuscripts. Otolaryngology Head and Neck Surgery 2010;142:472-486.

Pourquoi est-il plus difficile de recruter des reviewers ? Hypothèse technologique !

Les rédacteurs du journal Molecular Ecology ont mis en ligne des données de 2000 à 2007 sur le blog "The molecular ecologist" pour illustrer leur correspondance dans Nature. Il fallait plus de 2,03 demandes en 2007 pour avoir un reviewer, contre 1,38 en 2000. Dans leur journal, il y a 4,5 auteurs en moyenne par article, et 2,7 reviewers par article.

 

Pour les auteurs, tout ceci est technologique car ils pensent que les reviewers restent motivés pour relire : leur nombre a beaucoup augmenté dans leur journal.

Il semble difficile de recruter des reviewers, et je crois que c'est exact. Comment l'expliquer ? Nous n'avons que des 'hypothèses : ceci peut-être lié à la surcharge des emails.... plutôt des spams car 97 % des emails seraient des spams....et des demandes de recrutement sont considérées comme spams. C'est une des hypothèses.....

Vines T et al. No crisis in supply of peer reviewers. Nature 2010;468:1041.