Rédaction Médicale et Scientifique

La wikification du peer review pour bientôt ? NON

PLoS ONE a publié fin mai 2010 un article surprenant par ses méthodes et ses résultats, mais intéressant si on en reste à une hypothèses...... Nous connaissons tous les avantages et inconvénients de l'internet sur les journaux, mais dans le domaine de la relecture des articles, il n' y a pas eu d'impact majeur. Tout auteur peut maintenant publier librement sur des sites et/ou des blogs ses résultats originaux, ce qui pourrait suggérer que les journaux sont inutiles !!!! La mise à disposition des données originales deviendra une pratique habituelle. En 2010, les commentaires sont devenus très nombeux sur des articles publiés, mais ils seraient plus utiles avant publication, et faire appel à la collaboration rapide des idées avec un peer review ouvert, de type wiki ou autre serait utile !

La question de cet auteur est de savoir si le peer review accélère ou ralentit la dissémination des innovations, et il a fait des simulations sans encore arriver à des propositions utiles. Il pense que l'absence de peer review et un peer review trop strict sont dangereux pour la science.

Les méthodes et résultats de cet article sont incompréhensibles pour moi.......aidez-moi ! Il s'agit d'une modélisation et pas d'une étude de terrain, danger !!  S'agit-il d'une acceptation de complaisance par le comité de rédaction ? Avez-vous des commentaires sur cet article ?

Shrager J. The promise and perils of pre-publication review: a multi-agent simulation on biomedical discovery under varying levels of review stringency. PLoS ONE 2010 5(5): e10782

L'accès aux résultats des recherches supportées par des fonds publics devrait être gratuit !

Les voeux de Harold Varmus, alors directeur du NIH, pour un accès électronique gratuit de tous les travaux publiés du NIH sont simples : les contribuables ne doivent pas payer pour voir les résultats de recherches qu'ils ont déjà payées par l'impôt. Après 10 ans de pressions diverses, depuis mi-2008, toutes les articles du NIH sont, un an après leur publication, accessibles gratuitement sur PubMed Central. Certaines agences du NIH hors du domaine de la santé n'ont pas encore suivi. Le président Obama a poussé les agences “to take extraordinary steps to open their data... to public scrutiny”.

Les conclusions d'un comité de documentalistes, administrateurs d'université, de chercheurs et de maisons d'aditions viennent d'être publiées ; il s'agit du Committee on Science and Technology of the United States House of Representatives, en coordination avec le White House Office of Science and Technology Policy. L'executive summary du rapport est intéressant, et je retiens les 5 principes :

1. Le peer review doit maintenir son rôle pour maintenir la qualité et l'intégrité éditoriale ;
2. Des modèles d'affaires adaptables seront nécessaires pour maintenir l'entreprise dans un environnement évolutif ;
3. Les publications scientifiques peuvent et devraient être plus largement accessibles avec des fonctionalités améliorés pour un large public et la communauté scientifique ;
4. Un archivage stable et la préservation des données sont nécessaires pour des publications dignes de confiance ;
5. Les résultats des recherches doivent être publiés et maintenus dans des formats qui maximisent les possibilités pour une ré-utilisation créative et des connections entre les sites qui les hébergent.

Report and Recommendations from the Scholarly Publishing Roundtable at: http://democrats.science.house.gov/Media/file/Reports/Additional%20Reports/Scholarly_Publishing_Roundtable_Report_and_Recommendations_1.13.10.pdf

Faire mieux que la chance : est-ce que le peer review y arrive ?

Les rédacteurs du JGIM, Journal of General Internal Medicine, ont analysé les pratiques de peer review à partir des décisions de 2004 à 2008, et les 2264 manuscrits envoyés à des relecteurs externes. Les 2916 reveiwers contactés ont produits 5881 analyses. Ils ont publié leurs résultats dans un autre journal que le leur en avril 2010: PLoS ONE.

Quand les reviewers sont d'accord sur un rejet (rare car 7 % des articles), les rédacteurs refusent dans 89 % des cas. Quand les reviewers sont d'accord sur une révision (pour 48 % des articles), les rédacteurs refusent 20 % de ces articles. Quand les reviewers sont en désaccord (45 % des articles !), les rédacteurs refusent 70 % de ces articles. Ce travail contient plein d'information et d'analyses statistiques qui permettent de commencer la discussion ainsi : "The results suggest that reviewers for JGIM agreed on the disposition of manuscripts at a rate barely exceeding what would be expected by chance. Nevertheless, JGIM editor's decisions appeared to be significantly influenced by reviewers recommendations........"

En bref, le peer review est contesté, mais on n'a pas trouvé mieux.....et de plus le peer review influencerait les rédacteurs !!!!

Kravitz R, et al. Editorial peer reviewers' recommendations at a gneneral medical journal: are they relaible and do editors care. PLoS ONE 2010;5(4):e10072.

Un mariage heureux entre Journal of Biology et BMC Biology, en évitant les pit bulls reviewers

Les journaux naissent, vivent ou survivent et certains meurent ! Le mariage (ou l'absorption ?) de 2 journaux électroniques montre que cela devient aisé quand il s'agit de la même maison d'édition, en l'occurence BioMedCentral. L'éditorial du 12 avril 2010 de la rédactrice en chef, Miranda Robertson, sous le titre français "Plus ça change", nous présente cette évolution comme très positive. Le nom de BMC Biology est conservé et Journal of Biology disparait, et un logo original représentant toute la biologie.

L'objectif est de garder le meilleur des 2 journaux, et de renforcer le processus d'évaluation par des pairs. La pratique dite du "re-review opt-out" sera conservée : l'auteur choisit s'il veut que les reviewers voient la version révisée. Il s'agit d'une stratégie d'évitement des 'pit bulls', ces jeunes reviewers qui ont été formés tôt dans le cursus pour analyser la littérature...et n'ont aucune possibilité d'accepter des articles...

A l'occasion de ce lancement, une série d'articles "The hope of progress" commence, ainsi que des Video Q&A.

Robertson M. Plus ça change. BMC Biology 2010;8:44.

Walbot V. Are we training pit bulls to review our manuscripts? Journal of Biology 2009;8:24.

Qui a peur des commentaires des reviewers ?

Très bel éditorial du rédacteur en chef de l'European Journal of Clinical Investigation, John Ioannidis, connu pour quelques articles provocateurs. Son propos est acerbe : n'importe quoi peut être publié, n'importe quoi peut être cité ! Je vous cite le premier paragraphe et vous laisse lire la suite, cet éditorial étant d'accès libre :

"We were surprised recently when an associate editor informed us that a manuscript was a resubmission of a paper that had been already peer-reviewed and rejected by our journal last year. The authors did not supply any rebuttal to the previous reviewers’ comments. Then, we received another manuscript that was a copy of a previously peer-reviewed and rejected paper. The two versions were identical, with two exceptions. The title had changed and the study design had been metamorphosed from retrospective to prospective. Again, the cover letter made no allusion to the previous submission. Then, we received a paper that, on close scrutiny, we had already rejected twice after peer-review. In the first submission the study was comparative; in the second submission the study was cut to one-arm description; in the third submission the study had become again comparative. The authors made no allusion to the previous submissions and reviewer comments."

Ce journal est transparent : vous noterez que cet article a été accepté le jour de sa soumission !

Ioannidis J et al. Who is afraid of reviewers' comments? Or, why anything can be published and anything can be cited? Eur J Clin Invest 2010;40:285-287.

Plus de 65 % des articles refusés sont publiés ailleurs.....mais c'est probablement 90 %

Les rédacteurs pensent que la plupart des articles qu'ils refusent sont publiés ailleurs, mais jusqu'à ce jour, quelques données montraient que 40 à 60 % des articles refusés étaient publiés. L'étude faite par 2 hollandais apporte des faits dans le domaine de la chirurgie, à partir d'articles refusés par le British Journal of Surgery (BJS refuse 82 à 85 % des articles soumis).

Ils ont recherché dans PubMed si 926 articles refusés en 2006 avaient été publiés entre 2006 et 2009. La méthode était bonne mais ils n'ont pas traçé les publications dans des journaux hors PubMed, donc les résultats sont sous-estimés. 609 articles, soit 65,8 % ont été publiés en 13,5 mois en moyenne (après soumission à BJS) dans 198 journaux, la plupart étant de spécialités chirurgicale, et de facteur d'impact inférieur à BJS. 14 articles ont été publiés dans des jorunaux à facteur d'impact supérieur. Les manuscrits refusés après peer-review ont été un peu plus publiés (71 %)que ceux refusés sur un avis du rédacteur seulement (60 %). Les articles refusés et publiés ailleurs seraient moins cités que les articles publiés dans BJS, mais les nombres de citations restent très faibles (3 à 6 !).
Merci à Evelyne Decullier qui m'a signalé cet article car je ne suis pas un lecteur assidu de BJS, et je l'ai téléchargé du site BJS sans payer !

Wijnhoven BPL & Dejong CHC. Fate of manuscripts declined by the British Journal of Surgery. BJS 2010;97:450-454.

Des guides pour les reviewers

Si vous avez à relire un article pour un journal, les ressources du site d'Elsevier pour les reviewers vous seront très utiles. Outre l'histoire du peer-review, la description des 3 types de relectures, vous aurez accès à un court guide pour relecteurs et des conseils statistiques de base. Ces documents sont bien faits.

Je vous conseille surtout la lecture du "Reviewers' information pack". Vous trouverez aussi des présentations ppt sur le reviewing.  Des liens à garder....

Medical Hypothesis : licenciement du rédacteur en chef fin 2010 ? Une épreuve de force

Nous avons déjà évoqué ce journal qui ne fait pas de peer review et qui publie des articles parfois polémiques, comme celui disant que HIV ne cause pas le SIDA. Elsevier a annoncé au rédacteur, Bruce Charlton, que son contrat ne serait pas renouvellé fin 2010. En fait, Elsevier lui propose de démissionner immédiatemment ou de mettre en place des changements, dont un système de peer review. Le rédacteur a déjà dit qu'il ne ferait rien, et il semble penser que le comité de rédaction le soutiendra.... à voir.

Sélection des articles de PNAS : troublant car les articles des membres de l'Académie sont moins cités, mais parfois exceptionnels !

Un article de PLoS ONE questionne le fonctionnement de PNAS (The proceedings of the National Academy of Sciences of the United States of America), un journal de très grande réputation.

Il y a 3 méthodes pour soumettre un article à PNAS. Le track 1 concerne les articles soumis pas des membres de l'Académie des Sciences au nom de collègues ; ils peuvent le faire 2 fois par an en envoyant au comité de rédaction l'article du collègue et l'avis de relecteurs qu'ils ont choisi ; le comité de rédaction décide de l'acceptation finale. Le track 2 concerne la soummission par tout chercheur d'un article au rédacteur qui fait relire selon les méthodes habituelles du peer review. Le track 3 concerne les articles soumis par les membres de l'Académie sans limitation de nombre par an, et après avoir eux-mêmes fait faire un peer review par des collègues ; l'auteur envoie l'article avec des commentaires de reviewers au comité de rédaction. Le track 1 a été abandonné récemment par PNAS.

L'impact de 2695 articles publiés entre juin 2004 et avril 2005 a été analysé, avec les données de ISI/Thomson. Des variations entre la notoriété des articles de PNAS ont été observées selon le track de la soumission. En bref, les articles des membres de l'Académie sont en moyenne les moins cités ! Mais en contrepartie, l'analyse des 10 % d'articles les plus cités de chaque track a montré que ces articles des membres de l'Académie avaient la meilleure notoriété !

La discussion est intéressante, car notamment l'interférence avec les comuniqués de presser et les articles de la presse grand public n'a pas été analysée. Mais des questions sont sans réponses : quelle est la meilleure méthode de sélection des articles ? Quelle est la valeur de ces mesures d'impact ?

Rand DG, Pfeiffer T (2009) Systematic Differences in Impact across Publication Tracks at PNAS. PLoS ONE 4(12): e8092. doi:10.1371/journal.pone.0008092

Imbroglio dans le journal Medical Hypothesis : est-ce que HIV cause le SIDA ?

Polémique car Elsevier veut imposer le peer-review au journal Medical Hypothesis. Le rédacteur s'appelle Bruce Charlton et il n'est pas d'accord. On peut lire sur le site du journal :

 "Medical Hypotheses takes a deliberately different approach to review: the editor sees his role as a 'chooser', not a 'changer', choosing to publish what are judged to be the best papers from those submitted."

En juillet, 2 articles ont été publiés pour dire qu'il n'était pas prouvé que HIV causait le SIDA. Panique dans la communauté scientifique qui accuse Elsevier de diffuser des messages pouvant nuire à la santé, puis rétractation des articles par Elsevier. Le rédacteur en chef n'a pas accepté la rétractation, etc... et maintenant on accuse même Elsevier de vouloir tuer ce journal.....

Akst J. Radical journal's fate at risk. The Scientist. January 27, 2010.

Plus de 4000 reviewers ont répondu à une enquête en juillet 2009 !

C’est une excellente enquête électronique faite par Sense about Science, une ‘charity’ anglaise qui gagne à être connue. Supportée par Elsevier, cette enquête Téléchargement PeerReviewSurvey a été envoyée à 40 000 reviewers de la base ISI du 29 juillet au 11 août 2009, et 4037 ont répondu. Les résultats préliminaires ont été communiqués et le rapport final sera pour la fin de l’année. L’enquête est très intéressante : que retenir en quelques points ?

·  Les reviewers aiment avoir un rôle actif dans la communauté scientifique (90 %) ;

·  Ils veulent améliorer plutôt que remplacer le système de peer review : 69 % sont satisfaits du système et 32 % pensent que c’est le meilleur système ; 91 % pensaient que leur dernier article avait été amélioré par le peer review ;

· 79 % pensent que le peer review sélectionne les meilleurs articles ; 61 % ont refusé de lire un article  sur l’année précédant l’enquête ;

·  58 % préfèrent un système anonyme ;

·  Si la communauté scientifique connait le peer review, 30 % des reviewers pensent que le public connait le système ;

·  80 % pensent que le peer review devrait détecter les plagiats et fraudes ; 35 % pensent que le peer review peut les détecter ;

·  Ils demandent des remerciements dans le journal, et 41 % voudraient être payés.

Un article inventé par un ordinateur a été accepté pour publication

Une nouvelle affaire atteint une maison d'édition qui vous a peut-être déjà contacté (ils m'ont sollicité mais heureusement, je n'ai pas répondu). Des auteurs ont généré par ordinateur un article, avec des noms d'auteurs inventés et soumis cet article à un journal dit 'open access', demandant des droits de 800 $ aux auteurs. Ce journal a accepté l'article en disant qu'il avait été relu avant acceptation, sans transmettre les commentaires des relecteurs. Le journal électronique s'appelle The Open Information Science Journal, et a deux ans d'existence. La maison d'édition s'appelle Bentham Open et sollicite tous les auteurs d'articles dans le monde. L'histoire continue avec des démissions du rédacteur en chef de ce journal et d'un autre journal de Bentham Open. Eh oui, la publication est avant tout un business pour des maisons d'éditions peu scrupuleuses !

Les commentaires sur le blog de TheScientist.com sont très nombreux, avec la réponse du journal. En 2007, un cas similaire d'article inventé par un logiciel avait été accepté par un journal 'Applied Mathematics and Computation' !

Les auteurs du papier inventé par un ordinateur sont aussi accusés de ne pas avoir eu une conduite éthique car les journaux partent du principe que les travaux soumis ne sont pas inventés. Un même polémique avait existé quand en 1982, Peters & Ceci avaient soumis 12 articles publiés mais redactylographiés aux 12 journaux qui avaient déjà publié ces travaux : 3 journaux avaient vu la supercherie, et 8 journaux sur les 9 restants avaient refusé les articles au prétexte qu'ils étaient mauvais ! Grâce à google, relisez cet article !

Grant B. OA publisher accepts faked paper. TheScientist.com Entry posted at 10th June 2009 11:13 AM GMT.

Peters DP, Ceci SJ. Peer-review practices of psychological journals: The fate of published articles, submitted again. The Behavorial and brain sciences 1982;5:187-255.

La moitié des résumés d’articles sur des essais randomisés contiennent des erreurs !

20 articles d’essais randomisés publiés en 2005 dans le JAMA, le NEJM, le BMJ et le Lancet (5 articles par journal) ont été sélectionnés. Huit résumés structurés sur les 20 analysés contenaient des erreurs en comparaison avec le texte de l’article. Six résumés contenaient des données non présentes dans l’article. Il est connu que les résumés contiennent des erreurs, mais c’est seulement le second travail de ce type…. sur de petits échantillons. Le peer review a des limites !

European Science Editiong

February 2009, page 3 à 5 : PJ Peacock, TJ Peters, JL Peacock. How well do structured abstract reflect the articles they summarize?

Peer review congress

Les congrès sur le peer review ou relecture par des pairs se déroulent tous les 4 ans depuis 1994. Ils attirent environ 400 ou 500 rédacteurs de journaux scientifiques. L'état de l'art du peer review est discuté avec de nombreuses communications. Le prochain congrès est en septembre 2009 à Chicago.