Rédaction Médicale et Scientifique

De mauvais conseils aux auteurs par des rédacteurs novices !

Trop de revues ont des rédacteurs qui ne savent pas écrire des recommandations aux auteurs... Surprenant ? NON. Deux exemples :

• dans le journal "Environmental Health Perspective" en juillet 2011, un Sud Coréen publie un article sur les critères pour publier un article dans les grands journaux de toxicologie...  Interessant ? Oui, mais article très mauvais : il n'a pas daigné écrire un chapitre "Méthodes". Il n'y a aucune info sur la qualité/validité du travail. Donner des conseils aux autres sans expliquer ses méthodes de travail est un exercice ambitieux..... Le texte est sans saveur. Qu'apprend-t-on dans le résumé de cet article ?

Des articles qui ne servent à rien ! Fréquent ?

Identifier les articles de qualité est difficile.....  J'attends que l'on me donne la définition de la qualité d'un article. Identifier des articles qui ne servent à rien est plus facile.. Un exemple : il existe une littérature abondante sur les méthodes de mesure pour évaluer les journaux, les articles et les sites internet.... mais quel est l'objectif de ces recherches ? Allez dans le Journal of Biomedical Informatics...

La différence entre "significatif" et "non significatif" n'est pas nécessairement significative

Un bel article dans Nature Neuroscience en septembre 2011 se termine par la phrase choisie en titre de ce billet. Des hollandais ont évalué 513 articles de neurosciences dans 5 journaux prestigieux : Nature, Science, Nature neuroscience, Neuron, et Journal of neuroscience. 78 articles avaient des statistiqués évaluées correctes, et 79 articles avaient des erreurs statistiques... La question est de savoir si les résultats sont mis en péril par ces statistiques bricolées...  Dans 2/3 des ces articles, les erreurs étaient sérieuses.. La torture des statistiques est fréquente, et plus loin, vous trouverez les 20 erreurs classiques.

La qualité des articles sur les essais de bioéquivalence est mauvaise

Chaque fois qu'une analyse correcte est faite sur un corpus d'articles, c'est la déception : les articles pourraient être améliorés. Félicitons une équipe française de qualité pour ce travail publié dans PLoS ONE en août 2011. Ils ont bien mis leurs méthodes après l'introduction, ce que je préfère, car PLoS ONE a tendance à cacher les méthodes en fin d'article.

Ils ont identifié dans PubMed (janvier 2005 à décembre 2008) 134 articles sur des essais de bioéquivalence comparant un générique à un médicament princeps. Première surprise : 55 articles ont été éliminés car ils ne mentionnaient pas le nom de marque du comparateur, ou le statut éventuellement générique du comparateur. Ceci prouve à l'évidence que les reviewers font très très mal leur travail..... Ensuite ils ont analysés 79 articles et vous devinez les résultats : "The funding source and location of the trial were reported in 41% and 56% of articles, respectively. The type of statistical analysis was reported in 94% of articles, but the methods to generate the randomization sequence and to conceal allocation were reported in only 15% and 5%, respectively. In total, 65 articles of single-dose trials (89%) concluded bioequivalence. Of these, 20 (31%) did not report the 3 criteria within the limits required by the FDA and 11 (17%) did not report the 2 criteria within the limits required by the EMA."

Déprimant NON ? Pourquoi publier ces essais si les publications sont nulles ?

van der Meersch A, Dechartres A, Ravaud P (2011) Quality of Reporting of Bioequivalence Trials Comparing Generic to Brand Name Drugs: A Methodological Systematic Review. PLoS ONE 6(8): e23611. doi:10.1371/journal.pone.0023611

Cancer se met-il à la "QuackAcademic Medicine" ?

L'été serait-il propice aux articles qualifiés de Quackacademic car en août 2010, le NEJM avait publié un article méthodologiquement nul sur le Tai Chi et la fibromyalgie. Cette année, c'est un article de Cancer (facteur d'impact 5,131) qui est attaqué très violemment. Je cite le blog d'un chirurgien américain, qui analyse en détail l'article et dont le language est assez direct :

"Yesterday, Peter sent me a brain-meltingly bad study in so-called "complementary and alternative medicine" that shows me just how bad a study can be and be accepted into what I used to consider a reasonably good journal. I say "used to consider," because the fact that this journal accepted a study this ludicrously bad indicates to me that peer review at the journal is so broken that I now wonder about what else I've read at that journal that I should now discount as being so unreliable as to be not worth taking seriously. Maybe everything. I don't know. What I do know is that seldom have I seen such a blatant example of quackademic medicine in action, and, worse, seldom have I seen such a bad study in such a good cancer journal."

Et vous trouverez des pages d'explication sur la méthode, etc... des commentaires, etc.... Faites-vous une idée avec l'article que voici : Complementary medicine for fatigue and cortisol variability in breast cancer survivors. A randomized controlled study.

Avez-vous une opinion ? Les cancérologues doivent connaître.....

Le New York Times s'intéresse aux disputes entre neurochirurgiens : c'est Dallas !

Jamais vu : un numéro spécial d'un journal sur un produit pour informer sur les effets indésirables.. Voici la table des matières ! Il s'agit de The Spine Journal, organe de la Société Nord Américaine du Rachis... et ils sont contents puisque le New York Times a commenté ces articles...

Je n'aime pas quand des conflits internes à notre profession sont exposés au grand public, mais force est de reconnaître que ce levier est efficace pour lancer des alertes. Le NY Times du 28 juin 2011 a commenté des articles entre collègues, neurochirurgiens américains, qui attaquent sévèrement les auteurs de 13 articles supportés par l'industrie. Ce sont 13 articles sur une protéine recombinante humaine, sorte de colle biologique utilisée pour les 'spinal fusion techniques'. Dans ces articles sur 780 patients, aucun effet indésirable n'a été observé, et des biais méthodologiques majeurs ont été observés. Ce produit a été commercialisé en 2002 par Medtronic, et son utilisation a ensuite montré l'existence de 10 à 50 % d'effets indésirables dont certains importants.... 

La revue générale de 21 pages (sans compter les suppléments électroniques) est très documentée, et accusatrice. Elle est accompagnée d'autres articles dont un éditorial de l'auteur principal de la revue générale, et qui est le rédacteur en chef du journal ; cet éditorial a été accepté le jour de la soumission ! Critiquer le peer review est facile quand son propre article n'est pas soumis au peer review ; cela ne me plait pas bien....

Cela met en cause le peer review des journaux ayant publié ces articles : Spine (6 fois), J Spinal Disorders Technic (2 fois), Journal of Bone Joint Surgery (3 fois), Journal of Neurosurgical Spine (1 fois), Spine Journal (1 fois). Le Spine Journal qui dénonce cet état de fait a lui aussi publié un article complaisant sur ce produit ! Bien sûr Thomas Zdeblick, est parmi les auteurs de certains de ces articles. Nous avons évoqué ce neurochirurgien, rédacteur en chef contesté de Spine Disorders & Techniques  et qui semble faciliter la publication d'articles sur des produits de Medtronic.... Il a reçu 20 millions de dollars...

Dans ce domaine de la neurochirurgie, tous ont des liens d'intérêts, y compris ceux qui attaquent leurs collègues.. et c'est normal d'avoir des liens...  Sont-ils tous déclarés ? Le Spine Journal a des codes pour les déclarations de liens d'intérêts, les voici : êtes-vous G, H ou I ?

 

Il est rare qu'un journal publie autant d'articles mettant en cause un produit commercialisé....Cet éditorial annonce des changements futurs dans les procédures du journal... on demande à voir....

Carragee EJ et al. A critical review of recombinant human bone morphogenetic protein-2 trials in spinal surgery: emerging safety concerns and lessons learned. The Spine Journal 2011;11:471-491.       Carragee EJ et al. A challenge to integrity in spine publications: years of living dangerously with the promotion of bone growth factors. The Spine Journal 2011;11:463-468.

PLoS ONE serait-il un throwaway journal ?

Dans les articles de PLoS ONE, le chapitre des méthodes est parfois placé à la fin des articles... ou manque complètement comme dans cet article de mai 2011 sur les citations qui définit le 'boost factor'. En fait des méthodes sont décrites dans le chapitre Résultats de cet article. Difficile à suivre un article dont on se demande s'il a été réellement reviewé...

Cet article veut décrire un lien entre des citations et la qualité des scientifiques... mais ce système des publications est un jeu pour ceux qui connaissent les règles. Comprenez cet article : "In summary, groundbreaking scientific papers have a boosting effect on previous publications of their authors, bringing them to the attention of the scientific community and establishing their “authority”. We have provided the first quantitative characterization of this phenomenon by introducing a new variable, the “boost factor”, which is sensitive to sudden changes in the citation rates. The fact that landmark papers trigger the collective discovery of older papers amplifies their impact and tends to generate pronounced spikes long before the paper receives full recognition. The boosting factor can therefore serve to discover new breakthroughs and talents more quickly than classical citation indices. It may also help to assemble good research teams, which have a pivotal role in modern science".

La science de l'analyse des citations me laisse très perplexe.....  mais PLoS ONE accepte 70 % des articles soumis, et les auteurs payent plus de 1000 $....  Science ou business dans PLoS ONE ?  Attention, ne pas conforndre avec PLoS Medicine. Nous avons aussi BMJ Open dont nous verrons si la stratégie sera de publier les articles refusés du BMJ.....

Mazloumian A,et al (2011) How Citation Boosts Promote Scientific Paradigm Shifts and Nobel Prizes. PLoS ONE 6(5): e18975. doi:10.1371/journal.pone.0018975

8 % des articles concernent le cancer et les dangers de l'open access

Que penser de cet article publié en novembre 2010 dans PLoS ONE ? Les auteurs ont beaucoup travaillé pour rechercher la proportion d'articles sur le cancer dans la littérature, et quels cancers donnaient lieu à des publications. Les résultats sur les bases PubMed et Web of Science étudiée sur l'année 2007, en ciblant 26 cancers étaient les suivants :

• PubMed : 63 260 articles concernaient ces 26 cancers sur les 777 243 articles (8,19 %)
• Web of Science : 123 845 articles sur les 1 576 018 (8,04 %)
• Le cancer du sein venait en première position avec 13,8 % de toutes les publications de ces 26 cancers ; et les suivants dans l'ordre : poumon, leucémie, intestin et prostate !
• sur le top 20 des journaux biomédicaux, le cancer représente 25 % des articles

Il y a 8 pages d'auto-satisfaction car les auteurs (des chirurgiens irlandais) pensent qu'ils méritent le prix Nobel pour leur découverte.... Je suis désolé, mais cette 'découverte' mérite une page et non 8 dans un journal et il n'y a rien de fabuleux dans ces données...les cancers les plus fréquents sont les plus représentés ! Etonnant, NON ! Voilà le résultat de la politique des journaux Open access comme PloS ONE : les auteurs payent et du moment que les méthodes semblent bonnes, l'article est publié. Qu'il soit intéressant est secondaire puisque l'auteur paye. Attention de ne pas vous faire abuser par PLoS ONE et d'autres journaux Open access. Ne confondez pas PLoS ONE avec PLoS Medicine qui est un bon journal.

Glynn RW et al. Representation of cancer in the medical literature - A bibliometric analysis. PLoS ONE 5(11): e13902. doi:10.1371/journal.pone.0013902

Essai comparatif ouvert, 66 patients : un 'hot paper' du NEJM pour être dans les médias !

Et oui, le New England a gagné en publiant le 19 août 2010 un essai qui a été repris par de nombreux journaux comme le Washington post, le New York Times, CNN, et autres....., et qui a été l'objet de buzz sur les blogs....C'est bon pour la pub, les citations.... Est-ce un progrès pour la science ?

Cet essai comparatif ouvert avec 66 malades atteintes de fibromyalgie depuis 11 ans compare le Tai chi avec un placebo pendant 3 mois....sur un questionnaire.... mais c'est ce que l'on appelle parfois 'hot paper'. Combien d'essais en double aveugle randomisés, avec des critères 'durs', ont été refusé pour laisser 12 pages au Tai chi ?

Les journalistes seraient-ils meilleurs que les reviewers du NEJM car la conclusion du 7 septembre du Washington post est : "Data were based on the participants' ratings of their pain and their answers to questionnaires. The number of participants was small, and the study did not assess long-term effectiveness. The results may have been influenced by participants' beliefs and expectations, although the researchers said they tried to de-emphasize tai chi by telling participants that the study would test the effects of two types of exercise programs, one combined with education."

Pouvez-vous m'aider à comprendre car j'ai des avis divers sur cet article : certains experts trouvent cet article excellent, d'autres m'ont demandé si la maladie existait....Les commentaires sur ce cheval de Troie au NEJM sont nombreux sur les blogs... J'aimerais savoir si le NEJM a vendu des tirés à part de cet article..... Certains accusent le NEJM de virer à ce qui est appelé "Quackademic medicine", après avoir publié un article sur acupuncture et douleurs lombaires il y a quelques semaines........

Wang C et al. A randomized trial of Tai Chi for Fibromyalgia. N Engl J Med 2010;363:743-54.

Il faudrait améliorer la qualité des images radiologiques dans les journaux

En lisant cet article passionnant, je me suis rendu compte que rarement les comités de rédaction analysaient sérieusement les images radiologiques à publier.... Le contenu de l'article est important et les images viennent illustrer...  Mais que nous suggèrent ces auteurs ? Que dans au moins un quart des articles, le lecteur n'est pas certain que les images soient extraites de la population étudiée.... Cela ne m'étonne pas.

Une équipe d'auteurs grecs et américains, pilotée par J Ioannidis (celui qui pense que tous les articles sont faux..) a analysé 417 images radiologiques provenant de 212 articles publiés en 2005 par des journaux prestigieux généraux (JAMA, Lancet, NEJM) et de spécialité (dont 30 articles de Radiology). Résultats publiés en mai 2010 dans PLoS ONE. Dans 11 % des cas, aucun commentaire sur la sélection de l'image ; 9 % des images montraient le normal et l'anormal ; pour 108 sur 417, l'origine de l'image n'était pas claire : population étudiée ou autre ? De nombreuses informations, notamment quantitatives, manquaient dans toutes ces images..... Des tableaux intéressants dans cet article et surtout des suggestions pour améliorer STARD, les recommandations pour les articles diagnostiques.

Ils n'ont pas étudié la manipulation des images....Vaste sujet qui a inquiété Nature, comme rapporté dans ce blog.

Siontis GC et al. Selection and presentation of imaging figures in the médical literature. PLoS ONE 2010;5:e10888.

Mauvaise qualité des meilleurs journaux chinois, mais des améliorations en 10 ans !

Je suis souvent impressionné par le volume de cette science d'origine chinoise......mais je n'ai pas beaucoup d'idée sur sa qualité. Des discussions diverses amènent souvent à supposer que la qualité est médiocre. Nous avons des données avec cet excellent travail d'un groupe d'auteurs de Shanghai publié dans PLoS ONE en mai 2010. Reconnaissons qu'ils ne pouvaient pas dire le contraire : les journaux médicaux chinois sont bien meilleurs en 2008 par rapport à 1998.....Les progrès ont été importants Oui, d'accord... Mais en 2008, ils étaient encore mauvais...

Ils ont comparé 1335 articles originaux de 1998 avec 1578 articles originaux de 2008 à partir des 10 meilleurs journaux (peer reveiwed) en chinois supportés par la Chinese Medical Association. SIgnalons que sur les 1100 journaux biomédicaux chinois, 100 sont dans Medline. Pour les articles 2008 : 52,2 % avaient des erreurs statistiques ; 42,4 % avaient des erreurs méthodologiques ; 60 sur les 1578 étaient des essais randomisés (3,8 %) ; 48,2 % des études étaient rétrospectives ; et je résume.....  à juste titre, les auteurs plaident pour CONSORT....espérons qu'en 2018 tout sera parfait !

Jin Z et al. A retrospective survey of research design and statistical analysis in selected chinese medical journals in 1998 and 2008. PLoS ONE 2010;5:e10822.

L'éthique est insuffisamment prise en compte dans les journaux de chirurgie maxillo-faciale et de chirurgie plastique

Publication de complaisance pour analyser des journaux qui ont une forte marge d'amélioration....: est-ce que cet article a suivi un processus de peer review ? Oui, certainement, mais quelle qualité de relectures ?

Cet auteur dédie son article à une femme décédée (il ne précise pas qui est décédée !) ; il a ajouté un astérisque sur les noms des 3 derniers auteurs pour spécifier "Equal contribution", que signifie 'Equal contribution ? Est-ce une convention dans cette spécialité ?

Rien de neuf dans cet article, sauf que les chirurgiens lecteurs découvrent le monde des rédacteurs. Dès l'introduction, il y a des erreurs en disant que le groupe de Vancouver a publié ses recos en 1997 (non, c'est 1978 pour les premiers 'statements'), en assimilant les recommandations de Vancouver et de COPE, ... Le résultat principal avant une discussion verbeuse : 4 des 48 journaux citaient tous les critères d'éthique recherchés par les auteurs de ce travail dans les instructions aux auteurs de ces 48 journaux. Cette donnée devient dans la discussion : "Only 8.3% of all journals (4/48) are ethically compliant". C'est une opinion rapide......car un journal peut avoir une politique éthique sans le dire dans ses recommandations, et inversement....

Attendons d'autres publications, avec les 6 co-auteurs qui n'ont pas dû relire, mais les signatures sont prestigieuses (Allemagne, France, Thaïlande), et c'est probablement une bonne démarche pour sensibiliser des spécialistes peu concernés par la bonne méthodologie, même s'ils sont d'excellents médecins.

Pitak-Arnnop P et al. Ethical issues in instructions to authors of journals in oral-craniomaxillofacial/facial plastic surgery and related specialties. Journal of Cranio-Maxillo-Facial Surgery 2010, doi:10.1016/j.jcms.2010.02.12

Y-a-t-il de plus mauvais journaux que ceux de chirurgie maxillo-faciale ?

Certaines disciplines ont de très mauvais journaux et que publient-ils ? Des mauvais articles d'auteurs qui découvrent ce que tout le monde connait et qui en sont fiers ! C'est le cas de cet article sur les biais de publication dans les journaux de chirurgie maxillo-faciale. L'article, collaboration de plusieurs équipes (Allemagne, France, Grèce, Thailande), est le résumé d'une thèse qui doit être assez mauvaise.

Pour faire court : analyse en 2008 des meilleurs journaux de la discipline (International Journal of Oral and Maxillofacial Surgery ; Journal of Cranio-Maxillofacial Surgery ; Journal of Oral and Maxillofacial Surgery ; British Journal of Oral and Maxillofacial Surgery) ; sur 952 articles, 53 étaient des essais controllés ; résultats positif dans 41 cas (77 % ) ; échantillon inférieur à 100 dans 37 cas (70 %) ; j'arrête....... car bien sûr on ne sait pas combien étaient randomisés, quel était le nombre moyen de cas des 16 essais ayant plus de 100 cas, etc.......

L'article est en fait une longue discussion avec des découvertes de l'auteur sur les recommandations des journaux, sur les pratiques des auteurs, etc......avec un ramassis d'opinions sous couvert de preuves....  TRISTE..... Lisez pour rire ou faire rire quand vous faites un cours mais surtout OUBLIEZ cet article.....

Pitak-Arnnop P et al. Publication bias in oral and maxillofacial surgery journals: an observation on published controlled trials. Journal of cranio-maxillofacial surgery. 2010;38:4-10.