Rédaction Médicale et Scientifique

Facteur d'impact ou Eigenfactor ou d'autres pour comparer les journaux ?

Dans cet article original d'avril 2010 dans PLoS ONE, les auteurs ont comparé les indicateurs pour évaluer la qualité des journaux médicaux. C'est un article pour spécialistes de la scientométrie qui comparent la notoriété des journaux. Ils ont comparé de 2001 à 2008 l'évolution du facteur d'impact de Thomson ISI, et du score de Eigenfactor, ainsi que du score d'influence des articles, dérivé de Eigenfactor. Cette étude a porté sur 35 journaux internationaux et les nombreux tableaux montrent l'évolution de ces facteurs au cour du temps. Tous ces indicateurs sont sensibles au nombre d'articles publiés par ces journaux, et Eigenfactor est plus sensible que le facteur d'impact.....mais des journaux ayant augmenté les revues générales publiées ont augmenté leur impact.

Des journaux ont augmenté leur facteur d'imapct en réduisant le nombre d'articles publiés dans l'année, ce qui a dû réduire leur influence dans leur discipline.... Cet article est un appel à la prudence pour interpréter ces indicateurs qui sont de plus en plus nombreux : est-ce que le SJR devient plus intéressant ? Scimago Journal Rank. Est-ce que les metrics de PLoS sont plus intéressants ? Est-ce que les impacts de BioMedCentral sont utiles comme Facultyof1000 par exemple ? Et il en existe encore beaucoup d'autres.....comme celui que m'a montré Pierre Durieux et dont j'ai déjà oublié le nom......

Et dire que des hommes ou des carrières sont évalués avec ces indicateurs........

Rizkallah J, Sin DD (2010) Integrative Approach to Quality Assessment of Medical Journals Using Impact Factor, Eigenfactor, and Article Influence Scores. PLoS ONE 5(4): e10204.

Reconnaître les auteurs de livres scientifiques

A juste raison, début février 2010, un éditorial de Nature revient sur le travail important pour écrire un livre. Nature commence une série d'interview d'auteurs de textbook à succès.. et à ce propos la question de récompenser les auteurs de livres est posée. Pour évaluer des carrières, des jurys se basent essentiellement sur des critères de type facteur d'impact basés sur les articles scientfiques (le nombre de publication, pas la qualité).

BAck to Books? Researchers should be recognized for writing books to convey and develop science. Nature 2010;463:588 doi:10.1038/463588a

Publications scientifiques : la Chine dépassera les USA avant 2020

Quatre universitaires japonais de 4 villes différentes (Tianjin, Taipei, Shanghai, Hong Kong) ont publié un court article sur la situation des journaux techniques en Chine. Que retenir :

• 4794 journaux dits STM (Science Technical Medical), et 2339 Humanités Sciences Sociales en Chine, soit 2ème pays après les USA ; mais peu d'impact mondial avec 88 journaux dans Science Citation Index) ;
• croissance rapide du nombre de publications chaque année ;
• 200 journaux chinois STM sont publiés en langue anglaise dont Cell Research avec un facteur d'impact de 4,535 ;
• beaucoup de formations de rédacteurs, mais encore manque de ressources.

Un pari : dépasser les USA en 10 ans.

Liu Q et al. Scientific, technical, and medical journal publishing in China - issues and prospects. European Science Editing 2010;36:10-11.

Croissance des publications : l'Asie (Chine,..) va dépasser l'Amérique du Nord et l'Europe

Une équipe de chercheurs cliniciens de l'Université de Hong Kong a analysé les publications de PubMed (3 décembre 2009) pour comparer les origines géographiques. L'article est écrit par le rédacteur d'une lettre gratuite. Outre que 94 % des articles de cette base soient en anglais, ils ont clairement observé une croissance rapide de l'Asie et de quelques pays. Je vous joins leur newsletter qui comprend aussi des informations connues dans le domaine des essais cliniques avec une croissance asiatique très forte !!  En bref :

• Le reste du monde (dont moitié Chine) est au niveau de l'Amérique du Nord et de l'Europe dans la base de données PubMed ;
• pour les hauts facteurs d'impact (18 en moyenne), l'Amérique du Nord représente 50 %, l'Europe 30 %, l'Asie 1 %, et le reste non déterminé ;
• La croissance des publications est forte en Chine et Iran, la plus basse en Russie ; citons Inde, Brésil, Corée du Sud, Turquie et Taiwan..;
• En Europe, le classement : Royaume Uni, Allemagne, Italie, France, etc....

Beaucoup de données dans ce long article..... mais les méthodes d'analyse ne sont pas assez explicites.

Karlberg JPE. Biomedical publication trends by geographical areas. Clinical Trial Magnifier. Déc 2009, Vol 2, n°12, 682-701.

Sélection des articles de PNAS : troublant car les articles des membres de l'Académie sont moins cités, mais parfois exceptionnels !

Un article de PLoS ONE questionne le fonctionnement de PNAS (The proceedings of the National Academy of Sciences of the United States of America), un journal de très grande réputation.

Il y a 3 méthodes pour soumettre un article à PNAS. Le track 1 concerne les articles soumis pas des membres de l'Académie des Sciences au nom de collègues ; ils peuvent le faire 2 fois par an en envoyant au comité de rédaction l'article du collègue et l'avis de relecteurs qu'ils ont choisi ; le comité de rédaction décide de l'acceptation finale. Le track 2 concerne la soummission par tout chercheur d'un article au rédacteur qui fait relire selon les méthodes habituelles du peer review. Le track 3 concerne les articles soumis par les membres de l'Académie sans limitation de nombre par an, et après avoir eux-mêmes fait faire un peer review par des collègues ; l'auteur envoie l'article avec des commentaires de reviewers au comité de rédaction. Le track 1 a été abandonné récemment par PNAS.

L'impact de 2695 articles publiés entre juin 2004 et avril 2005 a été analysé, avec les données de ISI/Thomson. Des variations entre la notoriété des articles de PNAS ont été observées selon le track de la soumission. En bref, les articles des membres de l'Académie sont en moyenne les moins cités ! Mais en contrepartie, l'analyse des 10 % d'articles les plus cités de chaque track a montré que ces articles des membres de l'Académie avaient la meilleure notoriété !

La discussion est intéressante, car notamment l'interférence avec les comuniqués de presser et les articles de la presse grand public n'a pas été analysée. Mais des questions sont sans réponses : quelle est la meilleure méthode de sélection des articles ? Quelle est la valeur de ces mesures d'impact ?

Rand DG, Pfeiffer T (2009) Systematic Differences in Impact across Publication Tracks at PNAS. PLoS ONE 4(12): e8092. doi:10.1371/journal.pone.0008092

Top 10 des articles les plus lus en 2009 d'après Journal Watch

Il est intéressant de consulter en début d'année les articles les plus lus l'année précédente. Vous n'êtes peut-être pas un lecteur régulier de Journal Watch, une publication du groupe du New England Journal of Medicine. En ce début 2010, pour les xx disciplines couvertes par Journal Watch, vous pourrez consulter le liste des 10 meilleurs articles 2009 selon le rédacteur en chef de la spécialité, et la liste des 10 articles les plus consultés par les lecteurs de Journal Watch (la méthode n'est pas explicite). Les listes sont différentes en général. Vous pouvez consulter les listes de votre disciplien : cardiologie, dermatologie, médecine d'urgences, gastro-entérologie, médecine générale, SIDA/HIV, médecine hospitalière, maladies infectieuses, neurologie, cancer et hématologie, pédiatrie et adolescent, psychiatrie et santé de la femme.

Allez voir dans votre discipline, et vous constaterez la part importante des journaux du groupe des top 5 (Annals, BMJ, JAMA, Lancet, NEJM) Seules les annals semblent moins représentés. Certains journaux comme le BMJ en font un argument promotionnel car ils sont les meilleurs dans 4 disciplines (médecine hospitalière, médecine générale, médecine d'urgence et psychiatrie) selon F Godlee, la rédactrice en chef du BMJ. 

PLoS ONE : bon anniversaire

Pour ses 3 ans, PLoS ONE (sur leur blog) a listé 10 des articles publiés lors de leur lancement. Pour chacun des ces articles, ils donnent des mesures : nombre de consultations, et liens à Scopus, PubMed Central et CrossRef pour voir quels articles les ont cités, nombre de commentaires. Ils vous proposent d'aller visiter leur boutique pour acheter un tee-shirt !

Cette démarche va dans le sens de mesurer l'impact sur les articles et non pas sur les journaux : je vous l'ai dit, le fameux facteur d'impact va mourrir.

Le bilan 2009 est très impressionnant avec 4400 articles publiés, ce qui fait de ce journal le 3ème plus important journal STM, et bientôt le premier ! Ce bilan est impressionnnant avec 9000 reviewers, des nouveaux blogs, et pleins d'initiatives incroyables.

Walton B. Three years on. PLoS One 2009, 21 décembre  and Binfield P. PLoS ONE review for 2009. PLoS ONE 2009, 22 décembre.

 

Le facteur d'impact va mourrir, mais comment le remplacer

Un bel article d'opinions sur la mesure des publications dans PLoS Biology de novembre 2009. Il est clair que le facteur d'impact de ISI Thomson que nous connaissons bien n'a jamais été concu pour évaluer la qualité des articles et aider les carrières. Son fondateur, E Garfield, l'a souvent dit : le facteur d'impact évalue la notoriété des journaux sans évaluer les articles. Mais comment le remplacer, compte tenu que plusieurs indicateurs ont été proposés depuis quelques années. "it is simply not designed to capture qualities of individual papers."

Que faire ? Utiliser les commentaires qui sont postés sur les sites des journaux après les articles ? Il ne semble pas que ce soit une bonne méthode. Les technologies permettent d'accumuler de nombreuses données de téléchargement, de temps d'exposition des articles à un internaute, et aussi de tracer les téléchargements dans des systèmes de classement, type EndNote. Les données accumulées par les journaux électroniques sont encore sous-exploitées. Mais il y a beaucoup mieux avec Zotero, Citeulike, Connotea, et Mendeley. Je ne sais pas encore utiliser ces outils, mais cet article de PLoS m'a motivé pour changer mes habitudes dans ce domaine : allez-vous les mesures du futur, et dites nous qu'en penser !

Neylon C et Wu S. Article-level metrics and the evolution of scientific impact. PLoS Biol 2009;7(11): e1000242.