Rédaction Médicale et Scientifique

Un auteur devrait avoir accès libre et sans entraves à toutes les données sources : faut-il ajouter ce critère à ICMJE ?

Le numéro de février 2013 de European Science Editing, la revue de EASE contient quelques articles intéressants. Je retiens :

• un article par des auteurs iraniens sur un nouvel indicateur bibliométrique, destiné à augmenter les inforamtions sur les publications : le SSI ou "Subject Sameness Index" a été testé, mais cela me paraît bizarre ; c'est un index de ressemblance des sujets qui explore la 'field mobility' : est-ce que les publications d'un chercheur sont dispersées ou concentrées dans un domaine ? Ce SSI a été testé sur des publications de l'Université Babol, Iran, et a montré une relation inverse entre le nombre d'articles publiés et le nombre de mots-clés répétés..   Un article d'un américian  de Denver commente très positivement cet index... mais je suis sceptique ;
• un article de RG Steen sur "Authorship to be or not to be?", avec des propositions pour faire évoluer la notion de paternité d'un article : "Un auteur est quelqu'un qui a eu un accès libre et sans entraves à toutes les données sources". C'est bien argumenté, à partir des critères ICMJE et de la revue Neurology ;

Mesurer l'impact de vos recherches avec les nouvelles technologies : encore du chemin avant de tout comprendre

Le facteur d'impact devrait mourir, mais comment le remplacer ? ImpactStory : qu'est-ce que c'est que ce nouveau service gratuit ? Un principe basé sur le manifeste Altmetrics.  Faut-il suivre ces mouvements poussés par les revues en Open Access, principalement les groupes PLOS, BMC, ... Readermeter en développement, ImpactStory en beta test, et autres...

ImpactStory est un outil en ligne, open source, qui aide les chercheurs pour explorer et partager les divers impacts de l'ensemble de leurs produits de recherche : articles de revues scientifiques, mais aussi des produits de remplacement, comme les messages sur les blog, et des données sur divers supports. Il ne s'agit par du facteur d'impact évaluant la notoriété des revues, mais d'un système valorisant toutes les autres formes de communication (et de production de science ?). C'est ou outil pour les chercheurs qui veulent savoir combien de fois leur travail a été téléchargé, bloggé, bookmarqué...   jargon, jargon qu'il faut connaître.

Pour aller sur ImpactStroy, il vous faut d'abord un identifiant ORCID. Je n'ai pas encore tout mis en route, bien que j'ai mon compte ORCID.

Financée par la Fondation Alfred P. Sloan, ImpactStory est dans le processus d'intégration en tant que société à but non lucratif, à moins que leur survie ne soit pas assurée...

Génial : augmentez le facteur d'impact de votre revue en allongeant le délai entre la mise en ligne et la publication imprimée dans la revue !

Etude compliquée faite par des brésiliens, et à partir de 61 revues de Neurosciences et de leur facteur d'impact 2010, et publiée dans PLOS ONE fin décembre 2012. Nous savions déjà que peut-être la mise en ligne en avance des articles à publier augmentait les citations de ces articles, en comparaison avec les articles pubiés sans mise en ligne préalable. Mais cet article apporte une autre hypothèse ; j'ai traduit une partie du résumé :

Le calcul du facteur d'impact d'une revue est principalement basé sur la date de publication de ses articles sous forme imprimée, en dépit du fait que la plupart des journaux maintenant rendent leurs articles disponibles en ligne avant cette date. Nous avons analysé 61 revues de neurosciences et montré que les délais entre la publication imprimée et en ligne d'articles ont augmenté régulièrement au cours de la dernière décennie. Une telle pratique varie considérablement selon les journaux : certains d'entre eux n'ont pas de retards, tandis que pour d'autres, cette période est supérieure à un an. En utilisant un facteur d'impact modifié sur la base de la mise en ligne plutôt que sur des dates de parution, nous avons montré que les délais entre mise en ligne et mise au sommaire pouvaient augmenter artificiellement le facteur d'impact d'une revue.

Nous suggérons que l'indexation des articles dans des bases de données de citations et de calcul des métriques de citation soit basée sur la date d'apparition en ligne d'un article, plutôt que sur celui de sa publication en version imprimée.

Tort ABL, Targino ZH, Amaral OB (2012) Rising Publication Delays Inflate Journal Impact Factors. PLoS ONE 7(12): e53374. doi:10.1371/journal.pone.0053374

Votre revue veut être indexée par PubMed : trop facile pour certains... très bizarre...

De nombreuses rumeurs ont toujours circulé sur les indexations de revues dans les bases de données. Pour être indéxé dans Medline/PubMed, il existe officiellement des règles et vous devez remplir un dossier assez complet...    Des revues françaises n'arrivent pas à être indéxées...

Je suis très surpris par l'annonce de l'indexation de la revue "Cilia" dans Pubmed. Nous avons annoncé la naissance de cette revue il y a moins de un an, par un billet en mai 2012. En février 2013, BMC nous annonce l'indexation dans PubMed et dit discuter avec ThomsonReuters pour avoir un facteur d'impact. Il se passe des choses étranges dans ce monde des revues, car fin février 2013, le site de Cilia nous montre :

• que les premiers articles ont été publiés le 25 avril 2012 !
• que Cilia a 2 volumes : volume 1 pour 2012 avec 23 articles publiés entre avril et décembre ; volume 2 pour 2013 avec 2 articles publiés en janvier, et un en février ;
• donc, avec 26 articles, vous pouvez être indéxés après 10 mois d'existence...
• mais quel a été le taux d'acceptation de Cilia ? 100 % peut-être......

Parmi les critères de Medline, je lis : "In general, once an electronic journal has been accessible for at least 12 months, an editor or publisher may request that the journal be reviewed for possible indexing if at least 40 articles have been published and made available online."  Clairement Cilia ne devait pas être indéxé... donc il se passe bien des choses dans l'ombre.....

Une société savante américaine s'insurge contre la dictature du facteur d'impact

ASCB (American Society for Cell Biology) dans sa newsletter de janvier/février 2013 revient sur son meeting annuel de décembre. Utiliser le facteur d'impact pour évaluer des scientifiques est qualifié de 'totalement irresponsable'. Dix rédacteurs de revues du domaine de la biologie cellulaire ont eu un meeting pour discuter des mauvaises pratiques liées à l'utilisation du facteur d'impact. Les facteurs d'impact des revues de ce domaine, dont "Molecular Biology of the Cell", ont baissé ! Les objectifs de ce groupe sont : 

• Engage the scientific community (scientists, university administrators, journal publishers) to embrace appropriate methods of evaluating individual scientists and their work and to discourage misuse of the impact factor for that purpose;
• Encourage citation of the primary literature rather than reviews, and remove policies that limit the number of citations in articles;
• Replace the impact factor with a more carefully designed, relevant, and transparent metric of journal value.

Ce sont de très beaux discours, mais seront-ils suivis d'effets ? Il est rassurant de voir que des rédacteurs de revues réalisent les pièges du facteur d'impact.

 

Limites du facteur d'impact ! Mais existe-t-il des alternatives ? Pas sûr

Rien de neuf pour un thème qui attise les discussions : le facteur d'impact des revues est un bon inidcateur de la notoriété des revues. Mais toujours le message non compris "It is strongly discuraged to use Journal Impact Factor as a proxy of individual researcher's or a journal article's scientific merits".

Cet article discute tous les griefs du facteur d'impact, et propose surtout d'utiliser plusieurs indicateurs selon ce que l'on cherche à évaluer. Les auteurs citent quelques dérives du facteur d'impact, et certains propos sont parfois surprenant. Bien sûr, ne pas comparer les facteurs d'impacts entre les domaines de la science. Une discussion des effets des revues en plusieurs langues, dont Joint, Bone and Spine et Revue du rhumatisme....

Discussions ensuite sur Eigenfactor, SCImago, h-index mais je ne sais pas quoi en penser ? Avez-vous des avis ?

Bornmann L, et al. Diversity, value and limitations of the journal impact factor and alternative metrics. Rheumatol Int 2012;32:1861-1867.

Est-ce que la qualité de la recherche augmente quand le facteur d'impact augmente ? Il faudrait des preuves, même en orthopédie

En janvier 2013, ce sont les facteurs d'impact des revues d'orthopédie qui ont été analysé dans International Orthopaedics. Article soumis un samedi avac Noël (16 décembre), accepté le 21 décembre et publié online le 19 janvier : une revue qui a un peer-review très rapide : BRAVO !  Les méthodes de ce travail sont décrites en 11 lignes ! Dans l’introduction, il y a une phrase qui nous dit que la moyenne des facteurs d’impact des revues est inférieure à 2, et qu’elle augmente avec le temps : "Between the years 1999 to 2010 the number of journals registered as ‘clinical medicine journals’ in the Journal Citation Report (JCR) – Thomson Reuters increased from 1,291 to 1,986."

Une information traduit la vitalité du secteur des revues d’orthopédie : elles étaient 24 en 2000, et 41 en 2010. Cette augmentation est importante, sans que nous ayons de notions sur la disparition probable de revues. Est-ce sous la pression des chercheurs ou des sponsors, comptte tenu que la plupart des revues sont américaines ? Une information majeure aurait été le taux d’acceptation des articles par les comités de rédaction. Nous ne l'avons pas.

7 des 41 revues ne sont pas en langue anglaise :

Le facteur d’impact ne représente plus du tout la qualité des articles ! Le twimpact serait prédictif des citations ultérieures…..

Félicitons une équipé canadienne qui a publié un article convaincant disponible sur les archives ouvertes de Cornell University. Ils ont étudié des millions d’articles depuis 1900 jusqu’à 2009, à partir surtout de Web of Science, la base qui permet de produire les facteurs d’impact..   Ils ont modélisés 820 millions de citations, provenant de 25, 6 millions d’articles des sciences médicales et naturelles, 3,2 millions d’articles de physique, et 0,9 millions d’articles de sciences sociales….  Ils ont comparé la relation entre les nombres de citations et les facteurs d’impact des revues, en se demandant si l’arrivée de l’électronique dans les années 90s avait eu un impact. De belles illustrations, des calculs que je ne comprends pas toujours pour arriver aux résultats, mais les figures sont explicites : les articles cités ne sont pas toujours ceux des revues prestigieuses.. cela me va :

Le "Content factor" pour remplacer l' "Impact factor" : une bonne idée sans avenir

Dans PLoS ONE, un article étonnant a été publié le 23 juillet 2012, par 2 chirugiens othopédiques de Philadelphie (USA). Ils proposent le "Content factor", basé sur le nombre de citations d'articles de la revue pendant une année. Pas de dénominateur, ni de limite de 2 ou 5 ans pour le calcul. Ils donnent les calculs pour 20 revues majeures et 20 revues de chirurgie orthopédique. Pas de corrélation avec le facteur d'impact, mais corrélation avec l'importance de la revue (ils ont fait une enquête à laquelle 75 auteurs des revues de chirurugie orhtopédique ont répondu). Ce serait à tester, mais les systèmes figés d'évaluation des carrières préfèreront utiliser à tort le facteur d'impact...   Facile d'utiliser un indicateur dont on en connait pas le calcul et dont on sait qu'il évalue la notoriété d'une revue, mais jamais les compétences d'un auteur.

Depuis longtemps, la comunauté scientfiique dit qu'il faut changer le facteur d'impact, mais la résistance au changement est redoutable. Si vous relisez un éditorial de 2006 dans PLoS Medicine "The impact factor game", vous verrez les recettes pour calculer le facteur d'impact. Le calcul du premier facteur d'impact de cette revue a été arbitraire et non scientifique, comme pour la plupart des revues : selon les équations, il était de 11 pour PLoS, et de 3 pour Thomson Reuters...

Bernstein J, Gray CF (2012) Content Factor: A Measure of a Journal’s Contribution to Knowledge. PLoS ONE 7(7): e41554. doi:10.1371/journal.pone.0041554

Les revues en open access ont la même qualité que les revues sur abonnement

Controverse difficile car les critiques contre l'Open Access sont nombreuses : il ne faut pas publier dans ces revues car elles seraient de moindre qualité ! L'article paru dans BMC Medicine en juillet 2012 (facteur d'impact de 6,04) est très documenté et passionnant. Il résumé tous les arguments pour et contre le modèle dit de l'Open Access. Le travail original semble bien fait en comparant des revues OA et des revues sur abonnement dans 2 bases, avec comme critère de substitution le facteur d'imapct : Web of Science (610 revues OA versus 7609 revues sur abonnement), et Scopus (1327 revues OA versus 11 124 revues sur abonnement). C'est un gros travail, un bel article qui demande une heure de concentration. Les observations sont nombreuses, et la conclusion principale : "Our results indicate that OA journals indexed in Web of Science and/or Scopus are approaching the same scientific impact and quality as subscription journals, particularly in biomedicine and for journals funded by article processing charges."

Citez les articles de votre revue pour augmenter votre facteur d'impact : danger !

Sur le forum de EASE, Tom Lang nous a rappelé une histoire que je ne connaissais pas : en 2007, la revue Folia Phoniatrica et Logopaedica a voulu protester contre l'hégémonie du facteur d'impact. Cette revue a publié un éditorial citant les 67 articles qu'elle avait publié dans les 2 années précédentes (2005 et 2006). Son facteur s'impact est passé de 0.66 à 1.44. La revue a été exclue du facteur d'impact en 2008 et 2009. Elle a eu en 2011 un facteur d'impact de 1.115   Cet éditorial est intéressant !

Schutte HK, Svec GJ. Reaction of Folia Phoniatrica et Logopaedica on the current trend of impact factor measures. Folia Phoniatrica et Logopaedica 2007;59:281-285.

 

122 revues électroniques de BMC ont un facteur d'impact

De nombreuses revues communiquent sur leur facteur d'impact car publiés fin juin par Thomson Reuters. BMC a 122 revues électroniques (sur 238) ayant un facteur d'impact : impressionnant quand on sait qu'elles ont toutes moins de 12 ans...    dont BMC Medicine avec 6.04. En 2011, ce sont 19 revues de BMC qui ont eu leur facteur d'impact pour la première fois. Tous les facteurs d'impact de BMC sont listés sur leur site. Des revues disparaissent ou fusionnent mais la communication est moins agressive dans ces cas...

La technologie de BMC semble performante, mais c'est une aventure qui a demandé beaucoup de sueur (et d'argent). La communication est permanente sur de nombreux thèmes dont les semaines de l'Open Access en Afrique..    la création de Springer Open a suivi l'achat de BMC par SPringer... Des chiffres apparaissent sur les écrans (voir photo du 5 juillet 2012) mais je ne sais pas les interpréter pour 2 raisons : je n'ai pas les méthodes de comptage, et je ne connais pas le nombre d'articles publiés, ni les chiffres des concurrents.....

Les ressources pour les auteurs sont nombreuses et intéressantes, avec la BMC author academy.

51 revues n'ont pas eu de facteur d'impact : éliminons le cartel des citations

Les facteurs d'imapct ont été publiés la semaine dernière par Thomson Reuters, et 526 revues nouvelles ont eu leur facteur d'impact pour la première fois, probablement de nombreuses revues électroniques de l'Open Access..  mais 51 revues ont été exclues et n'ont pas eu de facteur d'impact.

Les méthodes habituelles pour augmenter le facteur d'impact consitent à augmenter les auto-citations : les rédacteurs incitent les auteurs à citer des articles de leur revue (dans les 2 années précédentes), ou font des éditoriaux et des synthèses qui citent des articles de la revue. Thomson Reuters sait lutter contre les auto-citations, et élimine une dizaine de revues chaque année... mais en 2012, 51 revues ont été éliminées...    serait-ce du au cartel des citations ? Des revues s'entendent pour citer d'autres revues et inversement... ceci n'est plus détecté par la recherche des auto-citations...  Par exemple, la revue Cell transplantation a rapidement augmenté son facteur d'impact de 3 à 6...  avec les méthodes du cartel des citations : une revue générale dans Medical Science Monitor a cité 445 articles de Cell transplantation dans la fenêtre des 2 ans du facteur d'imapct....

La cuvée 2012 des facteurs d'impact : PLoS ONE baisse

Précipitez-vous car les facteurs d'impact de Thomson Reuters ont été publiés fin juin 2012. Certains sont contents..    J'attendais le facteur d'impact de PLoS ONE, car je ne trouve pas que la qualité est au rendez-vous dans cette revue qui a publié 13 781 articles en 2011. Certains prensaient que le FI de PLoS ONE allait baisser : gagné ! En 2012, le FI est de 4,092, alors qu'il était de 4,411 en 2010, et 4,351 en 2009. Je questionnais déjà sous le titre 'spirale de la médiocrité ou de l'excellence'. Disons que PLoS ONE stagne dans les 4 et que la montée prévue est lente...    et que 70 % de taux d'acceptation n'est paut-être pas une stratégie très payante. Je n'ai pas le taux d'auto-citations....

Il y a beaucoup de discussions autour du calcul de ce facteur d'impact, et il est de notoriété qu'en 2010, PLoS ONE demandait un IF de 11 quand Thomson Reuteurs proposait 3...   la réunion se terminant un peu au dessus de 4...  Sur les blogs de PLoS, pas de commentaires sur l'IF, mais toujours les descriptions des propres 'metrics' des revues de PLoS...

Lancet Neurology a 10 ans : un succès

Le numéro de mai 2012 du Lancet Neurology est celui de l'anniversaire : cette revue a été créée en mai 2002 dans le cadre de la stratégie du nouveau propriétaire, Elsevier, et c'est un succès majeur. L'éditorial, anonyme car signé "The Lancet Neurology", d'accès gratuit, est focalisé sur les progrès de la neurology en 10 ans. Il y a quelques perspectives pour les 10 ans à venir avec 2 focus : le vieillissement, et la bonne santé des personnes âgées dans le monde. Les revues de la famille Lancet ont des orientations "Global Health". Ce n'est pas un éditorial qui vante le succès, car le facteur d'impact est de 21,66, soit le premier des 185 revues de neurlogie indéxées !

Parmi les 10 articles de Lancet Neurology les plus cités, selon Scopus, sept étaient des revues générales :

Citez mon journal dans vos articles, pour augmenter le facteur d'impact

Mon attention a été attirée par un article du Monde Sciences et Techniques du samedi 18 février 2012, intitulé "De l'art d'inciter à la citation". Cet article pour le grand public analyse un phénomène peu connu, mais qui est inacceptable. Il s'agit d'une publication de Science du 3 février 2012, intitulée "Coercive citation in academic publishing". Des rédacteurs de revues demandent aux auteurs de citer des articles de leur revue dans le but d'augmenter le facteur d'impact de leur revue. Les auteurs de l'article de Science ont effectué une enquête électronique : 20 % des 6672 répondeurs (sur 54 000 chercheurs en sciences sociales et économie) connaissaient cette pratique. Bien sûr qu'elle est condamnable, mais la vraie question est "Est-ce que cela nuit à la qualité du travail exposé ?". Personne ne sait.... Les auteurs tirent de nombreuses conclusions dont certaines surprenantes : OK cela semble concerner peu de revues, mais dire que les revues visent les articles avec peu d'auteurs ou des auteurs jeunes semble prêter aux rédacteurs des stratégies vraiment élaborées... Cet article ne concerne pas la recherche biomédicale, mais le phénomène existe en médecine. L'hypothèse serait de dire que ces pratiques sont plus répandues pour les journaux de "business".

Les journaux biomédicaux européens bientôt meilleurs que les américains

 Bonne nouvelle qui n'est pas étonnante : c'est une étude sur le facteur d'impact (FI) des journaux de rhumatologie qui apporte des arguments. Cet article écrit par des auteurs de Pékin (Chine) et Groningen (Hollande) a analysé les FI de 10 années (1999-2008). Les FI des journaux européens progressent plus vite que ceux des journaux américains. Les FI des journaux de revues générales progressent plus vite (normal car les revues générales sont beaucoup citées).

7,2 ou 3,7... Quel facteur d'impact pour Cortex ? Ou l'art de la citation

  Classique, mais pas trop dénoncé, et pas reconnu par les journaux..  La plupart des comités de rédaction doivent augmenter leur facteur d'impact, et en discutent régulièrment. Il existe plusieurs stratégies pour citer ou faire citer les articles de son journal et augmenter (artificiellement ?) le facteur d'impact...   tous les journaux regardent cet indicateur.....

Une courte note du BMJ, mise en ligne le 19 septembre, nous raconte une histoire du journal Cortex dont le facteur d'impact est passé de 4 à 7...  Belle progression, mais connaîtra-t-on un jour la vérité ? Ce passage de 4 à 7 serait lié à la citation de 4 articles. Ces 4 articles représentent 50 % de toutes les citations de ce journal qui se défend de toute manipulation.....  Si on enlève ces 4 articles, le facteur d'impact devient 3,7.... donc diminue....   à méditer...  mais je n'ai pas vu ces articles...  à investiguer...

Merci à mon informateur (JD).

Kosmulsky M. Journals articles boosting impact factor. BMJ 2011; 343:d5917

Mort à 25 ans : The Scientist... et la montée de F1000

The Scientist est un excellent magazine américain, fondé en 1996 par E Garfield, le créateur du facteur d'impact. Il vient de fêter son 25ème anniversaire...  J'ai plusieurs fois cité les bons éditoriaux ou numérios spéciaux de ce journal bien connu. E Garfield a relaté l'histoire du Scientist qu'il avait vendu, puis racheté pour 1 $, etc...

The Scientist va s'arrêter pour des raisons économiques... Il y avait régulièrement quelques articles sur la communication, les publications, des éditoriaux de qualité. Le site internet reste consultable.

Un prix Nobel fera monter rapidement vos citations

Des Suisses de Zurich ont analysé les 2 millions de citations d'articles de 124 lauréats du prix Nobel (1990-2009) en chimie, physique, médecine et économie. Il s'agit d'un article de PLoS ONE de mai 2011. Je ne sais pas quelle est la qualité de ce travail, car les méthodes sont courtes, et il y a plein d'équations, et de graphes divers...  PLoS ONE n'est pas le meilleur journal....

Ils ont analysés les citations des prix Nobel, et constaté qu'il y avait avant l'attribution du prix un article hautement cité, et que les autres articles précédemment publiés par ces lauréats étaient également beaucoup cités....  Ils créent un "boost factor", et pensent certaienement pouvoir détecter les futurs prix Nobel...   Comme le disait Eugene Garfield qui a créé le facteur d'impact : "grâce à mon facteur d'impact, les jurys peuvent sélectionner les futurs prix Nobel".

Mazloumian A et al. How Citation Boosts Promote Scientific Paradigm Shifts and Nobel Prizes. PLoS ONE 2011;6(5): e18975. doi:10.1371/journal.pone.0018975