J’ai été étonné de voir le nombre d’articles de presse et de réseaux sociaux évoquant un rapport de la Haute Autorité de santé (HAS) sur la maladie de Lyme (Quotidien du Médecin, JIM, et la communiqué AFIS qui précise que 12 organisations n’ont pas voulu signer le rapport, etc… à lire...). Quand les « experts » se battent dans un marigot, c’est qu’aucune règle du jeu n’a été proposée. Cela semble être le cas pour la HAS car l’analyse de la littérature est devenue un exercice intellectuel privilégiant des courants de pensée et ignorant la méthodologie de recherche scientifique et le concept de preuve scientifique. A l’époque des fake news, certains combats sont-ils perdus d’avance ? Regardez le billet d’hier sur les ‘Mute news’ à propos de l’affaire honteuse de GE Séralini.
Je précise que j’ai un lien d’intérêt ancien de 18 ans, ayant participé aux missions de l’ANDEM et de l’ANAES, avant l'années 2000, et avant la création de la HAS. Je connais les méthodes d'analyse de la littérature !
L’argumentaire Lyme de la HAS ne peut qu’amener à des conflits. Normalement, avant de faire des RPC (recommandations de pratique clinique), il faut faire une revue systématique de la littérature. Cette revue de systématique établit les bases incontestables de la science. Ensuite les avis d’experts sont sollicités (encore faut-il définir correctement l’expert, plutôt que de qualifier expert toute personne qui se revendique expert). En lisant le rapport Lyme HAS, un argumentaire de 398 pages, il y a de bonnes choses et du pipi de chat, et le lecteur ne sait pas faire la différence.
Dans cet argumentaire, page 307, il y a la méthode de travail et tout semble sérieux. La référence c’est le guide méthodologique de la HAS (mars 2016) qui en page 10 dit : La rédaction de l’argumentaire scientifique est précédée d’une phase de recherche documentaire et d’analyse critique de la littérature. L’annexe 2 présente les modalités de recherche documentaire. Pour plus de détails sur l’analyse et la synthèse de la littérature, se reporter au guide méthodologique spécifique (15). L’annexe 3 présente les niveaux de preuve et les gradations correspondantes. Le guide méthodologique RPC renvoie au guide sur l’analyse de la littérature qui explique que pour chaque article lu, il faut remplir une grille pour en évaluer la qualité… ces grilles éliminent plus de 90 % des articles sélectionnés. De manière intéressante, la notion de niveau de preuve bien formalisée par la HAS semble avoir été totalement ignorée ! Bizarre… alors que ceux qui ont lu la littérature sont probablement de bons cliniciens, mais avec une formation légère à la méthodologie de sélection des articles, et des méthodes pour faire une revue systématique. Connaissent-ils le rapport sur les niveaux de preuve ? Oui, certainement. L'appliquent-ils ? Je ne sais pas. Page 7 de l'argumentaire : L’absence de gradation ne signifie pas que les recommandations ne sont pas pertinentes et utiles (relire 3 fois cette belle phrase). La HAS a très bien décrit comment formaliser les avis d'experts dans un guide, mais n'utilise probablement pas sa méthode ! Méthode excellente mais mise en oeuvre difficile.
Pour l'argumentaire Lyme, la recherche documentaire est très bien décrite, et bien faite. Mais la revue systématique n'est pas claire. Voilà l’état d’une revue systématique classique selon des méthodes rigoureuses :
- Sur 195 revues systématiques, le taux moyen de sélection des articles était de 3 % ; je résume : le taux de rendement moyen des études incluses était de 2,94 % (ET 6,49 ; extrêmes de 0 à 64,71 %) ; il s'agissait du rapport entre les études incluses dans la revue et les études identifiées, en éliminant les doublons, et calculé à partir du diagramme de flux PRISMA ; les extrêmes du nombre d'articles inclus étaient 0 à 291 articles.
-
J’ai consulté le rapport d'avril 2018 du NICE (agence anglaise d’évaluation), rapport qui ne couvre pas exactement le même
champ que le rapport HAS. Le titre est Lyme disease: diagnosis and management [B] Evidence review for diagnostic accuracy of signs and symptoms. Vous observez (image à droite) que de 16 167 références, l’analyse de la littérature a inclus 16 articles. Il aurait été souhaitable de voir des diagrammes de ce type dans l’argumentaire HAS...
-
Pour l’argumentaire HAS en page 315, il y a : L’analyse a été réalisée selon le guide d'analyse de la littérature et gradation des recommandations de l’ANAES. Un niveau de preuve a été attribué aux études en fonction de leur qualité méthodologique. Résultats HAS : Nombre références identifiées : 1483 ; Nombres de références analysées : 876 ; Nombre de références retenues : 600... soit un taux d'inclusion de 600 / 1483 = 40 % (j'aurais pu faire 600 / 876). Il est évident que là commencent les erreurs... pas possible d'avoir 600 articles de qualité, quand il existe des données montrant que largement plus de 50 % des articles sont embellis, et que 50 % ne sont pas reproductibles. Mais allez faire comprendre cela à des oies dorées.
Il serait souhaitable, pour chacun des 600 articles inclus dans l’argumentaire, que l’on dispose de la grille de lecture (puisque ces grilles ont été remplies conformément à la méthode adoptée). J’ai regardé quelques références, et certaines sont des petites séries de cas. Ce sont des observations intéressantes apportant des hypothèses, mais en aucun cas une quelconque preuve scientifique. Dans l’histoire de la médecine, des dérives en utilisant des cas cliniques en lieu et place de preuve scientifique ont été observées. Dans les années 90s, aux USA, le cas des prothèses mammaires en silicone est un bon exemple. Des tribunaux ont accordé des millions de dollars à des plaignantes et avocats sur la base de cas cliniques faisant l’hypothèse que ces prothèses pouvaient causer des maladies auto-immunes. En 1994, Dow Corning a provisionné 4,25 milliards de dollars avant de déposer le bilan et disparaître. Plus tard, quand de bonnes méthodes ont montré l’innocuité de ces implants, ils ont été réintroduits sur le marché. Toute l’histoire est dans un excellent livre Science on Trial de Marcia Angell : faites le lire car dans quelques années, le rapport Lyme aura fait des dégâts... La pseudo validation par la HAS de cas sans preuves sera du pain béni pour les avocats...
J’ai évoqué le pipi de chat, tiens par exemple l’annexe 7 en page 323, dont la HAS se dédouane tout la en publiant ! Vous avez un listing de traitements : est-ce que pour chaque molécule, des essais randomisés comparatifs de bonne qualité dans la maladie de Lyme ont été évalués par la HAS ? Qui a analysé ces données et avec quelles méthodes ? Est-ce que la HAS a vérifié les autorisations de mise sur le marché de ces molécules avant de presque cautionner leur indication dans ces maladies ????
Tout ceci est grave, car il s’agit de mettre à mal les méthodologies scientifiques pour privilégier des croyances. La conférence de presse HAS a été faite par quatre oies dorées qui n’ont pas de bases méthodologiques, ou qui se mettent au service de l’administration et pas de la science (quand ces oies connaissent un peu la méthodologie). Je dis oies dorées, bien que j’espère que la revue Challenges, le 28 octobre 2010, se soit trompée dans son article intitulé « Les rémunérations des présidents d'autorités administratives indépendantes« . Il existe des personnels de qualité à la HAS, et je leur recommande de ne rien dire.... car le pouvoir politique est fort... et par exemple Trump a poussé à la fermeture du site des recommandations américaines.
Des trucs drôles : la gestion des conflits d'intérêts OMERTA et circulez ; la FFMVT, dont les instances font que des membres du conseil d'administration sont également dans le conseil scientifique ! Bizarre comme fonctionnement pour une société dite savante.....
