Blog de Paul Jorion

L’IHU Méditerranée publiait sur son site en date du 17 mars les résultats d’une première étude sur le traitement de malades du Covid-19 par hydroxychloroquine et antibiotique combinés

Vingt cas ont été traités dans cette étude et ont montré une réduction significative du portage du virus au sixième jour après traitement par rapport au groupe témoin, et une durée moyenne de portage (du virus) beaucoup plus faible que celle rapportée dans la littérature pour les patients non traités

L’étude du 17 mars a suscité de fortes polémiques, entre espoirs soulevés dans le pays et au-delà, et scepticisme manifesté par une grande partie de la profession médicale – cependant pas la totalité.

Plaquénil est le nom commercial de l’hydroxychloroquine, un médicament qui soigne notamment le lupus

En voici une intéressante mise en perspective par Dahly, Gates et Morris, qui sont des spécialistes de la statistique.

Il ne s’agit pas d’une nouvelle étude médicale, et les auteurs ne sont pas spécialisés en médecine. Ce sont des statisticiens, c’est-à-dire des gens en mesure de jauger la manière dont une étude scientifique traite ses données et d’indiquer à quel point les résultats de cette étude sont significatifs. Le mot « significatif » a un sens précis en sciences, il désigne ce qui est suffisamment clair et prononcé pour se dégager du hasard. En somme, ce que les statisticiens examinent dans l’étude de l’équipe Raoult du 17 mars, c’est à quel point ils ont utilisé les méthodes qui permettent de distinguer un phénomène réel d’un simple effet du hasard.

Ai-je écrit que leur texte est une « mise en perspective » ? J’aurais pu écrire une démolition en règle !

En un mot, la première étude de Raoult, outre la très petite taille de l’échantillon, souffre de plusieurs erreurs méthodologiques graves qui empêchent de conclure quoi que ce soit, ni dans un sens ni dans l’autre. Notamment :

• Pas de prise en compte des « covariables » usuelles, c’est-à-dire de tout ce qui pourrait influer les chances de guérison d’un patient, par exemple l’âge, le stade de la maladie ou d’autres. En somme, pas de prise en compte par exemple du fait qu’on a davantage de mal à guérir, ou même à survivre, quand on est âgé. Ni de la différence entre les chances de survie de patients à des stades différents de la maladie. Ni… etc. etc.
• Pire encore, pas de prise en compte de plusieurs patients qui sont sortis de l’étude, ce qui vu les faibles effectifs a un effet catastrophique sur le caractère significatif des résultats. D’autant plus que parmi six patients « oubliés » par l’étude, quatre ont vu leur état s’aggraver de manière catastrophique, admission en réanimation ou mort !

Il vaut la peine de citer quelques extraits de la longue liste des erreurs méthodologiques trouvées par Dahly, Gates et Morris dans l’étude Raoult du 17 mars :

« Absence d’une analyse ajustée des covariables (comme par exemple) âge, sexe, degré de maladie, moment de l’apparition des symptômes par rapport à l’inclusion dans l’étude, et centre médical »

« On n’inclut normalement pas une personne dans un essai à moins qu’elle ne consente à recevoir le traitement testé. Ce n’était pas le cas dans cette étude. Au lieu de cela, les patients témoins ont inclus ceux qui ont refusé le consentement pour le régime de traitement actif. Le fait que des patients n’aient pas donné leur consentement est un signal d’alarme, non seulement pour l’interprétation de l’essai mais aussi pour son éthique »

« Sur les 26 patients traités à l’hydroxychloroquine, 6 ont été exclus de l’analyse (…) Quatre de ces patients ont eu de mauvais résultats (admission aux soins intensifs ou décès), il est donc probable que leur omission a permis d’améliorer les résultats du groupe traité« 

Si l’on réintègre les 6 patients exclus de l’étude, on obtient un groupe de 26 patients qui ont reçu le traitement avec la combinaison hydroxychloroquine et antibiotique, dont 4 ont dus être admis aux soins intensifs et 1 est mort. Soit un taux respectivement de 15% et de 4%… c’est-à-dire le même que celui des patients qui n’ont pas reçu ce traitement !

Ce qui permet d’énoncer la première loi de Raoult

« Enlevez d’un groupe les malades en soins intensifs et les morts, le groupe aura l’air bien mieux portant »

On ne parle pas d’une étude qui aurait simplement pris quelques raccourcis pour gagner du temps mais montrerait un effet net, ou même la suspicion d’un effet. Une fois réintégrés les patients « oubliés » par l’étude… il n’y a plus d’effet du tout. Et l’on n’a encore corrigé que l’une des erreurs méthodologiques de l’étude, et on n’a pas pu corriger bien sûr sa petite taille.

Une nouvelle étude avec 80 malades

Le 27 mars, l’IHU rendait disponible sur son site en pré-publication une seconde étude portant sur le traitement cette fois-ci de 80 malades par la même combinaison d’hydrochloroquine et d’un antibiotique.

Ainsi, sur 80 patients âgés de 18 à 88 ans avec un âge médian de 52 ans, hospitalisés entre le 3 et le 21 mars et placés sous traitement avec une combinaison d’hydroxychloroquine (3 x 200 mg par jour) et d’azithromycine, les équipes de l’IHU ont pu constater « une amélioration clinique chez tous les patients, sauf un patient de 86 ans décédé, et un patient de 74 ans toujours en soins intensifs ».

Cette étude se veut une réponse à la critique d’un échantillon trop faible – celle-ci compte 80 patients, trois fois plus que les 26 de l’étude précédente. Permet-elle de mettre en évidence un effet positif du traitement ? A première vue, 78 patients qui vont mieux et seulement deux en soins intensifs ou décédé peut apparaître comme une amélioration. Cependant, comme pour l’étude du 17 mars, c’est le traitement des données qu’il faut examiner pour déterminer si oui ou non un effet est apparu.

– Un premier problème, c’est la répartition en âges du groupe des 80 (voir page 22). On ne comptait en effet parmi eux que 5 personnes de plus de 80 ans et 5 entre 70 et 80, c’est-à-dire seulement 13% de personnes particulièrement vulnérables au Covid-19… mais plus de 70% de gens de moins de 60 ans, les moins vulnérables. A vrai dire, si l’on croise la répartition par âges de ces 80 patients avec les probabilités de décès suivant l’âge mesurées en Chine sans le traitement à l’hydroxychloroquine, on arrive à un nombre de décès attendu de 2… pas très différent du nombre de 1 patient décédé + 1 patient encore en sursis en soins intensifs constaté après le traitement, et en tout cas, au vu du faible effectif des patients, loin d’être assez différent pour suggérer qu’il y ait un effet réel plutôt qu’un simple hasard

– Le deuxième problème le plus évident concerne le groupe témoin. En effet, estimer l’efficacité d’un traitement suppose de comparer un groupe qui reçoit ce traitement avec un groupe qui ne le reçoit pas et représentera donc l’évolution attendue sans traitement. Ce dernier s’appelle le « groupe témoin ». Et l’étude du 27 mars (voir page 18) cite en groupe témoin une étude chinoise détaillant 191 patients qui n’ont pas reçu d’hydroxychloroquine, et dont 28% sont morts, argumentant que 1 mort + 1 patient en sursis parmi 80, c’est une amélioration évidente par rapport à 28% de décès. Voilà qui est peut-être plus convaincant ?

Las… il faut aller voir l’information à la source, dans cette étude chinoise pour découvrir le pot aux roses.

D’une part ce groupe de 191 patients chinois que la deuxième étude de Raoult a choisi comme groupe témoin était généralement plus âgés que les 80 patients français traités à l’hydroxychloroquine, avec un âge médian de 56 plutôt que 52 ans. D’autre part et surtout, l’étude chinoise porte sur des patients déjà hospitalisés donc dans un état grave, tandis que l’étude du 27 mars porte sur des patients dont la quasi-totalité ont démarré le traitement le jour même où ils ont eu les premiers symptômes ou bien le lendemain et ont été hospitalisés seulement pour les besoins de l’étude. Bref, le groupe prétendu « témoin » n’est absolument pas comparable aux 80 malades choisis par l’équipe Raoult pour leur deuxième essai. Rappelons que 80 à 85% des malades du Covid-19 qui ont des symptômes ne souffrent pas de formes graves : ceux-là étaient inclus dans l’étude du 27 mars, mais pas dans l’étude chinoise prise comme « groupe témoin » qui comprenait elle 100% de malades graves !

Ce qui permet d’énoncer la seconde loi de Raoult

« Les malades n’ayant pas de formes graves survivent bien mieux que ceux qui ont des formes graves »

Une nouvelle fois, ce n’est pas que l’étude de l’équipe Raoult aurait simplement accéléré les protocoles et arrondi quelques angles pour répondre à l’urgence. Non, l’étude prétendument décisive, une fois que l’on compare des choses comparables c’est-à-dire son groupe de 80 patients symptomatiques avec l’ensemble des malades symptomatiques en général plutôt qu’avec un groupe de malades graves… ne fait plus apparaître aucun effet notable sur la survie des patients.

Une question désagréable

Arrivé à ce stade, on est obligé de poser une question désagréable. Parce que c’est quand même la deuxième fois que Raoult publie au sujet de l’hydroxychloroquine une « étude » dont les résultats ont l’air très beaux et très impressionnants, mais qui contient des erreurs que l’on reprocherait à un étudiant en statistiques de deuxième année. Erreurs que l’on ne verra certes pas si l’on s’arrête aux jolies courbes, et sans doute la plupart des gens – et des journalistes – n’ont pas le temps ou l’idée d’aller plus loin, de remonter aux sources et de lire les articles.

Si un professeur de statistiques voyait de telles erreurs dans le devoir d’un étudiant de deuxième année, il lui recommanderait d’étudier mieux le cours ou d’être plus attentif. Si l’étudiant recommençait tout pareil un peu plus tard, un professeur un peu soupe-au-lait pourrait perdre son calme et lui demander « Dites, vous êtes stupide, ou vous en faites exprès ? »

Le problème est que les auteurs de cette étude, notamment le directeur de recherche qui en fait une telle promotion, ne sont clairement pas stupides. Ce ne sont pas des étudiants non plus. Didier Raoult est même un chercheur reconnu.

Alors, quelle est l’hypothèse qui reste… sinon que c’est fait exprès ?

Pour poser la question autrement, si un agent d’assurance essayait de vous vendre un contrat en apparence mirifique, mais avec des clauses en petits caractères qui invalident tous ses avantages supposés, vous n’hésiteriez sans doute pas à utiliser le mot arnaqueur. Surtout si c’était une récidive.

Alors, quel mot conviendrait dans le cas de Didier Raoult ?

Oui, il existe de véritables espoirs

Voici une autre mise en perspective utile, c’est cet article qui est en revue préliminaire – pas encore revu par les pairs – et qui présente les différents médicaments en cours de recherche ou d’essai pour soigner le Covid-19

En attendant que cet article ait été revu, il est déjà intéressant de constater que les médicaments en cours d’essai sont… nombreux. Oui, l’hydroxychloroquine est du lot. Mais ce n’est qu’un candidat parmi beaucoup ! Extrait :

« Les thérapies les plus fréquemment évaluées étaient les suivantes : thérapie par cellules souches (n=23 essais), lopinavir/ritonavir (n=15), chloroquine (n=11), umifenovir (n=9), hydroxychloroquine (n=7), traitement par plasma (n=7), favipiravir (n=7), méthylprednisolone (n=5) et remdesivir (n=5) »

Alors, l’hydroxychloroquine sera-t-elle confirmée comme traitement efficace du Covid-19 ? Ou plutôt umifenovir ? A moins que ce ne soit le favipiravir ? La méthylprednisolone qui sait ? Et pourquoi pas le ritonavir après tout ? Sauf si les cellules souches… Peut-être deux d’entre eux, avec beaucoup de chance ? Un autre encore ? La recherche avance, les chercheurs font feu de tout bois pour trouver qui un traitement, qui un vaccin. Là est le véritable espoir.

Pour l’instant, le seul avantage de l’hydroxychloroquine est médiatique avoir fait l’objet de deux études qui en tant qu’études statistiques ne tiennent pas debout, mais qui ont été très efficacement promues par un scientifique qui fait un personnage haut en couleurs – quoique un vendeur pas très scrupuleux, pour dire le moins – puis reprise par un président américain qui semble prêt à se raccrocher à n’importe quel espoir pour calmer l’angoisse qu’il cache si mal.

Une chose est certaine, quand un traitement efficace contre Covid-19 sera mis au point, ce ne sera pas sur la base d’études maquillées pour leur faire dire ce qu’on veut, mais d’études statistiquement solides.