Blog de Paul Jorion

Nous sommes un dimanche d’automne. Depuis des mois, l’actualité est déchirée par une peur commune : un tremblement de terre pourrait se produire mardi prochain. Les sismologues s’inquiètent. Un des plus expérimentés d’entre eux estime qu’il y aurait plus d’une chance sur trois que le tremblement de terre se produise. L’écrasante majorité des commentateurs et de la population n’y croit pas. Tous ces gens nous ennuient avec leurs calculs soi-disant scientifiques, tout le monde sait bien qu’il n’y aura pas de tremblement de terre.

Puis le tremblement de terre se produit. Aussi bien les commentateurs que leur audience en tirent la même conclusion : les sismologues ont été infoutus de prédire ce tremblement de terre, (un tiers c’est moins qu’un demi), ils n’y connaissent décidément rien, et il est désormais inutile de leur demander leur avis sur quoi que ce soit.

À peu de choses près, ceci est l’histoire de la dernière élection présidentielle américaine. Durant les semaines précédant le scrutin, la moyenne des sondages a presque toujours donné Hillary Clinton en tête au niveau national, mais avec une marge trop faible pour lui assurer la présidence. La victoire de Trump a choqué tout le monde, sauf ceux qui suivaient attentivement les sondages et les analyses qu’en faisaient les experts du domaine, en particulier FiveThirtyEight et The Upshot. Il est assez étrange, pour qui a suivi ces analyses, et était donc à la veille de l’élection bien conscient que Trump pouvait tout à fait gagner, que les sondages, qui donnaient une image beaucoup plus juste de l’état de l’opinion publique que les médias, en sont sortis totalement décrédibilisés.

On peut néanmoins se demander pourquoi les sondages ne sont pas tout simplement « justes ». Après tout, en interrogeant un grand nombre de personnes, on devrait obtenir une estimation très précise des préférences de la population entière. Aussi étonnant que cela puisse paraître, ce n’est pas du tout le cas.

Premièrement, les gens mentent. Ils mentent au sondeur, un peu, mais surtout ils se mentent à eux-mêmes : une proportion non-négligeable de ceux qui se disent sûrs d’aller voter ne le font finalement pas. Beaucoup de ceux qui se disent et se croient certains de leur choix changent d’avis avant l’élection. Si un sondeur ne tient pas compte de cela, ses estimations seront systématiquement fausses. S’il travaille pour un institut de sondage qui se livre à cet exercice depuis de nombreuses années, il peut comparer les sondages menés lors d’élections précédentes avec les résultats réels de ces élections, et en déduire des suppositions raisonnables sur les proportions de sondés qui sont plus ou moins certains ou plus ou moins motivés qu’ils ne le disent, et ajuster ses estimations sur cette base. Cet ajustement est évidemment loin d’être parfait, mais empiriquement cela donne de bien meilleurs résultats que de ne pas ajuster du tout.

Ensuite, aucun échantillon, même de milliers ou de dizaines de milliers d’individus, n’est représentatif de la population dans son ensemble. Même en choisissant les individus entièrement au hasard, ce qui est en soi beaucoup plus difficile qu’il n’y parait, vous obtiendrez toujours un échantillon où il y a plus de gens « de gauche » que dans la population, ou plus de gens « de droite », ou plus de riches, ou plus de pauvres, ou plus de gens qui vivent en ville, ou plus de gens qui vivent en Bretagne, ou plus d’universitaires, ou plus d’ouvriers, ou plus d’entrepreneurs, et tout un tas d’autres « erreurs d’échantillonage » qui font que les intentions de vote que vous mesurez dans votre sondage sont nécessairement différentes de celles de l’électorat national.

C’est là qu’intervient la « méthode des quota », toujours mentionnée lors de la publication des sondages, sans qu’on prenne jamais le temps d’expliquer en quoi celle-ci consiste. L’idée de base est de segmenter la population, et les sondés, en groupes distincts, selon un critère connu pour être corrélé aux intentions de vote, par exemple, l’âge. Supposons que vous avez, par hasard, dans votre échantillon, beaucoup plus d’électeurs âgés de moins de 25 ans qu’il y en a dans l’électorat – proportion connue assez précisément via les recensements réguliers et les estimations démographiques entre ceux-ci. Au lieu de supposer que n% de l’électorat va voter X parce que n% des sondés disent vouloir voter X, ce qui est certainement faux, vous supposez que p% de l’électorat de moins de 25 ans va voter X parce que p% des sondés de moins de 25 ans disent vouloir voter X. Ce qui, toutes autre choses restant égales, est fort probablement moins faux. En répétant l’exercice pour toutes les tranches d’âge, vous obtenez une estimation des intentions de vote pour chaque tranche d’âge, et donc via la taille de chaque tranche d’âge dans l’électorat, une estimation du vote X dans l’électorat fort probablement plus proche de la réalité que le n% de départ.

Ceci ressemble fort à un mic-mac mathématique qui permet aux sondeurs d’obtenir pratiquement n’importe quel résultat en choisissant une façon particulière de segmenter leur échantillon. (J’ai pris l’âge pour l’exemple, mais on pourrait faire le même exercice par revenu, niveau d’étude, région, taille de la commune de résidence, ou que sais-je encore, et cela se fait.) C’est exactement ça : The Upshot, mentionné plus haut, a demandé en septembre à cinq sondeurs expérimentés d’analyser le même échantillon et d’en déduire les intentions de vote en faveur de Clinton et Trump. Leurs estimations variaient entre 4% en faveur de Clinton et 1% en faveur de Trump. Rappelons que l’élection s’est finalement jouée à 0,77% près, la marge de Trump dans le Wisconsin. Néanmoins, on constate empiriquement (il « suffit » de comparer les données de sondages historiques avec les résultats d’élections passées) qu’on obtient de meilleures estimations en utilisant cette méthode.

On pourrait continuer longtemps comme ça, mais ceci suffit, je pense, à montrer que faire un bon sondage est en fait très difficile, et qu’il n’y a aucune raison de s’attendre à ce que les tous derniers sondages, ou même la moyenne des tous derniers sondages, donne une estimation précise à moins de 2 ou 3% dans le meilleur des cas. Pour la présidentielle française, les sondeurs font face à une situation inédite, avec quatre candidats dans un mouchoir de poche, ce qui est tout le contraire du meilleur des cas.

Les sondages qui sortent dans les deux ou trois derniers jours précédant une élection sont particulièrement suspects. On constate que les écarts d’estimation entre les différents sondeurs diminuent presque toujours à l’approche immédiate de l’élection, ce qui n’a aucune justification statistique. L’explication la plus probable est que les sondeurs, dans les choix qu’ils doivent nécessairement faire pour analyser leurs résultats au mieux, font à l’approche de l’élection de plus en plus confiance au consensus du moment. La raison est purement psychologique : aucun n’a envie de publier un sondage s’écartant fortement de l’avis des « experts » politiques, au risque d’avoir l’air ridicule si les « experts » ont raison. Par contre, si tous les sondeurs se trompent de la même façon, aucun ne ressort comme particulièrement ridicule. On a constaté ce phénomène de « herding », ou « suivisme », lors de la présidentielle américaine, quand les derniers sondages s’accordaient comme par magie sur une remontée d’Hillary Clinton, conformément à l’opinion générale des « experts », mais a posteriori le contraire de ce qui était en train de se passer. 

Plus généralement, les sondeurs n’ont aucun moyen de tenir compte des électeurs qui changent d’avis dans les derniers jours précédant une élection. Interroger les gens et analyser leurs réponses prend au minimum deux ou trois jours, donc par définition les sondeurs n’ont aucun moyen de mesurer ce qui change durant ce temps-là.

Les sondages restent néanmoins utiles. On peut affirmer sans prendre de risque que les quatre candidats les plus haut placés ont tous leur chance d’atteindre le second tour, contrairement aux sept autres. On peut aussi dire qu’il n’est pas du tout sûr que les deux premiers seront au second tour. Il y a bien plus d’une chance sur deux pour que le second tour soit inattendu, et donc plus d’une chance sur deux, d’après les sondages eux-mêmes, pour que tout le monde s’exclame dimanche soir ou lundi matin « vous voyez, les sondages étaient faux. »

Et pourtant, ils ne sont probablement pas « faux ». Mais ce ne sont que des sondages.