Régionales : les multiples biais d’un sondage

Régionales : les multiples biais d’un sondage

À chaque campagne, sa litanie de sondages et leurs polémiques. Avec les études d’opinion, deux attitudes extrêmes s’affrontent. L’attrait des chiffres faciles et rapidement diffusables s’oppose à la finesse mathématique des échantillons et des marges d’erreur. C’est une des raisons pour lesquelles Marsactu ne relate que très rarement la course sondagière à base d’accélérations, de dépassements et de dérapages.

Mais ces derniers jours, un sondage a particulièrement créé la polémique. Il s’agit de l’étude Ipsos/Sopra Steria pour France Télévision et Radio France publiée dimanche. Une société d’études niçoise, Artenice, remet en cause les chiffres énoncés dans une longue tribune sur le site Nice Premium. Le parti de gauche dénonce “un bidonnage” et saisit la commission des sondages, organe de régulation des études d’opinion.

Saisine de la commission des sondages sur le #sondage Ipsos pour #Régionales2015 #PACA
➡ https://t.co/y9tslI7bHV pic.twitter.com/hQTV8IaCmu

— Parti de Gauche 13 (@PartideGauche13) November 27, 2015

830 personnes inscrites sur les listes électorales ont été interrogées pour constituer un échantillon présenté comme représentatif des habitants de la région PACA en appliquant la méthode dite des quotas. L’étude s’est déroulée sur trois jours du 19 au 21 novembre, via un questionnaire Internet. Principale conclusion brandie par l’institut : Marion Maréchal-Le Pen arriverait en tête au second tour avec 41 % des voix, 34 % pour Christian Estrosi et 26 % pour Christophe Castaner. Voilà pour l’affiche, c’est plié, fermez le ban, rangez vos tracts et vos cartes d’électeurs.

Des critiques induits en erreur

La réalité est évidemment bien plus complexe mais pas dans le sens retenu par les critiques. Artenice et le PG avec lui se méprennent sur le nombre de votants finalement obtenu. Au prix de calculs complexes qu’il serait trop long de détailler ici, ils annoncent 40 votants. En réalité, rétorque Ipsos, ils sont bien 463 à s’être déclaré “sûrs d’aller voter”. L’institut annonce ensuite un taux de participation de 49 %. Il correspond bien au chiffre de 463 votants, pondéré pour prendre à la fois en compte les sur-déclarations (les gens disent plus aller voter qu’en réalité) et l’imperfection de l’échantillon (trop de cadres et pas assez d’ouvriers par rapport à la réalité).

Faut-il alors pour autant valider les chiffres d’Ipsos ? Non, car les traditionnelles “pincettes” prennent des proportions inquiétantes. En ne retenant que 463 personnes comme base, les marges d’erreur flambent. Or, cette fourchette est indispensable pour lire un résultat. Exemple, fourni par l’étude d’Ipsos : “Pour un échantillon de 800 personnes, si le score mesuré est de 25%, il y a 95% de chances que la valeur réelle se situe entre 22% et 28% (plus ou moins 3 points).” Toujours selon Ipsos, avec un échantillon de 463 – généreusement arrondi à 500 personnes – il faut lire “entre 21,1% et 28,9%”.

Avec un même sondage, Estrosi et Le Pen peuvent gagner

Au second tour, les pincettes grandissent encore car, 11% des personnes ne se prononcent pas, ce qui donne 413 intentions de vote exprimées. Selon Federico Vacas, le directeur adjoint du département politique et opinion de l’institut, on atteint alors “pour des valeurs autour de 30 %, une marge d’erreur de 3,5 à 4 points”. Le tableau fourni par Ipsos dirait même un peu plus.

Capture d’écran – étude Ipsos

En retenant l’hypothèse de quatre points, on peut dire qu’avec sept points d’écart présentés entre Marion Maréchal-Le Pen et Christian Estrosi, le résultat peut très bien donner une victoire du candidat LR. “La quasi totalité des hypothèses donne Marion Maréchal-Le Pen devant”, nuance à raison Federico Vacas mais l’on ne peut conclure strictement au fait qu’elle est virtuellement en tête. Troublant, non ? Regardez cette infographie maison.

Autre limite de taille, un seul scénario de second tour est proposé aux sondés : une triangulaire. Or, un “désistement républicain” de Christophe Castaner, s’il arrivait troisième, n’a rien de la politique fiction. Même avec un report de voix partiel, la liste de Christian Estrosi s’en trouverait considérablement renforcée.

Paris en ligne

Au-delà des intentions de vote, une autre question posée par l’institut interroge. Il s’agit du “pronostic de victoire”. Grosso modo, ce questionnaire par Internet demande aux sondés de se muer en analystes politiques. Selon Ipsos, 45 % d’entre eux voient Estrosi gagner et 43 % Maréchal-Le Pen, soit des chiffres pouvant être considérés comme égaux au vu de la marge d’erreur.

Cette deuxième vague de chiffres peut encore plus troubler le lecteur. Ainsi, pour France 3, commanditaire du sondage, “les choses sont beaucoup moins simples” avec cette deuxième question. “Intentions” et “pronostic” sont alors mis sur un pied d’égalité alors qu’ils ne reposent pas du tout sur le même fondement. “Cela veut dire que la majorité des gens seraient surpris de voir Maréchal-Le Pen l’emporter, tente d’expliquer Federico Vacas. Mais ce n’est pas l’information principale de l’enquête, j’en conviens.” C’est tout le problème avec les sondages : les choses sont souvent beaucoup moins simples qu’il n’y paraît.

Jean-Marie Leforestier et Julien Vinzent

Bonus : Libération a eu l’excellente idée de publier un outil en ligne permettant de tester la fiabilité des sondages. Idéal pour ne pas se faire intoxiquer.