Ipsauce
Régionales : les multiples biais d’un sondage
Dernier en date d'une longue liste, un sondage Ipsos sur les régionales en PACA est contesté par le Parti de gauche. Comme souvent, instituts et médias commanditaires ont négligé l'importance des marges d'erreur.
Régionales : les multiples biais d’un sondage
À chaque campagne, sa litanie de sondages et leurs polémiques. Avec les études d’opinion, deux attitudes extrêmes s’affrontent. L’attrait des chiffres faciles et rapidement diffusables s’oppose à la finesse mathématique des échantillons et des marges d’erreur. C’est une des raisons pour lesquelles Marsactu ne relate que très rarement la course sondagière à base d’accélérations, de dépassements et de dérapages.
Mais ces derniers jours, un sondage a particulièrement créé la polémique. Il s’agit de l’étude Ipsos/Sopra Steria pour France Télévision et Radio France publiée dimanche. Une société d’études niçoise, Artenice, remet en cause les chiffres énoncés dans une longue tribune sur le site Nice Premium. Le parti de gauche dénonce “un bidonnage” et saisit la commission des sondages, organe de régulation des études d’opinion.
Saisine de la commission des sondages sur le #sondage Ipsos pour #Régionales2015 #PACA
➡ https://t.co/y9tslI7bHV pic.twitter.com/hQTV8IaCmu— Parti de Gauche 13 (@PartideGauche13) November 27, 2015
830 personnes inscrites sur les listes électorales ont été interrogées pour constituer un échantillon présenté comme représentatif des habitants de la région PACA en appliquant la méthode dite des quotas. L’étude s’est déroulée sur trois jours du 19 au 21 novembre, via un questionnaire Internet. Principale conclusion brandie par l’institut : Marion Maréchal-Le Pen arriverait en tête au second tour avec 41 % des voix, 34 % pour Christian Estrosi et 26 % pour Christophe Castaner. Voilà pour l’affiche, c’est plié, fermez le ban, rangez vos tracts et vos cartes d’électeurs.
Des critiques induits en erreur
La réalité est évidemment bien plus complexe mais pas dans le sens retenu par les critiques. Artenice et le PG avec lui se méprennent sur le nombre de votants finalement obtenu. Au prix de calculs complexes qu’il serait trop long de détailler ici, ils annoncent 40 votants. En réalité, rétorque Ipsos, ils sont bien 463 à s’être déclaré “sûrs d’aller voter”. L’institut annonce ensuite un taux de participation de 49 %. Il correspond bien au chiffre de 463 votants, pondéré pour prendre à la fois en compte les sur-déclarations (les gens disent plus aller voter qu’en réalité) et l’imperfection de l’échantillon (trop de cadres et pas assez d’ouvriers par rapport à la réalité).
Faut-il alors pour autant valider les chiffres d’Ipsos ? Non, car les traditionnelles “pincettes” prennent des proportions inquiétantes. En ne retenant que 463 personnes comme base, les marges d’erreur flambent. Or, cette fourchette est indispensable pour lire un résultat. Exemple, fourni par l’étude d’Ipsos : “Pour un échantillon de 800 personnes, si le score mesuré est de 25%, il y a 95% de chances que la valeur réelle se situe entre 22% et 28% (plus ou moins 3 points).” Toujours selon Ipsos, avec un échantillon de 463 – généreusement arrondi à 500 personnes – il faut lire “entre 21,1% et 28,9%”.
Avec un même sondage, Estrosi et Le Pen peuvent gagner
Au second tour, les pincettes grandissent encore car, 11% des personnes ne se prononcent pas, ce qui donne 413 intentions de vote exprimées. Selon Federico Vacas, le directeur adjoint du département politique et opinion de l’institut, on atteint alors “pour des valeurs autour de 30 %, une marge d’erreur de 3,5 à 4 points”. Le tableau fourni par Ipsos dirait même un peu plus.
Capture d’écran – étude Ipsos
En retenant l’hypothèse de quatre points, on peut dire qu’avec sept points d’écart présentés entre Marion Maréchal-Le Pen et Christian Estrosi, le résultat peut très bien donner une victoire du candidat LR. “La quasi totalité des hypothèses donne Marion Maréchal-Le Pen devant”, nuance à raison Federico Vacas mais l’on ne peut conclure strictement au fait qu’elle est virtuellement en tête. Troublant, non ? Regardez cette infographie maison.
Autre limite de taille, un seul scénario de second tour est proposé aux sondés : une triangulaire. Or, un “désistement républicain” de Christophe Castaner, s’il arrivait troisième, n’a rien de la politique fiction. Même avec un report de voix partiel, la liste de Christian Estrosi s’en trouverait considérablement renforcée.
Paris en ligne
Au-delà des intentions de vote, une autre question posée par l’institut interroge. Il s’agit du “pronostic de victoire”. Grosso modo, ce questionnaire par Internet demande aux sondés de se muer en analystes politiques. Selon Ipsos, 45 % d’entre eux voient Estrosi gagner et 43 % Maréchal-Le Pen, soit des chiffres pouvant être considérés comme égaux au vu de la marge d’erreur.
Cette deuxième vague de chiffres peut encore plus troubler le lecteur. Ainsi, pour France 3, commanditaire du sondage, “les choses sont beaucoup moins simples” avec cette deuxième question. “Intentions” et “pronostic” sont alors mis sur un pied d’égalité alors qu’ils ne reposent pas du tout sur le même fondement. “Cela veut dire que la majorité des gens seraient surpris de voir Maréchal-Le Pen l’emporter, tente d’expliquer Federico Vacas. Mais ce n’est pas l’information principale de l’enquête, j’en conviens.” C’est tout le problème avec les sondages : les choses sont souvent beaucoup moins simples qu’il n’y paraît.
Jean-Marie Leforestier et Julien Vinzent
Bonus : Libération a eu l’excellente idée de publier un outil en ligne permettant de tester la fiabilité des sondages. Idéal pour ne pas se faire intoxiquer.
Commentaires
L’abonnement au journal vous permet de rejoindre la communauté Marsactu : créez votre blog, commentez, échanger avec les autres lecteurs. Découvrez nos offres ou connectez-vous si vous êtes déjà abonné.
Vous avez un compte ?
Mot de passe oublié ?Ajouter un compte Facebook ?
Nouveau sur Marsactu ?
S'inscrire
Merci, Marsactu, de revenir une nouvelle fois sur ces histoires de marge d’erreur, soigneusement passées sous silence en général : c’est tellement plus facile de faire des gros titres sans s’encombrer de ce genre de “détails” !
Peut-être que si le niveau moyen des Français en statistiques (comme en économie, d’ailleurs) était un peu plus élevé, on pourrait moins facilement leur faire prendre des vessies pour des lanternes. C’est l’une des “réussites” de notre système scolaire, que je constate régulièrement dans mes activités professionnelles : donner à une grande partie de la population la peur des chiffres plutôt que la capacité de s’en servir. Et ça ne s’arrange pas pour la génération à venir, si j’en crois cet intéressant article de Libé : http://www.liberation.fr/france/2015/11/26/le-compte-n-est-pas-bon_1416450
Se connecter pour écrire un commentaire.
J’ai des doutes. Je ne suis pas statisticien, mais en vous servant de cette fameuse marge d’erreur pour tordre dans un sens un des résultats, puis en sens contraire le résultat que vous voulez lui opposer, vous n’êtes pas conduits à donner à votre article une base aussi contestable que celle de ceux qui ont produit du commentaire sur le premier résultat ?
Il reste, comme vous le sous-entendez, que ces sondages que les médias nous font consommer, servent surtout à la presse pour hameçonner des lecteurs.
Se connecter pour écrire un commentaire.
Nous ne tirons pas de ce sondage un quelconque résultat. Celui de l’infographie est un exemple… au même titre que la représentation proposée par l’institut de sondage !
Le score de MMLP peut ainsi prendre toute valeur possible entre 37 % et 45 %, celui d’Estrosi de 30 à 38, etc.
Le fait est qu’avec une marge d’erreur de quatre points, les 7 points d’écart annoncé ne permettent pas d’annoncer que les intentions de vote à l’instant de t de l’enquête plaçaient Marion Maréchal-Le Pen en tête.
Ceci est valable même si comme le dit le représentant d’Ipsos avec qui je me suis entretenu, il y a davantage d’hypothèses au sein de cette marge d’erreur qui donnent MMLP devant. Il fait là un simple calcul de probabilité sur le nombre de valeurs pour lesquelles Marion Maréchal-Le Pen est sûre d’être en tête sur la base des chiffres de base produits par son institut. A savoir, grosso modo pour tout résultat au dessus de 38 %.
Voilà, je ne sais pas vraiment si c’est plus clair comme ça. Au plaisir de poursuivre la discussion.
Se connecter pour écrire un commentaire.
Même si avoir un peu d’esprit critique dans la lecture des chiffres ne peut pas faire de mal, la réalité reste que le danger de voir une gamine inexpérimentée, ultra-réactionnaire et anti-républicaine s’installer à la tête de la région reste bien réel.
L’électorat lepéniste fonctionne comme les membres des sectes : peu importe ce que le gourou fait ou raconte, il a toujours raison. Ainsi, on a vu des vautours du FN récupérer avec une indécence rare les cadavres encore chauds lors des attentats de Paris, on entend Marion Maréchal-Nous-Voilà remettre en cause les droits des femmes, dire que “la religion doit être au dessus des lois de la République” (ce que disent aussi les extrémistes musulmans : entre extrémistes, on a donc des valeurs communes…), etc. Mais peu importe : ses électeurs potentiels sont apparemment imperméable à toute rationalité.
Pour les électeurs de gauche, c’est un déchirement. Que faire ?
Se connecter pour écrire un commentaire.
J’avais oublié de féliciter Marsactu pour ce surtitre si bien trouvé : “Ipsauce”. Très drôle et très vrai !
Se connecter pour écrire un commentaire.
Quand on lui présentait des statistiques, Winston Churchill avait coutume de répondre au dit présentateur: “Je ne crois aux statistiques que si c’est moi-même qui les ais trafiquées.” Alors, pour ce qui est du prédictif…. Les stats, plus les probas, plus les échantillons à 1 pour plus de 10 000 (déterminés par des raisons plus financières que strictement mathématiques). Quant aux marges d’erreurs à 4%, on reste là encore dans du prédictif… J’en ai connu plusieurs à plus de 10% (en terme de résultats) sur des seconds tours, et à l’échelle de villes de 100 000 habitants ! Mais les médias ne sont pas très regardants sur la chose et ont,en la matière plus qu’ailleurs, la mémoire fort sélective; alors allons y. Les sondages sont devenus aujourd’hui le principal outil de manipulation de l’opinion, bien avant les programmes même, car il y a bien peu de gens qui croient encore aux promesses électorales, par rapport à ceux qui adhèrent encore à cette tambouille “arithmétique”.
Se connecter pour écrire un commentaire.
Bonjour Leravidemilo. « Les sondages sont devenus aujourd’hui le principal outil de manipulation de l’opinion », nous dis-tu. Certains les utilisent peut-être à cette fin, mais je ne pense pas que l’opinion se laisse encore manipuler par ces conneries. Tu as bien fait de rappeler combien ces sondages, concernant les 2è tours notamment, ont pu tomber à côté de la réalité du vote des électeurs. Je pense plutôt que ça fait vendre la presse et que ça peut hameçonner des lecteurs supplémentaires parmi ceux que les supports d’information se disputent. Les lecteurs recherchent plutôt les sondages qui vont dans leur sens, je pense qu’ils sont moins curieux lorsque le sondage ressemble à un démenti. Ils se disent alors que le sondage se trompe, que les marges d’erreur lui donneraient aussi bien un résultat inverse…
Je pense qu’il serait plus intéressant d’expliquer pourquoi le FN monte, en creusant un peu, pas en prenant prétexte de la réaction sécuritaire. Il y a une partie de la population dont on ne parle pas et qui elle-même se tait. Si ce n’est, peut-être, de voter FN lorsqu’elle a le droit de vote, tant ses frustrations sont inexprimables. Cette partie de la population reste une terra incognita.
Se connecter pour écrire un commentaire.
Il faudrait s’appuyer sur une tendance, et donc toujours publier une suite de résultats du même institut de sondage: Il y a peu de chance que des erreurs aillent toujours dans le même sens. Il faudrait également une information systématique sur la marge d’erreur de chaque sondage (je crois qu’il y a bien une obligation d’information sur l’échantillon et la date du sondage ?).
Pourquoi nos politiciens professionnels ne l’imposent pas par une loi ou un décret ?
Chacun espèrerait il pouvoir bénéficier un jour des marges et bidonnages?
Reste la question de l’opacité des “corrections” des résultats introduites de façon très opaque par les instituts de sondage…
Se connecter pour écrire un commentaire.
Il y a en effet une loi à ce sujet, la loi du 19 juillet 1977, qui rend obligatoire d’accompagner la publication d’un sondage des indications suivantes : nom de l’organisme ayant réalisé le sondage ; nom et qualité de l’acheteur du sondage ; nombre de personnes interrogées ; la ou les dates auxquelles il a été procédé aux interrogations…
Toutes obligations que certains considèrent comme facultatives. La Provence n’y fait pas exception. On cherche en vain ces indications en marge du dernier sondage publié sur son site internet : http://www.laprovence.com/article/papier/3691867/estrosi-et-le-pen-a-egalite-en-duel.html
Le non respect de ces obligations est punissable d’amende… Mais je n’ai pas l’impression que cette peine – probablement inappliquée – soit dissuasive…
Se connecter pour écrire un commentaire.
Le fameux sondage contesté nous donnait : MM Le Pen 41 %, Estrosi 34 %, Castaner 25 %, pour un total de 100 %.
Le résultat réel au premier tour a été de : MM Le Pen 41 %, Estrosi 26 %, Castaner 17 %, pour un total de 84 %. La liste coopérative Camard-Coppola a atteint 6,54 %.
Seul le score annoncé pour MM Le Pen était exact (dans un calcul sur 100 % pour les trois élus), tandis que celui annoncé pour Estrosi et Castaner était supérieur de 8 points au résultat du vote. En gros, c’était complètement faux. Et qu’aurions-nous entendu dans les commentaires si Estrosi et Castaner avaient été placés si loin de MM Le Pen ? On aurait crié à la manipulation !
Leravidemilo va sans doute nous calculer quelle part de l’électorat chacun de ces partis représente : http://regionales-2015.laprovence.com/sora_elections_web/pAccueilReg?ele=44&edi=99&the=lp-regionales&mzo=r93&bdf=false#
Pour ceux qui aiment les sondages en voici deux :
Un chiffre national de report des voix au second tour en cas de duel droite-FN : 59 % pour la liste de droite, 41 % pour la liste du FN : http://www.leparisien.fr/elections-regionales/resultats-regionales-un-second-tour-tres-incertain-07-12-2015-5347853.php
L’habituel petit vote (bidonnable) de la Provence sur la température locale donne 72 % pour MM Le Pen gagnante au second tour et 28 % pour Estrosi.
Se connecter pour écrire un commentaire.