Los errores y desviaciones en las encuestas a las elecciones autonómicas de 2015

  .

Si agrupamos un número muy elevado de encuestas, los errores relativos (con signo) de todas ellas, deberían tener efecto compensatorio de tal manera que sin movimientos de voto durante la campaña, el error resultante de todas ellas sería cero. Pero la hipótesis alternativa sería que de existir efectos de campaña, el promedio de la desviación, debería desplazarse una cierta magnitud, que mediría el efecto real de la campaña. Bajar documento completo en PDF

Para demostrar si en las elecciones de 2015 en su versión autonómica han existido o no efectos de campaña, se han escogido las 61 encuestas publicadas en todas las CA únicamente durante el mes de mayo, es decir, con datos de campo recogidos desde principios del mes de abril, utilizando como primera de ellas la del CIS. Como indicador, se ha utilizado la desviación de diputados estimados respecto de los diputados reales obtenidos en los comicios. Los datos de partida se adjuntan como anexo. Los gráficos están realizados con el software de Tableau.

 

 

Sobre el concepto de error de estimación

Cuando una encuesta “acierta” el resultado final, la empresa responsable suele aparecer como triunfadora, mientras que la que yerra en un partido, y ya no digamos en varios, suele quedar como insolvente al haber utilizado métodos de estimación poco fiables.

Sin embargo, la cuestión del error de encuesta – medido como la desviación respecto del resultado final -, es algo más compleja, pues hay que tener en cuenta no sólo los errores muestrales propios de intentar generalizar a grandes poblaciones datos de una parte de ellas, sino los niveles de confianza debido a errores aleatorios y sobre todo, los errores técnicos, que aunque se intentan minimizar con procedimientos muy sistematizados, nunca se está exento de ellos. Pero quizás lo más importante sea el hecho de que las encuestas hipotetizan resultados “si las elecciones fueran en ese mismo momento” (ante la imposibilidad metafísica de pronosticar – ni siquiera para el entrevistado -, un comportamiento futuro), por lo que el tiempo transcurrido entre el momento de la encuesta y el día de las elecciones (entre 2 y 4 semanas, de intensa campaña electoral), añade un elemento de distorsión pocas veces cuantificado por los analistas.

Si agrupamos un número muy elevado de encuestas, los errores relativos (con signo) de todas ellas, deberían tener efecto compensatorio de tal manera que sin sesgos de campaña, el error resultante de todas ellas sería cero. Pero la hipótesis alternativa sería que de existir efectos de campaña, el promedio de la desviación, debería desplazarse una cierta magnitud, que mediría el efecto real de la campaña.

Para demostrar si en las elecciones de 2015 en su versión autonómica han existido o no efectos de campaña, se han escogido las 61 encuestas publicadas en todas las CA únicamente durante el mes de mayo, es decir, con datos de campo recogidos desde principios del mes de abril, utilizando como primera de ellas la del CIS. Como indicador, se ha utilizado la desviación de diputados estimados respecto de los diputados reales obtenidos en los comicios. Los datos de partida se adjuntan como anexo. Los gráficos están realizados con el software de Tableau.

 

Error por encuesta (desviación)

El indicador de error por encuesta se ha extraído promediando, para cada una de ellas, la desviación en escaños de cada partido, como diferencia entre el valor pronosticado y el real. Ello origina una distribución (hoja5) en la cual la encuesta de menor error (la situada a la izquierda del gráfico) se observa que ha obtenido una desviación media de 0,6 escaños, y la de mayor error 6,6 escaños[1]. Como medidas de tendencia central, se observa que el promedio de desviación de la totalidad de encuestas es de 2,6 escaños, con una mediana de 2,3[2]

La hoja6 representa un agrupamiento de las desviaciones según un intervalo arbitrario de 0,5 escaños. Encuestas por debajo de 1 escaño de desviación media (dme) son 11 (18%), siendo mayoría las que oscilan entre 1 y 2 (26 de ellas, un 42%). Entre 2 y 3 hay 13 (21%), siendo ya el resto – 11, un 18%, encuestas cuya desviación puede considerarse fuera del intervalo de confianza tolerable.

 

Desviación por CCAA

El análisis por CCAA (hoja1, en la página siguiente)da unos resultados que aclaran mucho lo dicho en el apartado anterior.

Así por ejemplo se observa que La Rioja, con sólo dos encuestas, presenta una dme= 0,7, seguida por Cantabria (3 encuestas, y dme=1,3). Murcia, con un dme=1,9 es la CCAA cuyas encuestas presentan mayor dispersión medido en coeficiente de variación, mientras que Extremadura, Valencia y Madrid son las que presentan mayores desviaciones, por encima de dme=2,5. Desde luego caso aparte son Valencia y Madrid, cuyas 6 y 7 encuestas respectivamente presentan no sólo medias muy elevadas dme=3,6 y dme=4,9 respectivamente, sino que la dispersión es también elevada, sobre todo Madrid, con dme,s superiores a 5. Con la distribución global, podría decirse que dme>3 son intolerables si la desviación fuera exclusivamente atribuída a errores sistemáticos o aleatorios. ¿ Pero y si dichas desviaciones estuvieran en alguna medida relacionadas con las 2-4 semanas transcurridas entre el trabajo de campo y el día de las elecciones, en cuyo plazo trascurre además la campaña electoral?.

Desviación por partido

Una manera de acercarnos a dicha reflexión sería analizar la hoja4, donde puede observarse que prácticamente toda la desviación de las encuestas, es responsabilidad de Ciudadanos.

Concretamente, las encuestas le sobrevaloraron en 4 puntos, con muchas de ellas por encima de 5 incluso una (la de Madrid) casi con 8 puntos. Exceptuando encuestas concretas, IU, PP y Podemos fueron muy bien pronosticados, con desviaciones medias siempre menor a 1 punto.

 

La compensación de Ciudadanos vino de la mano del Psoe y sobre todo los partidos regionalistas y nacionalistas, que prácticamente en todas las encuestas fueron infravalorados respecto del resultado final. El PSOE con bastante dispersión pero no así los PANE,s con un dme=2 puntos.

Por último, la hoja2 completa el análisis anterior, observándose que Ciudadanos fue sobreponderado absolutamente en todas las CCAA en detrimento del Psoe y las PANE,s, los primeros con mayor infrarrepresentación en Castilla León, Castilla La Mancha, Extremadura, Madrid y La Rioja (es decir, donde no hay PANe,s), y los segundos en el resto, con mayor incidencia en Baleares, Valencia y Navarra.

 

 

 Discusión

Desde luego que estos datos son discutibles no ya tanto en su conclusión como en la propia metodología: hipótesis planteada, elección de muestra, e indicadores estadísticos de contraste, pero desde nuestro punto de vista creemos demostrado que exceptuando encuestas concretas, hubo durante las últimas semanas de campaña movimientos de voto que hicieron disminuir los apoyos a Ciudadanos, y aumentar los del Psoe y los de partidos Regionalistas y nacionalistas.

No quiere estos decir que los flujos de voto fueran del primero a los segundos (estando la abstención como variable intermedia), pero si que estamos seguros de que el origen de este movimiento tardío del voto estuvo en Ciudadanos, pues votantes que unas semanas antes estaban dispuestos a votarles, cambiaron su decisión debido entre otras cosas a (1) Que justo antes de la campaña, C’s decidiera no presentarse en una mayoría de municipios, perdiendo referencias locales en más del 50% de los territorios y de los censos. (2) Que muchos de los representantes locales eran poco o nada conocidos, y de dudosa similitud con el líder nacional, Rivera, y (3) Que pudo existir la sensación que votar a Ciudadanos era apuntalar o asegurar el gobierno del PP en coalición, tanto en ayuntamientos como en CCAA.

Este efecto conjunto hizo bajar a Ciudadanos del 15% del voto pronosticado en las encuestas al 7% final (datos promedio nacional), yéndose algunos votantes al PSOE, otros a la abstención, y otros a partidos locales. Este último caso, esencialmente en territorios rurales, donde ciudadanos finalmente no presentó candidaturas.

El caso de Baleares es paradigmático en este sentido, pues precisamente fueron Més y el PI los partidos mayormente beneficiados por este movimiento “de ultima hora”. El caso del PI no admite dudas, que pasó de un pronóstico de 0-2 a 3 con todo el voto concentrado precisamente donde Ciudadanos no se presentó. Y el caso de Més, siendo partido prácticamente antagónico a Ciudadanos, hizo una campaña fuertemente municipalista e intensa en las dos últimas semanas, que terminó por convencer al sector nacionalista más indeciso y que presumiblemente iba a abstenerse, en su mayoría jóvenes. Baste como ejemplo que en Menorca, donde Ciudadanos ya recogieron meses antes que Ciudadanos no se presentaba, Més sacó e diputados, exactamente lo mismo que habían pronosticado las encuestas. El PP, Psoe y Podemos, sin duda ninguna sobre las candidaturas, sacaron exactamente el mismo resultado pronosticado por las encuestas – muy concretamente las de IBES -, incluso dos meses antes.

 

Anexo: Datos de partida

(los decimales corresponden a los puntos medios de las horquilla spublicadas)

CIS E1 E2 E3 E4 E5 E6 Promedio Escaños estimados escaños definitivos diferencia absoluta
Aragón PP 23,5 20,5 19 20,5 23,5 21,4 21 0,4
Aragón Psoe 17 15,5 16 15,5 19,5 16,7 18 1,3
Aragón Podemos 9 11 14 11 8,5 10,7 14 3,3
Aragón Ciudadanos 8,5 11,5 10 11,5 7,5 9,8 5 4,8
Aragón IU 3 2,5 4 2,5 2,5 2,9 1 1,9
Aragón PAR 4 3,5 3 3,5 4,5 3,7 6 2,3
Aragón CHA 2 2,5 1 2,5 2,5 2,1 2 0,1
Madrid PP 48,5 48 41 46 46 47,5 46,5 46,2 48 1,8
Madrid Psoe 27,5 32 27 28,5 32 27,5 27 28,8 37 8,2
Madrid Podemos 24 26 30 28 23,5 21,5 25,5 25,5 27 1,5
Madrid Ciudadanos 22,5 23 30 25 24,5 25,5 23,5 24,9 17 7,9
Madrid IU Ahora M 7 0 0 3 3 7,5 6,5 3,9 0 3,9
C.Valenciana PP 34 33 32,5 27 33,5 37 34,5 33,1 31 2,1
C.Valenciana Psoe 22,5 20,5 20,5 20 20,5 23,5 24,5 21,7 23 1,3
C.Valenciana Podemos 19 13 13,5 14 12,5 11,5 12,5 13,7 13 0,7
C.Valenciana Ciudadanos 16 17 19,5 19 18,5 14,5 16 17,2 13 4,2
C.Valenciana IU 0 0 6 0 4,5 2,5 2,2 0 2,2
C.Valenciana Compromis 7,5 13 12,5 13 12,5 8,5 8,5 10,8 19 8,2
Rioja PP 15,5 16,5 16,5 16,5 16,3 15 1,3
Rioja Psoe 8,5 9 9 10,5 9,3 10 0,8
Rioja Podemos 4 3,5 3,5 3,5 3,6 4 0,4
Rioja Ciudadanos 5 3,5 3,5 3,5 3,9 4 0,1
Rioja IU  0 0,5 0,5 0 0,3 0 0,3
Navarra PP 3 3 4,5 3,5 2 1,5
Navarra Psoe 6 6 6,5 6,2 7 0,8
Navarra Podemos 11 7,5 6 8,2 7 1,2
Navarra Ciudadanos 4 3 4,5 3,8 0 3,8
Navarra IU 2 1 2,5 1,8 2 0,2
Navarra UPN 11 14,5 12,5 12,7 15 2,3
Navarra EHBildu 7 7 8,5 7,5 8 0,5
Navarra GeroaBAI 5 8,5 6 6,5 9 2,5
Murcia PP 21,5 19 22 20,5 20,8 22 1,3
Murcia Psoe 11,5 11 12,5 11,5 11,6 13 1,4
Murcia Podemos 6 5 4,5 6,5 5,5 6 0,5
Murcia Ciudadanos 6 10 6 7,5 7,4 4 3,4
Extremadura PP 29,5 26,5 24,5 26,5 25,5 26,5 28 1,5
Extremadura Psoe 21,5 24,5 26,5 24,5 27,5 24,9 30 5,1
Extremadura Podemos 7,5 6 7,5 6 6,5 6,7 6 0,7
Extremadura Ciudadanos 6 7,5 6,5 7,5 5,5 6,6 1 5,6
Extremadura IU 1 0 1  0 0 0,4 0 0,4
Cast. León PP 43,5 41,5 40 43,5 42,1 42 0,1
Cast. León Psoe 20,5 22,5 23 23 22,3 25 2,8
Cast. León Podemos 9 7 10,5 7,5 8,5 10 1,5
Cast. León Ciudadanos 9 11 11,5 10,5 10,5 5 5,5
Cast. León IU 1 1 1 0,5 0,9 1 0,1
Cast. León UPL 1 1 0,5 0,6 1 0,4
C.Mancha PP 14,5 17,5 14 12 16 16,5 16,5 15,3 14 1,3
C.Mancha Psoe 13 9,5 10 14 12 10,5 12,5 11,6 14 2,4
C.Mancha Podemos 2 2,5 4 2 3 2,5 1,5 2,5 3 0,5
C.Mancha Ciudadanos 3,5 4 5 5 2,5 3,5 1,5 3,6 0 3,6
Cantabria PP 13,5 14,5 13 13,7 13 0,7
Cantabria Psoe 6 6 5 5,7 5 0,7
Cantabria Podemos 3 2,5 3 2,8 3 0,2
Cantabria Ciudadanos 4 4 3 3,7 2 1,7
Cantabria PRC 8,5 8,5 9 8,7 12 3,3
Canarias PP 13 12,5 12,5 12,5 12,6 12 0,6
Canarias Psoe 15,5 14,5 12,5 12,5 13,8 15 1,3
Canarias Podemos 10 5,5 8,5 7 7,8 7 0,8
Canarias Ciudadanos 4,5 5 5,5 4,5 4,9 0 4,9
Canarias IU-NC 4,5 4 4,5 4 4,3 5 0,8
Canarias CC 17 17,5 14,5 16,5 16,4 18 1,6
Canarias Ag. Gom. 0 2,5 1,5 1,5 1,4 3 1,6
Asturias PP 13 8,5 10,5 11,5 10,9 14 3,1
Asturias Psoe 11 14,5 16 12,5 13,5 11 2,5
Asturias Podemos 10 5,5 6,5 6,5 7,1 9 1,9
Asturias Ciudadanos 4 6,5 4,5 6,5 5,4 3 2,4
Asturias IU 2 4,5 3 2,5 3,0 5 2,0
Asturias Foro 5 5,5 4,5 5,5 5,1 3 2,1
Baleares PP 19,5 23,5 20,5 22,5 21,5 20 1,5
Baleares Psoe 14,5 13,5 14 14,5 14,1 14 0,1
Baleares Podemos 10 9,5 9,5 8,5 9,4 10 0,6
Baleares Ciudadanos 9 4,5 6,5 8,5 7,1 2 5,1
Baleares IU (Guay.) 0 0,5 1 1,5 0,8 0 0,8
Baleares MES 5 6 5 4,5 5,1 9 3,9
Baleares PI 0 0 1 0 0,3 3 2,8

 

[1] Dado que el valor de los escaños es de suma fija, “equivocarse” en un partido un determinado valor, implica “equivocarse” esa misma proporción distribuída en otro o en varios de los restantes, por lo que en puridad, el error medio por encuesta debería dividirse por dos. No lo hemos hecho porque al final, el error percibido, siempre es aditivo respecto del total de partidos.

[2] Hay que decir que por simplicidad no se han reflejado análisis complementarios, pero que este error es ligeramente proporcional al número de escaños a repartir. Esto se verá mejor en un análisis posterior, por CCAA.