La
fiabilidad, o la falta de ella, de las encuestas electorales es un tema
recurrente cada vez que se acerca un periodo electoral. A las encuestadoras se
les achaca, en el mejor de los casos, un escaso acierto en sus predicciones o,
en el peor, un sesgo en favor del partido político “preferido” del medio que
les paga el sondeo electoral. ¿Está justificada esta falta de confianza en las
encuestadoras? Según mi análisis, en unas más que en otras.
La
llegada de Tezanos a la Presidencia del Centro de Investigaciones Sociológicas
(CIS) hizo crecer la controversia sobre la fiabilidad y la neutralidad de las
estimaciones de voto del CIS y, por extensión, del resto de encuestadoras.
Sostiene Tezanos que la mejor estimación de voto la representa la intención directa
de voto (IDV) y que todas las “cocinas” son interesadas y escasamente
científicas. El daño que este personaje ha causado a la credibilidad del método
científico en la estimación electoral es incalculable. Tras años explicando por
qué la dichosa “cocina” es imprescindible para realizar una estimación lo más
realista posible corrigiendo posibles errores en la muestra, aparece este señor
y dice lo contrario, y todo porque al partido para el que trabaja le interesa
que así sea. No entraré en este artículo a rebatir sus opiniones. En esta otra entrada (la técnica de agregacion de sondeos) explico los problemas de estimación de los sondeos electorales, la
necesidad de una cocina profesional y por qué creo que la mejor técnica para
reducir los errores muestrales y acercarnos a una muestra representativa de la
población es la técnica de agregación de sondeos. Es decir, calcular la media
de las estimaciones de los sondeos, dado que así los errores muestrales de
algunos de ellos se corregirán con los errores en sentido contrario de otros. Ese
es el procedimiento que utilizo para mis estimaciones de voto, con algunas
modificaciones que ya he explicado (tal y como explico en la entrada reseñada,
utilizo la trimedia en lugar de la media por considerarla más robusta), y otras
que iré detallando en entradas posteriores.
Sin embargo, sí que he venido observando que algunas encuestadoras sistemáticamente están más acertadas que otras en sus estimaciones electorales. Por sistemáticamente entiendo que su error en las estimaciones respecto al resultado final es repetidamente inferior al error medio de todas las encuestadoras. Del mismo modo, otras empresas del sector parecen realizar sistemáticamente predicciones más erróneas que la media. Por último, algunas están más cerca del resultado final que la media en algunos procesos electorales, y más lejos en otros. Precisamente, este último caso debería ser el más habitual si los errores en las estimaciones fuesen aleatorios y no se debieran a una “cocina” defectuosa o, peor aún, a unas estimaciones de voto intencionadamente sesgadas en favor o en contra de algún partido político determinado. Sin embargo, de mi análisis de las estimaciones de 25 diferentes empresas demoscópicas en los 10 procesos electorales celebrados en España desde 2015, lo que he encontrado es lo siguientes:
Sin embargo, sí que he venido observando que algunas encuestadoras sistemáticamente están más acertadas que otras en sus estimaciones electorales. Por sistemáticamente entiendo que su error en las estimaciones respecto al resultado final es repetidamente inferior al error medio de todas las encuestadoras. Del mismo modo, otras empresas del sector parecen realizar sistemáticamente predicciones más erróneas que la media. Por último, algunas están más cerca del resultado final que la media en algunos procesos electorales, y más lejos en otros. Precisamente, este último caso debería ser el más habitual si los errores en las estimaciones fuesen aleatorios y no se debieran a una “cocina” defectuosa o, peor aún, a unas estimaciones de voto intencionadamente sesgadas en favor o en contra de algún partido político determinado. Sin embargo, de mi análisis de las estimaciones de 25 diferentes empresas demoscópicas en los 10 procesos electorales celebrados en España desde 2015, lo que he encontrado es lo siguientes:
·
8
de las 25 empresas demoscópicas se desvían del resultado final sistemáticamente
menos que la media de las encuestas realizadas para ese mismo proceso
electoral. Por sistemáticamente entiendo que su error medio es inferior a la
media en todos los procesos electorales (o en todos menos uno, si han realizado
encuestas para cinco o más procesos electorales). Se trata de un resultado
sorprendente, dado que cabría esperar una menor tasa de acierto si los errores
en las estimaciones fuesen aleatorios. Si la probabilidad de lograr un error
inferior a la media fuera de un 50% y la empresa realizase sondeos para
únicamente tres procesos electorales, cabría esperar que apenas el 12,5% de
ellas estuviese acertada en todos ellos. Sin embargo, nada menos que el 32% muestra
un elevado nivel de acierto. Pese a todo ello, hay que tener en cuenta que 4 de
las 8 empresas dentro de este grupo apenas ha realizado estimaciones para uno o
dos procesos electorales, por lo que su inclusión dentro del selecto grupo de
“las más acertadas” puede deberse simplemente a la suerte, ya que la muestra es
muy reducida. Su fiabilidad debe ser contrastada en un mayor número de casos.
· 11
de las 25 empresas demoscópicas se desvían del resultado final sistemáticamente
más que la media de las encuestas realizadas para ese mismo proceso electoral.
En este caso, por sistemáticamente entiendo que su error medio es superior a la
media en todos los procesos electorales (o en todos menos uno, si han realizado
encuestas para cinco o más procesos electorales). Este número resulta aún más
sorprendente y significativo, ya que, con los mismos supuestos del caso
anterior, cabría esperar un número inferior dentro de este grupo, pero, sin
embargo, encontramos nada menos que 6 empresas demoscópicas que participan en
tres o más procesos electorales y cuyo error es siempre mayor que el de la
media. Las otras cinco apenas han participado en uno o dos procesos
electorales, de modo que su inclusión en este grupo podría deberse simplemente
a “mala suerte”. Pese a todo, comienzan con mal pie y cabe poner sus
estimaciones en barbecho.
· Finalmente,
apenas 6 de las 25 empresas demoscópicas distribuyen su grado de acierto y
error de una manera “normal” (a veces “aciertan” y a veces se “equivocan”). En
mi opinión es el resultado más significativo. Debería ser el grupo más numeroso
de los tres y, sin embargo, es el más reducido.
Mi
conclusión es que la distribución del grado de acierto o error de las
encuestadoras no es aleatorio. Si el error sistemático de algunas empresas
demoscópicas se debe a una cocina defectuosa o a un sesgo intencionado escapa a
mi conocimiento, pero que un número tan elevado de ellas yerren el tiro tan
frecuentemente me hace preguntarme si su inclusión dentro del promedio de
encuestas no empeora la estimación final del mismo. En teoría, mi utilización
de la trimedia en lugar del promedio debería “proteger” mis estimaciones de una
manera más eficaz que el simple promedio, al excluir los resultados más desviados
de la media. Pero ¿resulta suficiente con esa medida?
Con el fin de responder a estas preguntas, analicé las estimaciones de resultados con el promedio y la trimedia para cada uno de los procesos electorales, incluyendo o no a las empresas demoscópicas sistemáticamente erradas en sus estimaciones. El resultado de mis análisis confirmó mi dos hipótesis:
Con el fin de responder a estas preguntas, analicé las estimaciones de resultados con el promedio y la trimedia para cada uno de los procesos electorales, incluyendo o no a las empresas demoscópicas sistemáticamente erradas en sus estimaciones. El resultado de mis análisis confirmó mi dos hipótesis:
· La
exclusión de las estimaciones de las once empresas demoscópicas menos acertadas
mejoró la estimación del promedio y la trimedia de encuestas en todos y cada
uno de los procesos electorales. Se trata de un resultado rotundo y
concluyente. Incluir las estimaciones electorales de estas empresas empeora la
capacidad predictiva de la agregación de sondeos.
· La
mejoría producida por esta exclusión en el promedio es proporcionalmente
superior a la que genera en la trimedia. Como cabía esperar, la utilización de
un estimador más robusto como la trimedia eliminaba parte del sesgo introducido
por estas encuestadoras en las estimaciones pero, respondiendo a mi pregunta,
no lo eliminaba del todo, ya que la estimación mejoraba igualmente al utilizar
la trimedia si se eliminaban las empresas demoscópicas menos acertadas.
Cabría
llevar esta práctica un paso más allá, y eliminar también de la agregación de
encuestas a las empresas con un grado de acierto “normal” (esto es, quedarnos
únicamente con las estimaciones de las empresas más acertadas). Sin embargo,
una vez contrastada la hipótesis los resultados no fueron tan concluyentes como
en el caso anterior. En algunos procesos, las estimaciones del promedio y la
trimedia mejoraban y en otros no. Adicionalmente, eliminando a las empresas con
un grado de acierto “normal” en algunas elecciones teníamos un reducido número
de encuestas que agregar, lo que reducía la capacidad de acierto de la técnica
de agregación.
Tras
estos análisis, en mis estimaciones excluiré los pronósticos de las empresas
demoscópicas menos acertadas. Adicionalmente, he comenzado a elaborar un
ranking de fiabilidad de las empresas encuestadoras con el fin de introducir un
elemento de ponderación de las estimaciones de cada una de acuerdo con su grado
de acierto pasado. Para calcular su peso he introducido no solo el criterio del
error medio de sus estimaciones respecto al resultado real, sino el grado de
desviación medio, así como el número de procesos electorales en los que han
participado con un error inferior a la media. Aún estoy “afinándolo”, pero por
ahora mi ranking y el grado de fiabilidad se muestra en la tabla adjunta.
Así
pues, he encontrado cuatro encuestadoras de alta fiabilidad (GAD3, SW
Demoscopia, SigmaDos y Electopanel), seis de fiabilidad media, cuatro de
fiabilidad baja y once no fiables. Las no fiables quedan excluidas de mi agregación de sondeos. Al resto, al menos de momento, le otorgo el mismo peso en mi predicción final. Una vez afine el cálculo de su fiabilidad, lo utilizaría para ponderar sus estimaciones de acuerdo con ella, de modo que tuviera más importancia la encuesta de una encuestadora de alta fiabilidad que otra de media o baja. Tiempo al tiempo.
Próximamente
realizaré mi primera estimación de resultados electorales de acuerdo con la
nueva metodología.