¿Son fiables las empresas encuestadoras?

La fiabilidad, o la falta de ella, de las encuestas electorales es un tema recurrente cada vez que se acerca un periodo electoral. A las encuestadoras se les achaca, en el mejor de los casos, un escaso acierto en sus predicciones o, en el peor, un sesgo en favor del partido político “preferido” del medio que les paga el sondeo electoral. ¿Está justificada esta falta de confianza en las encuestadoras? Según mi análisis, en unas más que en otras.

La llegada de Tezanos a la Presidencia del Centro de Investigaciones Sociológicas (CIS) hizo crecer la controversia sobre la fiabilidad y la neutralidad de las estimaciones de voto del CIS y, por extensión, del resto de encuestadoras. Sostiene Tezanos que la mejor estimación de voto la representa la intención directa de voto (IDV) y que todas las “cocinas” son interesadas y escasamente científicas. El daño que este personaje ha causado a la credibilidad del método científico en la estimación electoral es incalculable. Tras años explicando por qué la dichosa “cocina” es imprescindible para realizar una estimación lo más realista posible corrigiendo posibles errores en la muestra, aparece este señor y dice lo contrario, y todo porque al partido para el que trabaja le interesa que así sea. No entraré en este artículo a rebatir sus opiniones. En esta otra entrada (la técnica de agregacion de sondeos) explico los problemas de estimación de los sondeos electorales, la necesidad de una cocina profesional y por qué creo que la mejor técnica para reducir los errores muestrales y acercarnos a una muestra representativa de la población es la técnica de agregación de sondeos. Es decir, calcular la media de las estimaciones de los sondeos, dado que así los errores muestrales de algunos de ellos se corregirán con los errores en sentido contrario de otros. Ese es el procedimiento que utilizo para mis estimaciones de voto, con algunas modificaciones que ya he explicado (tal y como explico en la entrada reseñada, utilizo la trimedia en lugar de la media por considerarla más robusta), y otras que iré detallando en entradas posteriores.

Sin embargo, sí que he venido observando que algunas encuestadoras sistemáticamente están más acertadas que otras en sus estimaciones electorales. Por sistemáticamente entiendo que su error en las estimaciones respecto al resultado final es repetidamente inferior al error medio de todas las encuestadoras. Del mismo modo, otras empresas del sector parecen realizar sistemáticamente predicciones más erróneas que la media. Por último, algunas están más cerca del resultado final que la media en algunos procesos electorales, y más lejos en otros. Precisamente, este último caso debería ser el más habitual si los errores en las estimaciones fuesen aleatorios y no se debieran a una “cocina” defectuosa o, peor aún, a unas estimaciones de voto intencionadamente sesgadas en favor o en contra de algún partido político determinado. Sin embargo, de mi análisis de las estimaciones de 25 diferentes empresas demoscópicas en los 10 procesos electorales celebrados en España desde 2015, lo que he encontrado es lo siguientes:

·    8 de las 25 empresas demoscópicas se desvían del resultado final sistemáticamente menos que la media de las encuestas realizadas para ese mismo proceso electoral. Por sistemáticamente entiendo que su error medio es inferior a la media en todos los procesos electorales (o en todos menos uno, si han realizado encuestas para cinco o más procesos electorales). Se trata de un resultado sorprendente, dado que cabría esperar una menor tasa de acierto si los errores en las estimaciones fuesen aleatorios. Si la probabilidad de lograr un error inferior a la media fuera de un 50% y la empresa realizase sondeos para únicamente tres procesos electorales, cabría esperar que apenas el 12,5% de ellas estuviese acertada en todos ellos. Sin embargo, nada menos que el 32% muestra un elevado nivel de acierto. Pese a todo ello, hay que tener en cuenta que 4 de las 8 empresas dentro de este grupo apenas ha realizado estimaciones para uno o dos procesos electorales, por lo que su inclusión dentro del selecto grupo de “las más acertadas” puede deberse simplemente a la suerte, ya que la muestra es muy reducida. Su fiabilidad debe ser contrastada en un mayor número de casos.

·   11 de las 25 empresas demoscópicas se desvían del resultado final sistemáticamente más que la media de las encuestas realizadas para ese mismo proceso electoral. En este caso, por sistemáticamente entiendo que su error medio es superior a la media en todos los procesos electorales (o en todos menos uno, si han realizado encuestas para cinco o más procesos electorales). Este número resulta aún más sorprendente y significativo, ya que, con los mismos supuestos del caso anterior, cabría esperar un número inferior dentro de este grupo, pero, sin embargo, encontramos nada menos que 6 empresas demoscópicas que participan en tres o más procesos electorales y cuyo error es siempre mayor que el de la media. Las otras cinco apenas han participado en uno o dos procesos electorales, de modo que su inclusión en este grupo podría deberse simplemente a “mala suerte”. Pese a todo, comienzan con mal pie y cabe poner sus estimaciones en barbecho.

·   Finalmente, apenas 6 de las 25 empresas demoscópicas distribuyen su grado de acierto y error de una manera “normal” (a veces “aciertan” y a veces se “equivocan”). En mi opinión es el resultado más significativo. Debería ser el grupo más numeroso de los tres y, sin embargo, es el más reducido.

Mi conclusión es que la distribución del grado de acierto o error de las encuestadoras no es aleatorio. Si el error sistemático de algunas empresas demoscópicas se debe a una cocina defectuosa o a un sesgo intencionado escapa a mi conocimiento, pero que un número tan elevado de ellas yerren el tiro tan frecuentemente me hace preguntarme si su inclusión dentro del promedio de encuestas no empeora la estimación final del mismo. En teoría, mi utilización de la trimedia en lugar del promedio debería “proteger” mis estimaciones de una manera más eficaz que el simple promedio, al excluir los resultados más desviados de la media. Pero ¿resulta suficiente con esa medida?

Con el fin de responder a estas preguntas, analicé las estimaciones de resultados con el promedio y la trimedia para cada uno de los procesos electorales, incluyendo o no a las empresas demoscópicas sistemáticamente erradas en sus estimaciones. El resultado de mis análisis confirmó mi dos hipótesis:

·  La exclusión de las estimaciones de las once empresas demoscópicas menos acertadas mejoró la estimación del promedio y la trimedia de encuestas en todos y cada uno de los procesos electorales. Se trata de un resultado rotundo y concluyente. Incluir las estimaciones electorales de estas empresas empeora la capacidad predictiva de la agregación de sondeos. 

·   La mejoría producida por esta exclusión en el promedio es proporcionalmente superior a la que genera en la trimedia. Como cabía esperar, la utilización de un estimador más robusto como la trimedia eliminaba parte del sesgo introducido por estas encuestadoras en las estimaciones pero, respondiendo a mi pregunta, no lo eliminaba del todo, ya que la estimación mejoraba igualmente al utilizar la trimedia si se eliminaban las empresas demoscópicas menos acertadas.

Cabría llevar esta práctica un paso más allá, y eliminar también de la agregación de encuestas a las empresas con un grado de acierto “normal” (esto es, quedarnos únicamente con las estimaciones de las empresas más acertadas). Sin embargo, una vez contrastada la hipótesis los resultados no fueron tan concluyentes como en el caso anterior. En algunos procesos, las estimaciones del promedio y la trimedia mejoraban y en otros no. Adicionalmente, eliminando a las empresas con un grado de acierto “normal” en algunas elecciones teníamos un reducido número de encuestas que agregar, lo que reducía la capacidad de acierto de la técnica de agregación.

Tras estos análisis, en mis estimaciones excluiré los pronósticos de las empresas demoscópicas menos acertadas. Adicionalmente, he comenzado a elaborar un ranking de fiabilidad de las empresas encuestadoras con el fin de introducir un elemento de ponderación de las estimaciones de cada una de acuerdo con su grado de acierto pasado. Para calcular su peso he introducido no solo el criterio del error medio de sus estimaciones respecto al resultado real, sino el grado de desviación medio, así como el número de procesos electorales en los que han participado con un error inferior a la media. Aún estoy “afinándolo”, pero por ahora mi ranking y el grado de fiabilidad se muestra en la tabla adjunta.

Así pues, he encontrado cuatro encuestadoras de alta fiabilidad (GAD3, SW Demoscopia, SigmaDos y Electopanel), seis de fiabilidad media, cuatro de fiabilidad baja y once no fiables. Las no fiables quedan excluidas de mi agregación de sondeos. Al resto, al menos de momento, le otorgo el mismo peso en mi predicción final. Una vez afine el cálculo de su fiabilidad, lo utilizaría para ponderar sus estimaciones de acuerdo con ella, de modo que tuviera más importancia la encuesta de una encuestadora de alta fiabilidad que otra de media o baja. Tiempo al tiempo.

Próximamente realizaré mi primera estimación de resultados electorales de acuerdo con la nueva metodología.