@Especial Elecciones

La trastienda de la encuesta CEP

En medio de un ciclo electoral es importante detenerse y entender qué está pasando. En el último episodio de Bicameral -el podcast de Azerta-, nuestro consultor externo Javier Sajuria hizo este ejercicio y se sumergió en las profundidades de las encuestas, sobre todo en la CEP, considerada un oráculo a la hora de tomar la temperatura a las preferencias ciudadanas respecto del poder. Para ello, conversó con Paulina Valenzuela, quien es la encargada de ‘traducir’ los datos más relevantes de este sondeo.

19 mayo 2021

Paulina Valenzuela es socia directora de la empresa Datavoz, una de las empresas más antiguas en Chile en temas de investigación de mercado y opinión pública. Considerada una mujer extremadamente reacia a dar entrevistas, la actual vicepresidenta de la Asociación de Investigadores de Mercado y Opinión Pública de Chile (AIM), conversó con nuestro consultor externo Javier Sajuria, quien además de ser uno de los conductores de Bicameral -el podcast de Azerta-, es actualmente académico en la Queen Mary University of London donde trabaja, precisamente, con el tema de las encuestas.

En la entrevista (disponible en el último capítulo del podcast y de la cual compartimos algunos extractos) Valenzuela, magíster en estadística de la Pontificia Universidad Católica (PUC), nos cuenta sobre el rol que tiene en el desarrollo de la encuesta CEP. Y cómo desde esa vereda, junto con su equipo, se encarga de ‘traducir’ los datos más relevantes del sondeo que marca distintos ritmos políticos en Chile.

 

¿Cuál es el rol que Datavoz ha tenido a través de los años en la encuesta CEP?

  • Nuestra participación es bien larga, nosotros partimos el año ‘94, cuando Adimark salió de esta alianza. Después estuvimos un tiempo fuera y hace unos seis años volvimos.
  • La CEP es una encuesta probabilística en todas sus etapas, entonces nuestro rol está en la asesoría y supervisión. También en el control del diseño, por una parte, y de la calidad, por otra. Además de la supervisión del trabajo, que debe realizarse de acuerdo a los requerimientos técnicos que necesita la encuesta.

 

Entonces para entender un poco el proceso, el CEP como institución diseña un cuestionario, una serie de preguntas que ellos quieren hacer en cada una de sus encuestas y dicen, ‘Datavoz queremos que nos hagan una muestra y que nos digan dónde hay que ir a preguntar’. Después hay otra empresa que proporciona a los encuestadores que van a las casas a recoger los datos de ese cuestionario. Estos datos vuelven a Datavoz, que los revisa y hace un chequeo de las ponderaciones, es decir se ajustan los resultados a partir del Censo. Finalmente estos datos se entregan de vuelta al CEP, ¿estoy en lo correcto o me estoy saltando alguna etapa importante?

  • No te estas saltando ninguna etapa. Efectivamente ésa es la estructura del trabajo que conlleva la encuesta del CEP. Hoy en día es un poco distinto porque es telefónica, por lo que tiene otra forma de funcionar.

 

Perfecto, cuando uno habla de una encuesta dice que es representativa de la población, en este caso la población mayor de 18 años que vive en Chile, la encuesta debería representar ese segmento, pero por alguna razón a veces esos datos son inalcanzables o están sobre o subrepresentados, es el caso de personas que viven en zonas extremas, a las cuales los encuestadores probablemente no van a llegar nunca…

  • En el caso presencial, el marco muestral que se utiliza habitualmente para encuestas de este tipo, que es absolutamente probabilísticas y presencial, es el que corresponde al Censo del año 2017. Todo lo que tiene que ver con la cartografía censal, es decir las manzanas y las calles, básicamente lo que te permite llegar a una vivienda.
  • Es bueno recordar que el INE no puede entregar información a nivel de hogares públicamente, sólo da información a nivel de manzanas, que corresponden a conjuntos de hogares. Esa es la data que se utiliza para el proceso de selección.
  • Sin embargo, hay que tener claro que el marco muestral más potente en Chile, que es a nivel de viviendas para poder hacer encuestas, igual tiene ciertos problemas debido a que existen zonas o sectores que están omitidos, por acceso o por dificultad.
  • Cuando el marco muestral no coincide en un 100% con la población objetiva, eso se denomina cobertura poblacional, que es un elemento clave en los diseños muestrales. Ahí, lo que se espera, es que la data desde la cual se extrae la muestra, tenga una cobertura lo más amplia posible para prevenir probables sesgos o problemas de representación en la encuesta aplicada.
  • Se espera que la composición de la muestra, en términos proporcionales en relación a algunos parámetros de interés como sexo, edad, nivel educacional, zona geográfica, sean similares a los que viene reportando la información oficial, que es la del Censo.

 

Muestra telefónica

 

Para anticipar las tasas de respuestas -porque hay un tema importante relacionado a los sesgos de selección-, en la última encuesta CEP se ocupó Random Digital Links, que es un mecanismo para llamar de forma aleatoria a un universo de números telefónicos, ¿cómo funciona en la práctica?

  • Nosotros en Chile no tenemos bases de datos de números disponibles, nadie puede ir y sacar de alguna parte, como antes de las Páginas Blancas o de las Páginas Amarillas, en que podías tener acceso a la información de los teléfonos fijos y podías generar muestras. Hoy eso no es así.
  • Lo que hemos estimado, a partir de la Casen de 2017, es que aproximadamente el 96% de las personas declaran tener acceso a un teléfono fijo o celular. La red fija ha ido cayendo y debe estar del orden del 40% a nivel de hogares, pero la telefonía celular está super disparada y más del 95% de las personas tienen acceso a un celular.
  • Hoy día la única data pública a la cual se puede acceder, son los códigos de esas compañías telefónicas, porque sabes cuáles son los primeros números de cada compañía, pero no sabes los últimos. Si son nueve números, de los últimos seis no tienes ni idea.
  • El ejercicio es simular un número y después validar eso con algún proceso automatizado. Luego esos números van a una máquina que hace el marcado y llamado para que los encuestadores apliquen el cuestionario.
  • Estoy hablando de que para lograr una muestra de 1.200 a 1.500 casos necesitas tener aproximadamente entre 15.000 y 20.000 números pre-validados. No es perfecto el sistema, ya que igual te va a dar números que no existen.
  • Es una muestra aleatoria simple y hay un volumen significativo de números que no son elegibles. Pero sobre los elegibles, la tasa de respuesta del CEP es de un 12,7%.

 

Pero si en Chile hay más teléfonos celulares que personas, uno podría pensar que el marco muestral no coincide. ¿Cómo hacen ese ajuste a la hora de hacer la llamada, en comparación con lo que sería un marco muestral, construido desde el Censo?

  • Lo único que nosotros sabemos, desde el punto de vista del universo, es que los números que nosotros generamos tienen dos condiciones: están o no están en ese universo. Y, lo que nos interesa, es validar que el número pertenezca al universo.
  • Es por esa razón, que en teoría cuando reportas las tasas de respuestas, no sólo consideramos los números que te responden, en las categorías de respuesta, también está el que ‘me levantó el teléfono’, el que ‘me dijo aló’, el que ‘me rechaza’, o me dijo ‘que no podía’.
  • En este cálculo se consideran las tasas de respuestas de aquellos números que no te responden el teléfono, pero que existen, así como el que te derivó al buzón de voz. Se trata de considerar todas las categorías posibles.

 

¿Por qué la pregunta sobre la tasa de respuesta es importante?

  • Me parece súper adecuado que este indicador se ponga en la conversación, porque efectivamente la información detrás es súper clave. Te voy a dar ejemplos sobre lo que hablan las tasas de respuestas. Las encuestas presenciales probabilística, las más puristas, por así decirlo, hoy en Chile deben estar en tasas de respuesta del orden de un 50% a 60%.
  • Sin embargo, hay sectores de la población a las que uno no puede llegar con las presenciales y esto se ha ido haciendo cada vez más fuerte. Por ejemplo, los clásicos condominios de Chicureo, Colina, Calera de Tango. También es muy difícil acceder a los jóvenes que viven solos en un departamento en el centro de Santiago.
  • Lo que ocurre es que cuando uno empieza a observar las tasas de respuestas, no sólo te hablan del interés de la gente por contestar encuestas, sino que también de la posibilidad de acceder a esas personas.
  • Aquí viene un análisis bien curioso, que es que con las encuestas telefónicas nosotros sí llegamos a ese tipo de población. Y ese tipo de personas terminan contestando la encuesta porque no tenemos necesidad de pedir acceso a ellos a través de quien está en la puerta del condominio, sino que nos conectamos directamente con ellos por teléfono. Lo mismo ocurre con los jóvenes que viven solos.
  • Entonces, a pesar de que tu encuesta en términos de tasa de respuesta es más baja, parece que estás logrando representar mejor a la población en general, porque estás llegando a aquellos que no llegabas con una encuesta presencial.
  • Pero la encuesta presencial tiene mejores tasas de respuestas. Y ahí uno dice: ‘¿qué es lo relevante, entonces?’. Es que la tasa de respuesta nos da información y se puede ver el nivel de rechazo o interés de la gente por responder esas preguntas. Te da ese tipo de dato que, cuando se analiza, especialmente los investigadores o analistas políticos que están permanentemente tratando de predecir conductas, les sirve para entender ‘qué hay detrás’.
  • Por eso, si bien es cierto que en la encuesta CEP el 12% de los contactados no responde, también es cierto que hay un porcentaje altísimo de personas a las cuales no pudimos llegar porque no nos respondieron el teléfono. Ahí uno puede empezar a construir hipótesis. El que no te contesta el teléfono: ‘¿quién es?’. El que no puedo ubicar: ‘¿quién es?’. Claro en lo presencial uno los identifica más, en lo telefónico eso es más difícil.
  • Otro elemento que es clave, es que las tasas de respuestas están asociadas al modo de encuestaje. Es un elemento que todavía en Chile tiene poca experimentación y poco registro, que tiene que ver con el uso del modo telefónico, presencial y online.
  • Ahora, respecto de elementos más cualitativos, como la gente dice que va a ir a votar, no podemos ajustar una encuesta porque eso es una declaración: ‘a lo mejor hoy día me dice que sí pero en cinco días más cambia de opinión’, o ‘me dijo que sí porque no se atrevió a decirme otra cosa’. Es más difícil corregir encuestas por ese tipo de variables, salvo que uno tenga series a lo largo del tiempo, que te permiten mirar e ir evaluando.
  • Por eso creo que es tan sensible y clave que en las fichas técnicas de las encuestas, que se publican en Chile, ese dato esté presente, porque te da una muy buena información respecto de quiénes responden.

 

La desconfianza y los sesgos

 

El problema está cuando hay un sesgo sistemático o hay un grupo de personas que se está excluyendo de la encuesta. Yo trabajo harto con encuestas de élites y una de las cosas que nosotros hacemos son encuestas a candidatos que se presentan en distintas elecciones en el Reino Unido, pero hay un segmento que se está haciendo cada día más difícil de contactar, que son los candidatos del Partido Conservador. Por distintas razones hay una desconfianza de ellos hacia la investigación académica, no les gusta que se los investigue y existe una especie de acuerdo tácito para no contestar este tipo de encuestas. Eso ha llevado a que aumente cada vez más la tasa de no respuesta, aunque de alguna manera los identificamos y podemos predecir ciertas conductas. En el caso de las encuestas de opinión en Chile ustedes no saben cómo piensan esas personas y no tienen cómo anticipar si son más de derecha o de izquierda. Hay un salto, no quiero decir un salto de fe, pero hay un momento en el que uno tiene que decir, esto es lo que puedo estimar y hasta aquí puedo llegar…

  • Ese es el gran tema. Me preguntaron si podía dar una proyección de la participación (en las elecciones) del fin de semana. Proyección no, pero le puedo dar diferentes escenarios. Y cuando uno analiza todos los escenarios posibles dice, pero de aquí no concluyo nada, ese es el problema.
  • En el ejemplo que me das, lo que va a ocurrir es que las muestras se van a ir achicando cada vez más, por lo tanto cuando les respondan es probable que alguien diga: ‘¿será el representante fiel del grupo que me tiene que responder, el que me está respondiendo?’.
  • En Chile pasa un poco lo mismo con las encuestas, particularmente, con las electorales. La gente responde porque tiene interés en comunicar su opinión. Y, efectivamente, suponer que los que no opinan piensan igual a los que están opinando, es cuestionable, pero hay que instalar todo el análisis sobre ciertos supuestos.
  • Lo relevante, finalmente, son las tendencias. Más que ponerme fundamentalista con el método que se está utilizando, lo que me interesa observar son las tendencias de encuestas que se van aplicando en el tiempo para ver cómo se comportan algunos indicadores. Eso probablemente permite decir: ‘aquí pasó tal cosa’.
  • No sé si te acuerdas cuando se hablaba del voto oculto de la derecha. Son eventos que existen. Conversaba con un investigador en Perú y me decía: ‘mira nosotros conversamos con la gente y no nos contesta, no nos dice que va a votar por Keiko, porque no está bien visto en Perú hoy día decir que uno vota por Keiko. Pero a lo mejor ese voto oculto nos va a cambiar totalmente las predicciones que nosotros estamos generando día a día y que vamos a tener algunos días antes de la elección’.
  • Coincido en que es muy difícil y por eso lo importante es tomar todas las precauciones posibles en lo metodológico y en el diseño, por lo menos para estar lo más cerca posible de estimar lo que la encuesta te da.
  • Estuve hace poco en un panel con investigadores internacionales sobre cómo detectar estos problemas, es decir cómo investigar en aquellos que no te responden como debían y cómo lo harían. Es una pregunta súper difícil de evaluar porque efectivamente es complicado aproximarse a aquellos que declaran que no quieren responder encuestas.
  • Hay períodos en los que la gente plantea su opinión porque se siente más confiada, pero hay otros momentos en que la guarda porque efectivamente prefiere no ser juzgada.
  • Eso también tiene un vínculo súper fuerte con los modos de encuestaje. Una misma pregunta más sensible hecha presencialmente por un encuestador cara a cara, en que tú ves al otro que te está hablando, versus una encuesta que se contesta de manera autoadministrada y online, te puede arrojar respuestas bien diferentes.
  • De hecho, hicimos el ejercicio con el CEP en 2018, y lo interesante de ese experimento fue que no eran sujetos distintos y no eran muestras distintas, sino que al mismo sujeto le hacíamos la misma pregunta presencialmente y después se la hacíamos telefónicamente, o de manera online, y en ciertos grupos de preguntas la gente cambiaba su opinión.
  • Entonces no sólo basta con observar las tasas de respuestas o el período de encuestaje, sino que hay que poner harta atención en el modo, si fue online, presencial o telefónico. Eso también hace una diferencia.

Escucha el episodio aquí: