Las encuestas proveen a los medios de comunicación de algo esencial:  la ilusión de que entrevistando a un grupo reducido se pueden hacer afirmaciones claras sobre lo que piensan todos los chilenos y chilenas o la mayoría de ellos. Ernesto San Martin, doctor en estadística, inicia aquí una serie de columnas en las que abordará los problemas que usualmente se observan en la difusión de las encuestas. El objetivo es poner en guardia a los lectores y lectoras, pero sobre todo despertar en los periodistas una mirada cuestionadora sobre las encuestas a las que suelen ver como productos técnicos sin contradicciones ni inconsistencias.

---

Desde que estalló el llamado Caso Convenios, a mediados de junio de este año, la encuestadora CADEM ha informado semanalmente cómo evoluciona la opinión de los chilenos y chilenas. En esta columna examinaremos la forma en que CNN difundió la encuesta CADEM del 2 de julio en su página web y nos enfocaremos en dos errores que, como ocurre con frecuencia, son una mezcla de problemas de interpretación de los medios y falta de claridad de las mismas encuestadoras respecto de las debilidades de su propio trabajo.

Antes de partir, una advertencia. Aquí no se discute si el Caso Convenios es o no un acto de corrupción pues ese asunto requiere una intensa investigación judicial y periodística. Lo que nos interesa tiene que ver con algo igualmente importante y complejo: qué piensan los chilenos y chilenas sobre esos hechos. En una sociedad como la nuestra, donde el debate público está dominado por encuestas, los medios de comunicación asumen que esos instrumentos son una forma confiable de meterse en la cabeza de grandes cantidades de personas. Los medios en general asumen que lo que publican las encuestadoras es algo como “la voz del pueblo” capturada científicamente y que los gobiernos debieran ajustar sus políticas a lo que éstas revelan.

Lo que vamos a examinar en esta serie es, entonces, qué tan sólidas son algunas de las afirmaciones que se hacen a partir del trabajo de empresas como CADEM, CEP, o MORI, entre otras. Para ello es necesario hacer un análisis en dos capas. Primero, identificar errores periodísticos a través de contrastar lo que publican los medios con lo que la encuestadoras afirman; segundo, contrastar las afirmaciones de las empresas encuestadoras con la evidencia que han recogido, para identificar saltos lógicos, supuestos inverificables, o zonas de incertidumbre que se dejan convenientemente de lado. Una contribución de este artículo será sugerir formas más precisas de informar sobre los resultados de las encuestas y sobre las limitaciones que ellas siempre tienen.  

LA NOTA DE CNN

Al difundir la encuesta CADEM CNN tituló de la siguiente forma: CADEM:

86% cree que Caso Convenios es “corrupción” [1]

Ese encabezado tiene un problema que se observa frecuentemente en las notas de prensa: se alude a un 86%, sin hacer referencia al “universo” sobre el cual se ha calculado dicho porcentaje.[2] Dada esta falta de información es probable que muchos lectores -sobre todo los que leen solo titulares- hayan creído que el 86% de los chilenos y chilenas opinaba de esa manera. Esto no es extraño pues los medios y los lectores esperan que las encuestas tengan capacidad de decir lo que piensan las mayorías. Como se verá a continuación, esa es una expectativa infundada. Pero vamos por orden.

En el cuerpo de la nota CNN sí precisa el universo del que se está hablando: los porcentajes se refieren a los encuestados de CADEM. CNN afirmó:

“El 86% de los encuestados cree que el Caso Convenios es un acto de corrupción, mientras que el 11% piensa que fue un error administrativo. En tanto, un 3% no respondió o no sabe sobre el tema.”

---

---

El grafico 1 muestra cómo CNN entendió la encuesta CADEM y lo que transmitió a sus lectores: hay un “universo de encuestados” y dentro de él se pueden identificar los tres grupos descritos. Lo que no entendió CNN es que esos porcentajes se referían a los encuestados que habían oído del caso. Es decir, el 86% es un porcentaje condicional, o sea un porcentaje que se refiere a la condición de saber del caso. CADEM en su artículo de difusión especificó esta distinción. En su informe se lee: “55% supo o escuchó hablar del Caso de la Fundación Democracia Viva. Entre ellos, 86% cree que es un caso de corrupción y sólo 11% opina que se trata de un error administrativo”. Sin embargo, ese importante dato fue completamente ignorado en la nota de CNN.

---

---

El gráfico 2 muestra de manera más precisa lo que CADEM quería transmitir y queda en evidencia una gran distancia con la idea que CNN informó. Aquí notamos que el universo que encuestó la empresa se divide entre los que “saben del caso” (55%) y los que “no saben del caso” (45%). Y “los que saben” son los que a su vez se dividen en los tres grupos que informa CNN. El resultado de este reordenamiento es que la zona roja, donde se agrupan aquellos que piensan que estamos ante un problema de corrupción, se reduce considerablemente: ahora representa el 47,3% de los encuestados. Asimismo, los que creen que es un error administrativo (zona amarilla) bajan al 6,05%; y los que no saben cómo evaluar el caso o no contestan a la pregunta (zona verde) se sitúan en el 1,65%.

En la zona azul (45% de los encuestados) se encuentran representados los que no habían escuchado del caso y por lo tanto no tiene opinión sobre éste. Este grupo, que CNN ignoró, impide sostener que el 86% de los encuestados por CADEM cree que este caso es corrupción.

Así las cosas, una forma más precisa de titular esa nota podría ser:

El 47,3% de los encuestados por CADEM cree que el Caso Convenios es corrupción.

Si el medio quiere ser más preciso y aludir a la cantidad de personas que opina algo, la opción podría ser:

335 personas que respondieron la encuesta CADEM y que sabían del caso, opinan que el Caso Convenios es corrupción.

EL PROBLEMA DE LA NO RESPUESTA

Las correcciones que hemos hecho hasta ahora no solucionan todos los problemas. Y para entender lo que viene hay que considerar algo que los medios no tienen muy claro sobre el trabajo de CADEM. Ocurre que para hacer este estudio CADEM realizó 7.090 llamados telefónicos y sólo obtuvo 709 respuestas.

Esto deja en evidencia un asunto que los medios no transmiten con claridad al público: la elevada “tasa de no-respuesta”. En este caso el 90% de personas que contactó CADEM, no quiso o no pudo responderles. Este rechazo se conoce también como “sesgo de auto selección” y, como se verá luego, levanta serias dudas de que sea posible extrapolar los resultados de la encuesta a lo que piensan todos los chilenos. Si agregamos a las personas que no respondieron, los resultados de CADEM se verían así:

---

---

En la parte rosada (90%) están las personas a las que CADEM intentó encuestar infructuosamente. Los motivos para el rechazo son diversos pero lo importante aquí es que no sabemos lo que ellas piensan. Las personas de las que habla CNN en su titular son solo la parte roja del gráfico, es decir un grupo pequeño que está dentro del 10 por ciento que sí contestó. Esto implica que la CADEM sólo nos puede decir lo que piensa un grupo reducido de sus encuestados. Al agregar esta precisión, el mentado 86% se ha transformado en algo menos digno de titular pero más preciso: el 4,73% de los que respondieron la encuesta CADEM y sabían del caso, piensan que es un caso de corrupción.

¿Por qué es importante considerar a las personas que no le contestan a CADEM?

La razón es que cuando CADEM afirma que sus resultados representan la opinión de los chilenos y chilenas, basa esta idea en que su muestra de 7.000 personas aproximadamente es representativa. Es decir, CADEM afirma que ha construido una muestra de tal manera que esos casos representan la opinión de los chilenos (en futuras columnas cuestionaremos la validez de la muestra representativa, pero si le interesa el tema puede oír este Podcast).

Sin embargo, cuando se tiene una elevada tasa de no-respuesta el principal efecto es que crece la incertidumbre sobre las afirmaciones que se pueden hacer respecto de la población encuestada; y se vuelve imposible defender la representatividad de la muestra. Basta imaginar casos como el siguiente: un partidario del gobierno puede preferir no opinar sobre el tema, mientras que los opositores sí lo hacen. Esta “autoselección” de los encuestados produce que la muestra quede desnivelada en su representación. Pero nunca estaremos seguros de si eso pasa o en qué medida ocurre, pues las personas no responden. Por ello, en este caso, una de las pocas cosas que tenemos por seguro es que la opinión del 96,3% de la población que CADEM intentó encuestar es desconocida. [3]

Si CADEM reconociera este problema de incertidumbre y dijera que lo que sabe es la opinión de 330 personas sobre Caso Convenio y que ese número no se puede extrapolar al país por la alta tasa de no respuesta, probablemente los medios no publicarían sus resultados. Para salvar este bache CADEM argumenta en su informe que, a pesar de que una alta tasa de no-respuesta “puede introducir serias distorsiones en los resultados” ellos van a asumir que “quienes rechazan contestar son iguales a quienes contestan”.

Dado que no sabemos lo que piensa el 96,3% de los encuestados, lo que propone CADEM puede ser cierto, como pueden serlo también miles de otras opciones. Esto se debe a que no hay forma científica de inferir con absoluta certeza las opiniones de los que rechazaron contestar a partir de los que contestaron. Mucho menos se puede sostener que esta encuesta proporciona una mirada confiable sobre las opiniones políticas de chilenos y chilenas. CADEM recurre a un supuesto inverificable, es decir, un supuesto que no se puede desmentir ni probar.

Dado lo anterior, los medios debieran informar a sus lectores cuando las encuestan que publican tienen una alta tasa de no respuesta y explicar las implicancias de esto. Una forma de dar cuenta de la incertidumbre podría ser esta:

Durante su trabajo de campo CADEM enfrentó una alta tasa de no-respuesta del 90%. Esto quiere decir que 9 de cada 10 personas que CADEM intentó encuestar no le respondieron. Tasas de no respuestas tan elevadas introducen serias distorsiones en los resultados. En su informe, sin embargo, CADEM estima que las personas que nos le contestaron piensan igual que las que sí les contestaron. Este argumento es un supuesto que ha sido cuestionado por la literatura especializada.

---

Recuadro conceptual

Paradoja de CADEM: a más información más incerteza  

Las consideraciones expuestas anteriormente, resumidas en el gráfico 3, se basan en una descomposición de la unidad, donde” unidad” hace referencia al total de personas que fueron contactadas por CADEM. Para expresarla en forma compacta, introduciremos la siguiente notación:

•  denota el conjunto de personas que accedió contestar la encuesta.
•  denota el conjunto de personas que no accedió a contestar la encuesta.
•  denota el hecho que un encuestado sabía o había oído del Caso Convenios;  si no.
•  si el encuestado cree que el Caso Convenios es corrupción;   si el encuestado cree que el Caso Convenios es error administrativo; y   si el encuestado no sabe o no responde.

Entonces

donde la primera igualdad corresponde a la descomposición del total de contactados telefónicamente por CADEM entre los que responden y no responden la encuesta; la segunda igualdad corresponde a descomponer la proporción de los que efectivamente respondieron la encuesta entre aquellos que sabían del Caso Convenios y aquellos que no sabían; la tercera igualdad  corresponde a descomponer la proporción de aquellos que sabían del Caso Convenios y que respondieron la encuesta entre las creencias “corrupción/error administrativo/no sabe o no responde”;  y la cuarta igualdad corresponde a una descomposición marginal-condicional de una probabilidad conjunta.

Otra cosa que se aprecia de esta descomposición de la unidad (que hace referencia al total de contactados por CADEM, que es la única población concreta) es que el añadir información adicional (como aquella referida a qué se cree del Caso Convenios: si es corrupción, o error administrativo) no reduce la incerteza de la inferencia inductiva que se realiza sobre el total de contactados.

En efecto, si se considera la incerteza de inducir a toda la población las proporciones de los que oyeron del caso o no, esta incerteza es equivalente a la proporción de los que se rehusaron contestar la encuesta: 90%. Si, en cambio, se considera la incerteza de extrapolar a toda la población las proporciones de haber oído del caso o no, y de tener una opinión (corrupción o error administrativo), esta incerteza aumenta: es igual a la proporción de los que rehusaron responder y la proporción de los que respondieron la encuesta y o sabía del caso: 94.5%. Ambas incertezas están destacadas en rojo en la segunda y tercera igualdades.

---