¿Cuál es el plan alternativo que ofrece el profesor San Martín frente al problema de representatividad que observa en las encuestas? “Creo que no basta con diagnosticar, pues nuestro rol (sobre todo como estadísticos) es también plantear soluciones”, plantea Gonzalo Mena en esta carta.

Agradezco mucho que el profesor Ernesto San Martín abra el debate sobre la calidad de las encuestas y estoy de acuerdo con muchos de los puntos que planteó en una carta publicada en este medio. Sin embargo, estoy en gran desacuerdo también con su visión, pues me parece que muestra un nivel de desconfianza excesivo. Si bien nuestros tiempos se caracterizan por la desconfianza, sembrarla no me parece útil sin al mismo tiempo proponer maneras de restablecer la confianza, y desde la academia tenemos una posición de mucha responsabilidad al respecto. Creo que no basta con diagnosticar, pues nuestro rol (sobre todo como estadísticos) es también plantear soluciones. El profesor ha realizado aportes importantes en estadística y sus aplicaciones a temas de evaluación escolar y psicometría. A diferencia de esas áreas, respecto a las encuestas, en las preguntas del profesor San Martín abundan los diagnósticos (todos ellos muy certeros), pero no se vislumbra un plan alternativo. El problema con la crítica desconfiada a las encuestas es que nos quedamos completamente a oscuras y en el riesgo de negarnos a admitir posibles hechos, como que la opinión de mucha gente es distinta a la nuestra.

Me quiero enfocar en uno de los argumentos centrales de la citada carta: de que no existe tal cosa como encuesta o muestra representativa. El texto plantea: “una muestra representativa significa, por ejemplo, que la proporción de rechazo a nivel poblacional sería igual a la proporción de rechazo de aquellos que fueron seleccionados y accedieron a responder la encuesta. Pero es imposible que se pueda comprobar esta equivalencia pues no se conoce la proporción poblacional: de conocerse, no sería necesario hacer una encuesta”.

Me enfoco en este punto porque esta primera deconstrucción de la representatividad es el telón de fondo para el resto de su argumento.

Hay dos opciones. O bien para el Profesor San Martín la estadística no tendría otro objetivo que el mostrar que el uso de métodos estadísticos es erróneo (me parece factible pensar que su grupo LIES es un guiño a la frase de Mark Twain ‘there are lies, damn lies, and statistics’); o bien, los métodos estadísticos no pueden alcanzar el ideal de ser representativos.

Quiero pensar que se trata de esta última y, si es así, quiero argumentar lo problemático de ese argumento. En estadística las palabras adquieren sentido de acuerdo al uso que se les da en la práctica (a diferencia de las probabilidades, que se basan en una fundamentación axiomática rigurosa). La estadística es, desde al menos dos siglos, una herramienta para la inferencia inductiva. Es decir, un medio para descubrir la generalidad a partir de lo particular y posiblemente espúreo. Si bien no tenemos acceso a la totalidad de la población, podemos siempre expresar cierta confianza en la estimación independiente de la precariedad de nuestra muestra. Debemos reconocer que, como dice Frederick Stephan, “todo el conocimiento empírico está derivado en un sentido fundamental de una observación incompleta, y es por tanto una experiencia de muestreo” [1,2].

“El problema con la crítica desconfiada a las encuestas es que nos quedamos completamente a oscuras y en el riesgo de negarnos a admitir posibles hechos, como que la opinión de mucha gente es distinta a la nuestra”

El uso de la palabra representatividad en estadística viene de finales del siglo XIX. En 1895, durante una reunión de la International Statistical Institute (ISI), el estadístico Anders Nicolai Kiaer propuso la idea de “muestreo representativo” [3], reconociendo que no es necesario censar la totalidad de los individuos para hacer inferencias válidas. Esta idea en su momento resultó muy controversial, y con razón: Kiaer no era del todo riguroso en sus cálculos, lo que dio lugar a críticas. Más importante, el tipo de métodos que se proponían para hacer inferencias no estaban del todo justificados. En los primeros treinta años del siglo XX hubo mucho debate sobre si la mejor manera de alcanzar representatividad era a través de ‘muestreo con propósito” (purposive sampling) el cual identifica (quizás arbitrariamente) entidades representativas en la muestra; o a través de la aleatorización (randomization) [4]. Fue sólo en 1934 cuando Jerzy Neyman [5] publicó un texto (entre muchas otras cosas) criticando los hallazgos previos de Corrado Gini y Luigi Galvani (1929) [6] donde realizaban inferencias sobre la población de Italia basados en “muestreo con propósito”. Neyman concilia la tensión entre estos dos tipos de muestreo al definir el muestreo aleatorizado estratificado [2].

El trabajo de Neyman propone un cambio de paradigma, al considerar la representatividad como una propiedad del método y no de la muestra. Esta distinción se cristalizó en el sentido común de la estadística y otorga el sentido más usual que damos hoy día en estadística al concepto de ‘representativo’ como equivalente al de ‘muestreo aleatorizado por estratos’ [2,7]. Sin embargo, como lo muestra el párrafo anterior, han existido nociones distintas de representatividad que han competido por su preeminencia. Más aún, representatividad es también una palabra cargada de sentido político, retórico, y es un concepto también relevante en las ciencias sociales, donde adquiere otro significado.

“El argumento anti-representatividad del profesor San Martín no está basado en una definición estándar en estadística, sino en una ad-hoc, entre las muchas posibles”

Si recurrimos al sentido usual de representatividad, entonces es posible argumentar respecto a la factibilidad de muestrear de manera efectivamente aleatorizada, y puede haber razones de peso para dudar de esa posibilidad (debido a la selección y la no-respuesta). Sin embargo, el argumento anti-representatividad del profesor San Martín no está basado en esta definición estándar en estadística, sino en una ad-hoc, entre las muchas posibles (ver la figura adjunta para más ejemplos). A pesar de que da una definición precisa del término, al plantear un argumento tan cargado en contra de la representatividad, sin al mismo tiempo reconocer la multiplicidad de significados de la palabra y que el suyo es más bien heterodoxo, está enredando la discusión en vez de esclarecerla.

Me pregunto si la persistencia del profesor San Martín por acudir a una noción no-estándar de representatividad puede estar manifestando una fisura en nuestros tiempos. De la misma manera en que la discusión de Neyman y Gini se dio en el contexto de la gran depresión, donde había un genuino interés en conocer las condiciones materiales de las personas, nuestros tiempos se caracterizan por la desconfianza en las instituciones, dejando en entredicho muchos sentidos comunes. Quizás la insistencia del profesor tiene que ver con una disconformidad con la noción de ‘representatividad’ en el sentido de las democracias representativas. Si seguimos el argumento del profesor, entonces concluimos que la democracia no puede ser representativa porque si asumimos que un grupo selecto de personas puede representar la opinión de todos, eso significa que ya conocemos la opinión de todos y por tanto no es necesario elegir un grupo de personas. Me parecería una idea interesante para el debate, y también útil el hacer la distinción entre el sentido político y estadístico del término.En el resto de los puntos estoy en general de acuerdo con el profesor, sobre todo en lo perjudicial que es la falta de transparencia de las encuestas. Sin embargo, tengo muchos matices sobre la argumentación de que debido a esa falta de transparencia eso significa que las inferencias son totalmente inválidas. Aunque este asunto tiene que ver con la confianza que depositamos en las instituciones, es también más técnico, y por lo tanto la discusión quedará para otro momento

Distintas nociones de representatividad