Marion Fourcade, socióloga de la UC Berkeley, autora del libro The Ordinal Society : “Estamos viendo una batalla por la interpretación de la historia y del acervo común”

Una entrevista sobre tus datos, sobre cómo los algoritmos los capturan, los usan para calificarte y darte un valor; y sobre cómo, sin que sepas bien por qué, te cierran o te abren puertas y además te hacen creer que ese resultado depende de tus méritos.

Son tiempos contradictorios, difíciles de comprender y proyectar. Por una parte se observa la expansión de los gobiernos autocráticos que, sin muchos reparos, despliegan la fuerza coercitiva del Estado y hasta usan los recursos públicos para ahogar la investigación científica que contradice sus batallas culturales (piense, por ejemplo, en la ofensiva anti cambio climático que se observa en EE.UU.).Por otro lado, tenemos el desarrollo de algoritmos que nos analizan y ordenan a partir de datos que les entregamos voluntaria e involuntariamente; algoritmos que nos pueden manipular muy profundamente, sin uso de fuerza.

No parecemos dirigirnos hacia sociedades más libres.

Marion Fourcade es coautora del libro The Ordinal Society, junto con Kieran Healy. En esa obra la profesora de la Universidad de Berkeley aborda las consecuencias sociales y económicas de un poder digital que nos observa y nos evalúa constantemente. Fourcade cree que ese poder tiene un potencial emancipador y podría usarse en políticas inclusivas; pero hoy vemos cómo se desarrolla su “potencial oscuro”, engañoso. Por ejemplo, se nos hace creer que somos evaluados por cómo nos comportamos, por lo que somos intrínsecamente; pero en realidad, los algoritmos nos evalúan desde una perspectiva que conviene a las empresas que los crean.

Fourcade, invitada a Chile por el Centro de Investigación en Economía y Sociedad de la UCEN, dijo en esta entrevista que “constantemente estamos produciendo datos y ellos se usan para calcular nuestro valor”. Advirtió, además, que el desarrollo de la inteligencia artificial generativa le entrega a los controladores del poder digital posibilidades inéditas de intervenir en la interpretación de la historia.

-Partamos por tu vida académica en los Estados Unidos gobernados por Donald Trump. ¿Hay algo que puedas contarnos sobre las dificultades que tienen los y las investigadoras para hacer su trabajo?

-Diría que la dificultad depende en gran medida del área de trabajo. Si investigas temas de discriminación o diversidad —o simplemente los mencionas—, empiezas a tener problemas porque las agencias federales, que son las que entregan financiamiento, han prohibido ciertos temas y palabras. Las escuelas de medicina en Estados Unidos dependen mucho de esos recursos y la administración Trump los ha usado para presionar a las universidades en general. Ahora, si no estás recibiendo fondos federales, probablemente no tengas problemas. En mi caso, no he sentido grandes diferencias; no ha cambiado la forma en que investigo ni la manera en que enseño, ni me han impedido escribir sobre el surgimiento de la inteligencia artificial o los algoritmos. Lo que sí ha cambiado es que mi universidad, como la mayoría, está bajo presión. Hay distintos tipos de demandas, investigaciones y juicios: algunos impulsados por la administración Trump, otros por grupos de la sociedad civil, relacionados con contrataciones, admisiones, política en el campus, etc. Parte de esto es teatro político, pero la posibilidad de que esas acciones generen presiones financieras adicionales pone a las universidades muy nerviosas.

“Hemos sido socializados para creer que es normal que cuando tomamos un taxi, el conductor tenga una calificación y nosotros también seamos calificados. Se ha convertido en la forma normal de hacer las cosas”

-Las universidades norteamericanas están entre las mejores del mundo. ¿Crees que esta intervención política en la academia afectará su ranking?

-Creo que lo que está cambiando es que se ha vuelto más difícil para los estudiantes internacionales venir a Estados Unidos. De hecho, este año la matrícula ha caído un 17%. Y las universidades dependen en gran medida de ellos. Además, muchos estudiantes y postdoctorados están recibiendo propuestas de centros intelectuales europeos y de otros países. Así que es bastante probable que esta redirección afecte de manera duradera a las universidades estadounidenses.

En The Ordinal Society aborda el poder digital, basado en los algoritmos. ¿Cómo conversa ese poder con los gobiernos que vemos hoy y que dependen de la política policiaca para perseguir personas o de los fondos públicos para perseguir ideas? Da la impresión de que el poder digital es el futuro y uno tendería a pensar que estos gobiernos autocráticos son el pasado. ¿Qué relación ves entre ambos aspectos del poder actual?

–No podemos olvidar que todas las sociedades buscan formas de generar orden. Y a veces esos órdenes pueden ser jerárquicos —privilegiando ciertos tipos de personas— o pueden ser horizontales. En el pasado dependíamos de muchas cosas para crear distinciones entre grupos y decidir quién avanza, quién debe recibir atención médica, quién debería ser considerado sospechoso, quién puede obtener un préstamo. Lo que es nuevo ahora es que las computadoras nos están ayudando a dirigir estos procesos y para ese propósito usan una gran cantidad de datos de comportamiento que les hemos proporcionado nosotros mismos, en algunos casos voluntariamente y en otros porque somos monitoreados por distintos tipos de instituciones. Y por supuesto, la manera en que se utilizan esos datos siempre tiene un proyecto político detrás. Puede ser un proyecto con fines progresistas o con fines muy poco progresistas. Así que lo que vemos hoy es el riesgo de que la vigilancia facilitada por tecnologías digitales pueda ser usada para todo tipo de proyectos políticos. En Estados Unidos esto se aplica a inmigrantes supuestamente ilegales, pero también a algunos inmigrantes legales. Estas personas están siendo identificadas y rastreadas en base a datos que permiten cierto tipo de emparejamiento de identificación. Así que todo este desarrollo digital tiene el potencial de ser usado de formas muy oscuras.

“El desarrollo digital tiene el potencial de ser usado de formas muy oscuras”.

-¿Piensas que los algoritmos y las métricas están, de alguna manera, socavando la democracia?

Creo que estos sistemas pueden mejorar ciertos aspectos de la democracia. Por ejemplo, cuando el acceso a determinados beneficios depende de que un funcionario público haga su trabajo, los algoritmos permiten que todas las personas que tienen derecho a acceder a algo puedan ser incluidas y que esos derechos se distribuyan. Es decir, tienen un potencial para la inclusión y el bienestar social. Pero también ocurre que estos algoritmos no son muy transparentes ni se utilizan de manera responsable, y eso socava la democracia. Esto se debe a su naturaleza, a la forma en que se diseñan y a cómo los algoritmos dependen cada vez más de una forma de machine learning, lo que hace muy difícil entender qué influye en una decisión determinada. Y el problema es que se crea un estándar que se presenta como “objetivo”, pero no lo es; y no siempre puede ser eliminado o al menos revisado a través de un sistema de rendición de cuentas democrático.
La Unión Europea, por ejemplo, está intentando establecer mecanismos de resguardo en torno a los algoritmos que se usan en el empleo, el crédito o la justicia penal, porque en esos casos parece razonable que las personas puedan hablar con un ser humano responsable cuando se les niega un beneficio, cuando están siendo sometidas al sistema judicial o no se les otorga un crédito.

-Eso último apunta a los algoritmos que permiten o impiden el acceso a servicios y bienes muy importantes para las personas y que son ofrecidos por empresas.

Por supuesto. Y en el caso de las empresas estos algoritmos son mucho más difíciles de auditar e impugnar, pues sus características son una especie de secreto comercial. Además, hay que considerar que los algoritmos que usan los gobiernos, muchas veces, están basados en software desarrollado por corporaciones privadas, y eso en sí mismo puede ser un problema. Por ejemplo, en Estados Unidos hay un intento de fusionar diferentes tipos de bases de datos, para que las personas que el gobierno quiere perseguir, por ejemplo, los migrantes, puedan ser identificadas más fácilmente. No sé si eso va a tener éxito, pero se está intentando.

Por último —y esto es algo que discutimos extensamente en nuestro libro—, un algoritmo que está optimizado para generar ganancias para una empresa en particular no está necesariamente orientado al beneficio del propio usuario. Por supuesto, hemos visto esto de manera masiva en las redes sociales.

Me gustaría aclarar que, aunque lo que se está desarrollando puede ser problemático en muchos sentidos, no necesariamente tiene que serlo. Existen formas de utilizar algoritmos que pueden ser más inclusivas y permitir el desarrollo de sistemas más progresistas. Pero ahí no es donde está el dinero, y esa es una de las grandes limitaciones de estos desarrollos.

“El algoritmo ha sido generado para que la empresa tenga ganancias y luego se nos hace pensar que se trata de algún tipo de mérito nuestro”

-En The Ordinal Society, describen nuestra sociedad como entrelazada con la lógica de las métricas y la lógica de ser evaluados todo el tiempo. ¿Qué espacios de resistencia ves? ¿Qué espacios fuera de los rankings son posibles?

Una de las cosas que se abordan en el último capítulo del libro es la complejidad de luchar contra un sistema como este, porque somos muy ambivalentes respecto de él. Por un lado, el sistema se percibe como muy opresivo, pues estás sujeto todo el tiempo a la lógica del puntaje, y eso es bastante insoportable; pero al mismo tiempo, te ofrece la oportunidad de “lucir bien” ante el ojo del algoritmo. Puedes ver esa lógica en las redes sociales. Todos quieren aumentar su visibilidad, que sus publicaciones lleguen a una audiencia más amplia. Entonces, al mismo tiempo que nos sentimos oprimidos, cuando estás bien quieres ser clasificado y también quieres que todos los demás sean clasificados. Hay una especie de doble verdad aquí.

En lo profundo, esto no es nuevo, porque la sociedad siempre se trata de eso, de compararnos con otros. Hemos sido socializados para competir y para cumplir con el algoritmo. Y una de las cosas que explicamos en el libro es que este conjunto de tecnologías socializa aún más a las personas para competir por todo. Por ejemplo, cuando trabajas en una plataforma laboral, estás compitiendo contra todos los que están allí. Y la competencia puede ser global. No compites en tu ciudad o en tu fábrica, como entendían los sociólogos de los años 60, sino que es una competencia a una escala mayor y, además, bajo criterios que no controlas muy bien. Porque todo se basa en un algoritmo que es oscuro. Sin embargo, hemos sido socializados para creer que es normal que cuando tomemos un taxi, el conductor tenga una calificación y nosotros también seamos calificados. Se ha convertido en la forma normal de hacer las cosas.

Otro asunto relevante es que estamos siendo llevados a pensar que esta evaluación es una forma de medir nuestro mérito. O sea, si obtenemos mucha exposición en las redes sociales, pensamos que lo estamos haciendo bien, que estamos diciendo cosas interesantes. No pensamos que podría deberse a que estemos diciendo cosas escandalosas y que el algoritmo valoriza eso porque así obtiene más clics o dinero. Y lo cierto es que estamos produciendo datos constantemente y ellos se usan para calcular nuestro valor.

El punto que intento hacer es que el algoritmo ha sido generado para que la empresa tenga ganancias y luego se nos hace pensar que se trata de algún tipo de mérito nuestro. Piensen en los puntajes de crédito. Tendemos a creer que es un puntaje que depende completamente de nuestro comportamiento, pero no es cierto. Un ejemplo es el sistema que se implementó en Estados Unidos después de la crisis financiera, cuando las reglas de los bancos cambiaron y el puntaje de crédito de todos bajó, aunque la gente no había cambiado su comportamiento. Ahí puedes ver que el algoritmo tiene un enorme impacto en lo que ve y en cómo ve a las personas.

Un aspecto muy interesante de tu análisis es que los datos que damos a las aplicaciones son un campo de experimentación. Las empresas los recolectan para usarlos de una manera determinada, pero en un tiempo más los pueden usar de otra forma, los pueden recombinar y descubrir un uso que no tenían en mente cuando los recolectaron ni cuando nosotros los entregamos; pueden encontrar patrones que ni yo mismo conozco sobre mí. Eso es muy amenazante, porque las personas creen que entregan algo pero no saben cómo eso se usa cinco años después.

— Exactamente. Y así nos hemos optimizado a nosotros mismos para alcanzar algún tipo de resultado, pero en realidad no sabemos cómo se produce ese resultado. No sabemos qué se supone que debemos hacer para salir adelante o vernos bien ante el ojo del algoritmo. Así que estamos constantemente adivinando. Y, como notan ustedes, los algoritmos cambian mucho porque se puede incorporar alguna información nueva sobre ti y alguna información vieja puede ser descartada. El objetivo está cambiando constantemente. Lo único que no cambia es una especie de mandato para ti: intentar cumplir con la expectativa del algoritmo.

“El algoritmo no mira ni tu raza ni tu género, solo mira tus datos. Pero tus datos igual dicen algo sobre tu raza, género y clase social, solo que de una manera más tenue“

Y aquí hay un asunto que quiero destacar. Hasta la década de 1970 tus posibilidades de obtener un préstamo dependían mucho de tu raza y de tu género. Las mujeres no podían obtener un préstamo sin que su esposo lo autorizara. La promesa que hacen los algoritmos es que las personas serán juzgadas únicamente sobre la base de su comportamiento crediticio y no sobre la base de algún tipo de variable demográfica. Por eso, al principio, el cambio se sintió como algo emancipador y liberador. Y muchos de estos sistemas se presentan de esa manera, como más inclusivos. Y, hasta cierto punto, lo son. Con la expansión de estas métricas más personas han podido obtener crédito. Pero ¿a qué costo? La pregunta que uno puede hacerse es si es mejor no obtener crédito en absoluto que obtener crédito a un costo muy alto.

—¿Lo que proponen es que una forma de discriminar y estratificar a las personas fue reemplazada por otra que parece más democrática pero en realidad es, esencialmente, más conveniente para las empresas?

—Sí. Lo que intento decir es que no deberíamos ser ingenuos sobre lo que estos sistemas están reemplazando. Sin duda era muy difícil para una mujer ir a un banco, hablar con un agente y tratar de obtener un préstamo. Tenemos que entender que todas las sociedades estratifican, y lo hacen de distintas maneras. Hoy, la sociedad estratifica con base en datos de comportamiento. Y por eso sentimos que se trata de nuestro mérito, porque lo que se juzga es nuestro comportamiento. Pero ese comportamiento también se ve como algo productivo para las empresas. Entonces terminamos confundiendo nuestro mérito con el valor que producimos para las empresas. Y eso es lo que hace que el sistema, en ciertos aspectos, sea bastante perverso.

Por otro lado, el algoritmo no mira ni tu raza ni tu género, solo mira tus datos. Pero el hecho es que tus datos igual dicen algo sobre tu raza, género y clase social, solo que de una manera más tenue. Por lo tanto, aún puede haber discriminación, solo que es menos visible. Esto nos lleva de vuelta a la pregunta que hiciste sobre la resistencia. Puede ser más difícil movilizarse políticamente contra un sistema basado en algoritmos porque la clase estratificada es muy difícil de organizar. Las personas con puntajes de crédito bajos no se conocen entre sí. Y además, los puntajes cambian todo el tiempo: podrías tener un puntaje muy bajo este año y el próximo mejorar. Entonces no se forma un grupo que pueda movilizarse fácilmente, como lo hicieron las mujeres en los años 70 cuando dijeron “queremos acceso al crédito ahora.” Hoy no sabes quiénes son las personas que están en tu misma posición.

Por eso gran parte de la movilización política se ha orientado a exigir rendición de cuentas para ciertos tipos de algoritmos; para que, si te niegan un préstamo, el banco te diga por qué, qué hay en tu historial que causó eso. Porque ha habido casos donde estos sistemas algorítmicos se han usado de manera irresponsable. Por ejemplo, Facebook utilizó datos sobre los gustos de las personas —la música que escuchan, etc.— para producir un «índice de afinidad étnica», que era una especie de sustituto de la raza. Luego vendieron publicidad que podía orientarse usando esa variable. Pero si el anunciante la usaba para ofrecerte productos de crédito o vivienda, claramente estaba actuando en contra de las leyes antidiscriminación. Facebook tuvo problemas con eso. Otro ejemplo: un grupo de profesores que eran remunerados con base en el progreso estudiantil, demandaron porque ese progreso era medido por un algoritmo. Y ganaron. Entonces hay algunas posibilidades de resistencia. Pero, como dije, lo que hace esto difícil es que siempre está la promesa de que te irá bien si te comportas correctamente, así que es fácil creer en estos sistemas.

LOS ECONOMISTAS

¿Cómo conectas el mundo de los economistas que investigaste en tu libro Economists and Societies con esta economía digital?

—Una de las cosas sorprendentes que he llegado a comprender al examinar estos sistemas algorítmicos es que, muy a menudo, fueron diseñados por economistas. Por ejemplo, uno de los primeros argumentos a favor de usar y conservar los datos —es decir, mantener todos los datos producidos por las búsquedas de las personas y utilizarlos en publicidad— fue formulado por el economista jefe de Google, Hal Varian. Durante años, todas las grandes empresas tecnológicas como Amazon, Google y Microsoft han contratado a muchos economistas. Y ellos han sido realmente importantes en términos de aplicar la economía del comportamiento (desarrollada en parte por el premio Nobel Richard Thaler) para ayudar a diseñar sistemas que supuestamente ofrecerían incentivos para que los usuarios, digamos, compartan más datos y se ajusten a ciertos comportamientos, etc.

Todo eso es parte de la literatura del Nudge, donde intentan guiar a las personas. También fueron muy relevantes en el desarrollo de ideas sobre los efectos de red y la escala. Para los economistas los algoritmos son esencialmente mecanismos de asignación en una plataforma que intenta poner en competencia a todas las entidades —usuarios, empresas—. Y eso es exactamente para lo que están formados los economistas.

-Desde que publicaron su libro, la inteligencia artificial se ha desarrollado velozmente. ¿Qué reflexión tienes sobre eso?

— Las cosas están cambiando muy rápido y ahora estamos casi en un mundo completamente nuevo. Nuestro libro lo terminamos cuando ChatGPT estaba siendo lanzado y hoy es claro que la inteligencia artificial generativa está cambiando algunas cosas, pero también está profundizando el poder económico de las mismas corporaciones que analizamos. Cuando escribía sobre estos sistemas pensaba que su poder ya era muy grande, pero ahora, con el énfasis en el cómputo y los servicios en la nube, ese poder es varios órdenes de magnitud más grande. La inteligencia artificial generativa está creando nuevos tipos de preguntas sobre la verdad y la confianza que no estaban del todo presentes con los algoritmos. Con estos últimos te preocupabas, por ejemplo, por la difusión de información falsa; pero esos difusores aún necesitaban una especie de infraestructura de personas para transmitir la información, para sostenerla. Ahora están los chatbots y vamos a tener que empezar a preocuparnos de ellos porque todo el mundo los usa. Algunas personas lo usan como terapeuta, como amigo, como pareja, es decir, estamos entrando en algo mucho más íntimo, más profundo. Y tenemos que entender qué tipo de información está transmitiendo el chatbot y cómo va a usar los datos que las personas le confían. Sin duda, toda esta información va a ser usada para generar publicidad, para dirigir a las personas hacia anuncios. Pero eventualmente también puede ser usada para manipular tu comportamiento y, específicamente, tu comportamiento político. Así que me parece que ahora estamos entrando en la siguiente etapa de este régimen, de estas sociedades estratificadas, que es, en algunos sentidos, potencialmente incluso más inquietante.

Un buen ejemplo es lo que está haciendo Elon Musk, que tiene la idea de que la historia se está escribiendo de una manera woke y se necesita producir un acervo de conocimiento más conservador. Por eso lanzó Grokipedia, que es su versión de Wikipedia pero basada en fuentes conservadoras. Así que estamos viendo una especie de batalla por la interpretación de la historia y del acervo común. La pregunta es hoy ¿cómo se van a entrenar los chatbots actuales? ¿Será con una narrativa tipo Grokipedia o será más bien como Wikipedia?