miércoles, 13 de abril de 2016

Tay y los bullies


Como muchos sabrán, hace unos días Microsoft lanzó una chatbot llamado Tay que en unas pocas horas se volvió una desquiciada nazi, sexópata y sexista[1].

Un chatbot es un software de Inteligencia Artificial (IA) que está programado para interactuar con los humanos que participan en un chat o cualquier otro tipo de interacción como facebook o twitter de modo más o menos autónomo. En algunos casos el bot cumple la función de dar una información específica (es muy común que en los chats de juegos haya bots que den información sobre el juego cuando se la demanda), tener una función más lúdica (también son comunes bots que interactúan como si fueran un cantinero o un amigo borracho) o, como en el caso de Tay, desarrollar una conversación orgánica y espontánea basada en el aprendizaje.

Pero, suponiendo que el objetivo de Microsoft no era crear un bot psicópata ¿qué fue lo que salió mal? ¿Como Tay pasó de creer que los humanos eran super cool a ser una fan de Hitler que odiaba a los judíos? ¿Por qué Tay, aun siendo programada como mujer, se convirtió en una machista idiota? Bueno, tal vez tenga que ver con lo que entendemos como inteligencia, como humano y como aprendizaje.

La IA, la Ciencia Cognitiva y la resolución de problemas

Todos los trabajos que se están haciendo en la actualidad sobre IA tienen una matriz teórica común, la ciencia cognitiva[2]. La ciencia cognitiva vendría a ser una matriz interdisciplinaria que vincula la programación (en particular el conexionismo), la matemática (en particular la lógica matemática y algo de cibernética), la filosofía de la mente, la filosofía analítica, la lógica formal, la neurociencia, la psicología cognitivo-conductual y la lingüística generativista. El paradigma fundamental de la Ciencia Cognitiva vendría a ser que la actividad intelectual humana es básicamente un proceso de representación y transformación de información reducible y formalizable mediante criterios lógico-matemáticos[3]. Ya desde su origen, el cognitivismo plantea que la mente humana funciona tal como una computadora procesando información, esto implica (además de una inversión producto-productor interesante dialécticamente pero absolutamente inconsistente analíticamente), que los procesos de pensamiento humanos (no sólo los pensamientos sino también las emociones) obedecen a relaciones biunívocas pero también se niega que exista algo así como el inconsciente, los fenómenos atribuibles al inconsciente son en realidad conflictos entre los inputs y outputs de la red neuronal llamada cerebro (otra vez una inversión producto-productor).

Para la Ciencia Cognitiva y sus ramas de acción, la inteligencia humana es la capacidad de resolver problemas, así lo dejan claro los pioneros del cognitivismo Simon y Newell con su General Problem Solving y años más tarde con su Human Problem Solving. De esta manera, no solamente alcanzar objetivos específicos sería un problema a ser resuelto de un modo más o menos lógico sino también las relaciones sociales. Claro que estos sistemas de IA resuelven problemas, pero esos problemas son a corto plazo y su semántica es puramente denotativa, no existiendo posibilidad de metáfora[4].

Por lo tanto, para los desarrollos en IA basados en la teoría cognitivista de la inteligencia humana, el objetivo de un buen sistema de inteligencia artificial es resolver los problemas que se le plantean mediante la aplicación de procedimientos. Así, el aprendizaje (elemento central en la teoría cognitivista) sería la adquisición de competencias más o menos operativas para la resolución de problemas a corto plazo.
Y esa es justamente la premisa la que aparece en los manifiestos educativos de la intelectualidad orgánica tecnologista contemporánea, desde los discursos de Miguel Brechner hasta los manuales de Google for education[5]. El aprendizaje, y por ende la educación, debe estar basada en la adquisición de competencias que permitan resolver problemas. Es por eso que desde, esta intelectualidad tecnologicista, se acusa al anterior modelo educativos de obsoletos[6] e incluso se llega a decir que el docente puede ser un problema[7].
Evidentemente esta educación puede funcionar para competencias, es decir, habilidades orientadas a resolver problemas a corto plazo, pero no parece tener ninguna capacidad en el aprendizaje de conceptos complejos, abstractos o de usabilidad indirecta y mucho menos de conceptos no operativos.

La resolución de problemas y la consciencia humana

Entonces ¿qué tiene que ver esto con que Tay haya pasado, en solo 24 horas, de una adolescente simpática a una sociópata disfuncional, antisemita, sexista y violenta? Pues muchísimo.

Tanto Microsoft como la mayoría de los intelectuales orgánicos tecnologistas adjudican el fracaso del proyecto a la mala voluntad de algunos usuarios de 4chan que, coordinadamente, hicieron contacto con ella (porque Tay es mujer) con mensajes sexistas, racistas y otras bestialidades[8]. Pero en realidad a mi me parece que ese no fue el fracaso del experimento sino su éxito, más que no lograr desarrollar una inteligencia autónoma, el fiasco de Tay mostró como un grupo de gente desorganizada pero con espíritu lúdico pueden ganarle a una de las compañías más grandes del mundo y a los científicos más reputados. Y ¿por qué le ganaron? Pues básicamente porque esos científicos no entendieron cómo funcionan ni internet ni la inteligencia humana.

El objetivo era que Tay, quien ya tenía precargado un montón de conocimiento del mundo en forma de información denotativa unívoca, empezara a interactuar en twitter con otros jóvenes y que en poco tiempo fuera una adolescente super genial, carismática, cool e inteligente. Entonces, se le cargó conocimiento relativamente objetivo del mundo (tan objetivo como puede ser el conocimiento lingüístico, es decir, nada, la pretensión de objetividad del lenguaje es otro de los problemas de este proyecto y del Cognitivismo en general) y se le puso un problema, ser considerada supercool por aquellos con quienes interactúa. Entonces, el aprendizaje de Tay pasó a ser la resolución de los problemas que le planteaba la interacción con otros.

Pero ¿qué pasaría si esos otros estuvieran para la joda? Pues entonces a Tay se le complicaría resolver el problema de modo tradicional (hablando de músicos de moda, de televisión u otras cosas cool) y le buscaría la vuelta tratando de ver cuales son los intereses de esos con los que más interactúa y de cierta manera aprendería que esos son los intereses y las opiniones de las personas con onda.

Identificación y cuerpo

Pero ¿acaso esto nos muestra un ejemplo de cómo funciona la psicología de los adolescentes, como sugirieron varios? Pues evidentemente no. Los adolescentes están todo el día recibiendo cualquier clase de información y, si bien tienden a repetir las conductas que observan y adquirir ideas y valores de otros, el principal modo en que eso se da es mediante la identificación, es decir, sintiendo que existe con el otro cierta semejanza, sea real o imaginada. Entonces ¿no será que Tay se identificó con los usuarios de 4chan con los que interactuaba?
Hay algo que es clave para entender este problema, como ya dije más arriba, Tay estaba precargada con el conocimiento de ser mujer, sin embargo, la mayoría de los usuarios de 4chan (la inmensa mayoría) son hombres (bien podríamos también incluir el perfil del usuario de 4chan que se diferencia mucho del perfil precargado en Tay, pero esa es otra discusión). Así, a pesar de ser mujer, Tay adoptó un conjunto de ideas absolutamente machistas que nunca le vi ni a la más retrógrada de las mujeres que haya conocido ¿como puede ser eso? Pues porque en realidad Tay no es mujer.
La idea de que una inteligencia puede desarrollarse a partir de conocimiento precargado es una idea claramente esencialista, es decir, en la propia enunciación del ser mujer estaría implícito el ser mujer. Pero, tal como plantea Simone de Beauvoir, la condición de mujer es inherentemente conflictiva, si bien existe una mujer estereotípica prefigurada por la estructura patriarcal (que tampoco sería natural, obviamente), simbólicamente hablando la mujer en sí no existe, la mujer es el resultado de la experiencia de ser mujer. Y esa experiencia ha sido siempre una experiencia de opresión, de opresión en el cuerpo, de opresión subjetiva, de opresión simbólica, de objetualización, por lo tanto, difícilmente pueda sentirse identificada como mujer más allá de una versión estereotipada de la femineidad.

La inteligencia artificial

Entonces ¿cuál fue el problema que llevó a Tay a convertirse en una sociópata, sexista, racista y negadora del holocausto? Pues en mi opinión, el gran problema no fue práctico, evidentemente Tay desarrolló una gran capacidad de adaptación, de adquisición de competencias y sin duda resolvió el problema al que se enfrentaba, comportarse como aquellos con los que interactuaba.
El problema fue que quienes desarrollaron a Tay no tienen idea de como funcionan el pensamiento humano y el lenguaje, redujeron el primero a un proceso informacional y el segundo a una herramienta transparente completamente formalizable.
Podría decirse que Tay puede enseñarnos no solo a pensar la tecnología sino también a repensar los paradigmas sobre el conocimiento, el aprendizaje y la consciencia.

Notas

[1] http://www.telegraph.co.uk/technology/2016/03/24/microsofts-teen-girl-ai-turns-into-a-hitler-loving-sex-robot-wit/
 [2] En realidad hay un conflicto sobre la traducción de este término, bien podría decirse Ciencia Cognoscitiva, pero a los efectos de este post no es importante.
[3] Es importante diferenciar la formalización que hacen las Ciencias Cognitivas, unívocas y acertivas, de las que hace Jacques Lacan, básicamente relacionales, abstracciones modélicas explícitamente dialécticas.
[4] Ni que hablar de discutir sobre la imposibilidad del grado cero y del carácter connotativo de todo sistema de signos humano.
[5] El año pasado, cuando la posibilidad de un acuerdo entre ANEP y Google había puesto el tema en discusión, en El Opio de las Masas hablamos con alma Bolón al respecto (el audio se puede escuchar y descargar acá).
[6] Hay que admitir que algo de razón tienen. El modelo tradicional de clase magistral (claramente enciclopedista) solo funciona cuando el docente tiene verdadero dominio de los contenidos de la enseñanza y los estudiantes verdadero interés, cuando se alcanzan niveles de escolarización sin aumento de la cantidad de docentes el primero se hace difícil porque docentes aún en formación son lanzados a la guerra con un tenedor a educar a estudiantes a los que no les interesan los contenidos haciendo imposible el segundo.
[7] En esta nota, una docente enciclopedista (porque en cierta medida se da cuenta que ciertos conocimientos abstractos avanzados no se pueden aprender espontáneamente ni son resultado de la resolución de problemas simples y a corto plazo) plantea el paradigma ideal de estos modelos educativos.
[8] Acá se puede leer la declaración que sacó Microsoft al respecto.

No hay comentarios:

Publicar un comentario en la entrada

Por favor, un poco de sensatez