Lorena Jaume-Palasí es una española experta en Inteligencia Artificial (IA), que reside cerca de Berlín. Es investigadora sobre la intersección entre tecnología, cultura, ética y filosofía del derecho. Es consejera del Parlamento Europeo y la Comisión Europea. En 2020 fue nombrada miembro del Consejo Asesor de Inteligencia Artificial del Gobierno de España, cargo al que renunció la semana pasada por no avalar un acuerdo con un centro científico de los Emiratos Árabes Unidos.
Jaume-Palasí actualmente se dedica al desarrollo de The Ethical Tech Society, un espacio experimental centrado en la dimensión de interés público de las infraestructuras tecnológicas. Como cofundadora de la iniciativa AlgorithmWatch, la española recibió en 2018 la Medalla Theodor Heuss “por su contribución a una visión diferenciada de los algoritmos y sus mecanismos de actuación”. También, es miembro del Consejo Asesor Público del centro Max Planck para Sistemas Inteligentes con su Iniciativa «Cybervalley» en Alemania. Además, dirige la secretaría del Foro para la Gobernanza de Internet (IGF, por sus siglas en inglés) en ese país.
En las últimas horas Italia bloqueó el uso de ChatGPT por no cumplir la normativa de protección de datos de la Unión Europea.
-Nos puede dar su opinión sobre el pedido hecho desde Future of Life Institute por referentes mundiales de las tecnologías disruptivas para que se pause por 6 meses el entrenamiento de sistemas como ChatGPT
-ChatGPT es una técnica que se está utilizando y actualizan sus versiones mes a mes para tener una mejor funcionalidad. Lo que están solicitando es una moratoria o una mora de 6 meses para una determinada versión que es el ChatGPT5. No se está solicitando una moratoria para el resto de la IA, es decir es algo muy concreto y muy restringido. Se pide 6 meses, lo cual es un tiempo muy corto. Yo he estado entrenando sistemas que son muchos menos complejos y hemos necesitado un año para entender qué tipo de impacto social puede tener. Se pide esta moratoria para poder desarrollar protocolos de seguridad.
-¿Pero esos protocolos no fueron establecidos previamente? ¿Parece extraño que no se hayan tenido en cuenta antes?
-No parece extraño, es así como funciona el mercado, es lo que yo llamaría el efecto Tesla. Por ejemplo, Tesla no entrena previamente a los algoritmos de sus vehículos autónomos, es decir, cuando una persona adquiere el vehículo, en ese uso se entrena a los sistemas. Por ellos los coches de Tesla son muchos más inseguros que los vehículos de otras empresas que sí vienen aplicando protocolos de seguridad de larga tradición porque usan procesos establecidos. Esto se ve mucho en el campo de la IA. Es decir, primero se prepara algo y luego se mira que pasa en su uso masivo y se va corrigiendo mientras la gente lo usa. Esta es una forma de ahorrar gastos, es una forma de poner a la gente en peligro y es típico de la IA en general. O sea, no ocurre solo con el ChatGPT. Digamos, la tecnología de ChatGPT a decir verdad, no se comporta de una manera muy diferente a otras tecnologías con IA que ya están fuera del mercado. E insisto, 6 meses para desarrollar protocolos es muy poco tiempo.
-De todas formas, esta solicitud ha tenido mucha repercusión mundial, tal vez sirva para tener más conciencia sobre este tema
-Si nos preguntamos, moratoria para qué, al final de esa carta lo que se pone es que piden moratoria para que la sociedad se adapte a esta tecnología. No se trata de proteger a la sociedad, o sea, nos proponen que nos acostumbremos. Estas tecnologías vulneran derechos fundamentales, como por ejemplo derechos medioambientales. Para mi no debemos naturalizar estas tecnologías, debemos cuestionarlas. Contamos con tecnologías mucho menos complejas y potentes. Ahora, para graficar, solo en entrenamiento de estas tecnologías durante 9 días se necesita el consumo energético de cuatro viviendas familiares en un año. Esto va unido al alto gasto de agua potables, ya que los servidores de estos laboratorios o empresas tienen que ser enfriados con agua potable. Los servidores por lo general están instalados en zonas agrarias donde usan grandes cantidades de agua potables para enfriar los servidores. Y esa agua, luego no se puede reutilizar.
-¿Somos un laboratorio mundial en tiempo real de estas tecnologías?
-Creo que hay una codificación de comportamiento colonial mediante la automatización, en la que estamos utilizando tecnologías extremadamente extractivistas, que necesitan muchas materias primas, que están precisamente en regiones como Latinoamérica, y que necesitan suministros continuos y regulares. Estas tecnologías requieren de recursos que van a costas del mundo, pero que benefician a algunos pocos. Estas tecnologías reflejan el privilegio de esos pocos en el mundo sobre el resto. Estas herramientas como ChatGPT no son solo programas, o software. Son infraestructuras, son edificios enormes que se montan. Y detrás de ellas vienen negocios o sistemas educativos con grandes vulnerabilidades. Invierten mucho dinero, generan muy poca mano de obra, tienen bajo costo y tienen un muy alto impacto social. El propósito es crear infraestructura que genere mucha dependencia de manera horizontal.
-¿Hay algún uso de ChatGPT que le parece útil para la sociedad?
-No, yo lo prohibiría.
-No ve ningún aporte
-Lo que es interesante en este debate es que determinados riesgos se han expuesto en la prensa respecto a temas como la desinformación, el plagio, el fraude en exámenes, o el cuestionamiento a artículos que se han presentado en revistas científicas, o concursos literarios desbordados de participantes, por ejemplo. Pero creo que hay otros temas que son mucho más interesantes, como puede ser que este tipo de tecnologías conllevan un proceso de limpieza y moderación de vocabulario abusivo, de descripciones de abusos sexuales y de violencia sexual, de todo tipo de atrocidades. Y esta limpieza o moderación de contenidos la realizan personas africanas en Kenia. O sea, estas personas están haciendo este trabajo de limpieza para que todos los demás no nos traumaticemos, pero se está traumatizando a esas personas con esas tareas. Esos son trabajos que están hechos en condiciones infrahumanas durante 10 horas al día por una paga de 1,5 o 2 dólares al día.
-¿Los cientos de principios, marcos éticos y declaraciones formuladas en los últimos años desde distintos sectores sobre el uso de la IA no han sido suficientes para advertir sobre los riesgos de esta tecnología?
-Hace 15 años que hay investigaciones hechas desde lugares no hegemónicos como son los empresarios y científicos hombres, blancos y occidentales, y desde esos otros lugares se viene advirtiendo y argumentando que estas tecnologías deben ser desarrolladas de manera menos vertiginosas, cuidando el ambiente y los derechos humanos, o sea, sopesando mucho más qué estamos desarrollando. Y a estas voces no se les ha prestado atención.
-Respecto a las políticas regulatorias que han surgido en los últimos años por el lado de los organismos de la Unión Europea, qué opina, qué avances han traído y qué cuentas pendientes piensa que aún hay.
-La crítica es positiva porque nos permite en muchos casos saber dónde y cómo no empezar. Si uno entiende dónde está el problema, se puede gestionar el problema de forma diferente. Creo que en la Unión Europea hemos hecho un mal trabajo de diagnóstico, y tenemos un enfoque muy centrado en lo que son nuestras ideas de lo que es un problema o lo que es ético, e intentamos poner una idea universal y global. Esto es imposible porque en cada país las situaciones son diferentes. No debemos crear regulaciones con la colonialidad con la que los europeos piensan. Por mi experiencia asesorando en el Parlamento Europeo y en la Comisión Europea, creo que en estos ámbitos no se está interesados en regular estas tecnologías. Lo que se pretende es regular a las grandes empresas que producen IA. Es una regulación más de cara a productos que vienen del extranjero, y menos respecto a una realidad del mercado europeo, que está principalmente configuradas por pymes con otras realidades. Hay un tratamiento como si estuviéramos en un tiempo de la Guerra Fría, queriendo que la Unión Europea sea la que crea “buena tecnología”. Pero como no tenemos buen desarrollo tecnológico, digamos nosotros tenemos investigación fundamental en este campo, pero no tenemos aplicaciones de mercado, queremos paliar esto con regulaciones. Y también, vuelvo a insistir, no hay una noción de la batalla global sobre los suministros necesarios para implementar estas tecnologías.
-¿Discriminación y manipulación son tal vez dos de los mayores riesgos y afectaciones que pueden traer el mal uso de la IA? ¿Hay otros?
-Lo que está marcando la tecnología que hacemos es siempre el pensamiento con el que la hacemos, es decir los propósitos y el contexto en el que se la usa. Por eso la tecnología que tenemos hoy es problemática porque por el momento quienes la imponen, quienes marcan la forma de automatizar las cosas, somos occidente. Y esa mirada occidental es racista, es patriarcal, es simplista, y es colonial. Cuando hacemos un diagnóstico sobre qué son los derechos humanos, creo que es una forma de encubrir que traemos un pensamiento colonialista al siglo XXI. Porque muchas de estas tecnologías que estamos haciendo están codificadas con teorías que creamos en el siglo XIX, por eugenistas como Francis Calton y sus estadísticas biométricas que ayudaron a legitimar la esclavitud. Yo veo que estos sistemas amplifican y encubren problemas y dinámicas ya existentes. Quienes padecen las asimetrías de la sociedad son quienes, sin saber sobre estas tecnologías, más sufren a estos sistemas y ven sus efectos.
-El uso de tecnologías como la IA ponen mucho énfasis sobre el valor de los datos. ¿Nos estamos datificando de más?
Un dato es un mapa, y un mapa no es un territorio. Ahí ya hay una distorsión. Cuando convertimos algo en un dato, decidimos que hay otras cosas que no se convierten en datos, y como no están, no se ven. Hay que ver qué decidimos cartografiar. Muchas veces creemos que los datos que tenemos es el punto de partida sobre la verdad. Y los datos pueden confundirnos sobre las preguntas correctas que deberíamos hacer. Un ejemplo, en España se programan los semáforos con IA, y el punto es que no se hace la pregunta de para qué estamos optimizando un sistema de regulación de la velocidad de los vehículos. ¿Lo hacemos para que los automóviles tengan una ola u onda verde, o para que el tráfico esté pacificado? Son dos cosas totalmente diferentes. ¿Se piensa en base a qué velocidad promedio se calcula, si es la velocidad promedio de un peatón joven y sano, la velocidad de un anciano, de mujeres con niños? El resultado final irá en detrimento de alguno de estos grupos. Y lo que vemos en las estadísticas es que cuando las personas están en la calle, en un 30 por ciento de los accidentes en calles de ciudades en España quienes fallecen son varones. Pero siendo mujer, el dato estable en los últimos 20 años es que fallecen en un 80 por ciento en las mismas circunstancias. Los seres humanos somos quienes implicamos de manera directa o indirecta cuál es el propósito que queremos buscar con el uso de estas tecnologías. Si queremos menos accidentes no deberíamos priorizar las ondas verdes. El incentivo es una forma de conducir más agresiva. Los sistemas por muy complejos que sean solo pueden optimizar una sola cosa, y todo los demás se debe optimizar con otros sistemas o manualmente, o con otras decisiones.
-¿Ve usted algún uso de IA que sea beneficioso para la humanidad?
- Yo creo que lo debemos preguntarnos no es qué buenos usos hay de IA, sino en qué contexto tendría sentido usar este tipo de tecnología. Y te van a salir muy pocos contextos, en los que realmente tengas tantos datos masivos. El punto con la IA es que proviene de un pensamiento bastante colonialista y se ofrecen muchas más promesas, y la realidad es que las posibilidades concretas son muy limitadas. En todos los trabajos que he visto de desarrollos de IA los beneficios son para pocas personas. ¿Para quienes queremos optimizar un sistema? Y el punto es que se ha invertido en una infraestructura que cuesta millones, que empieza a trabajar luego de al menos 5 años estructurando datos, y cambiando procesos para adaptarnos a esas tecnologías. Y si esto beneficia a unos pocos, me parece un poco loco. Y si soy sincera, cada vez más hay más gente que se plantea: si lo puedes hacer con menos datos, si lo puedes hacer con una tecnología que consume menos energía, si lo puedes hacer con una tecnología que la puedes controlar mejor; ¿por qué hacerla con IA? Un ejemplo, en la Unión Europea no hemos llegado ni a un 30 por ciento de empresas que utilizan IA. Es más, hay empresas que afirman que la utilizan, pero la verdad es que utilizan trabajadores en el norte de África que se les llama “el turco mecánico”, y lo que hacen es una tarea manual como si fuesen IA. Esa es la realidad del mercado.
-Pero hay un relato que parece imponerse en el mundo sobre las ventajas de utilizar IA
- Estamos hablando de tecnologías que funcionan con estadísticas, y por esta razón inherente no habrá modelos que sean perfectos. Y esto conlleva que no vamos a poder predecir, porque la estadística se basa en el pasado. Y hay pocas situaciones en las que podemos asumir que el futuro será como en el pasado. Sobre todo, en épocas tan turbulentas como las presente. Es difícil usar modelos que miran el pasado y se datifican en ese pasado. Pero si podemos usar modelos para ver que no queremos hacer. Hay formas de datificar que no necesitan IA, y esto es importante tenerlo en cuenta.
-Sus años de investigación la ponen en un lugar en la que cuestiona el desarrollo de estas tecnologías disruptivas, ¿es así?
-Si hay algo que nos define como seres humanos es la interdependencia y la vulnerabilidad. Debemos poner este valor por encima y entender que somos animales sociales. Debemos valorar que todos podemos hacer algo de manera diferente. Si bien no podemos salir de la tecnología, porque todo lo que tenemos es tecnología, el lenguaje es tecnología, todo lo que hacemos se basa en diferentes formas tecnológicas. Debemos entender que la tecnología no es un principio, es un instrumento. No es un objetivo en sí. Un principio tiene un objetivo en sí, pero la tecnología no la tiene.
