La politóloga estadounidense analiza cómo afecta a los más vulnerables la aplicación de la inteligencia artificial a la gestión de recursos públicos. La autora de La automatización de la desigualdad advierte sobre la “discriminación racional” que se esconde tras la pretendida asepsia de la informática, sostiene que los algoritmos son herramientas cargadas de ideología y anuncia que se avecina “una buena lucha” en torno a este debate.
Donde otros ven cifras, ella ve historias personales. Así puede resumirse la aportación de la politóloga Virginia Eubanks al debate sobre la gobernanza algorítmica. Todo lo que había leído esta tejana de 50 años sobre el uso de la inteligencia artificial en la gestión de recursos públicos era demasiado teórico, así que decidió ponerle rostro. En su libro Automating Inequality, traducido por Capitán Swing como La automatización de la desigualdad, Eubanks demuestra que el uso de estos sistemas por parte de la Administración a menudo perpetúa las desigualdades y castiga a los pobres. Llegó a esa conclusión estudiando en profundidad tres casos en Estados Unidos y haciendo algo que, por obvio que parezca, nadie había hecho antes: escuchar a quienes habían sufrido en primera persona lo injusta que llega a ser la automatización de los servicios.
Comprobó que el algoritmo que se usa en un condado de Pittsburgh para anticipar si un niño sufrirá malos tratos durante sus primeros cinco años de vida penaliza más a los afroamericanos que a los caucásicos. Retrató el absurdo de que una máquina elija quiénes de los 60.000 sin techo que había en Los Ángeles en 2017, cuando publicó el libro, tienen derecho a una vivienda social, sabiendo que 25.000 se quedarían en la calle. Mostró cómo un sistema informático que automatizaba en Indiana la admisión de solicitudes de asistencia social acabó denegando un millón de ayudas por supuestos errores en la tramitación que resultaron no ser tales. Los programas informáticos se han colado en la Administración y parecen remar en una misma dirección: austeridad y marginación de los menos pudientes.
“Lo que me resulta más interesante es pensar qué dice de nosotros como sociedad el haber decidido que cuestiones como estas se automaticen”, reflexiona la profesora de Ciencia Política en la Universidad de Albany, Nueva York. El discurso de Eubanks destaca precisamente por su mirada humanista, alejada de la frialdad de los científicos de datos e ingenieros que suelen monopolizar estos debates. Tiene claro que la tecnología se usa en este contexto como herramienta política, sirviéndose del supuesto halo de eficiencia ideológicamente aséptica que se le suele atribuir a los ordenadores.
¿Cree que hay una agenda política detrás de la aplicación de los algoritmos que describe en su libro?
Se alinean notablemente con la doctrina de la austeridad y el hipercapitalismo. Particularmente con algunas ideas muy populares en Estados Unidos, como que la Administración nunca tendrá recursos suficientes para todos y que habrá que buscar el modo de tomar decisiones difíciles para ver quiénes pueden disfrutar de esos recursos y quiénes no. El algoritmo usado en Los Ángeles para determinar a qué sin techo se le asigna una vivienda, por ejemplo, nos permite evitar tener una conversación muy difícil en torno al hecho de que en 2021 haya 67.000 personas sin hogar en la ciudad. Supera en 17.000 personas la población de Troy, la localidad en la que vivo. Estamos hablando de una tragedia de derechos humanos. Estas herramientas se usan en cierta medida para encubrir políticas que no quieres que se consideren como tal. Políticas negativas, de hecho, de cuya responsabilidad te eximes: yo no tomé esa decisión, lo dijo el ordenador. ¡Está bien que miles de personas vivan en tiendas de campaña en Los Ángeles, veamos cómo acomodamos a los que podamos!
Dice que es peligroso que se crea que estas herramientas son apolíticas; que se piense que no toman decisiones, sino que mueven información y mejoran procesos.
Exacto. Eso pasó con el algoritmo de monitorización de familias del condado de Allegheny [Pensilvania]. Se creyó que los ordenadores procesan mejor la información que los asistentes sociales, así que por qué no delegar en ellos la decisión de dónde actuar. ¡Eso denota una gran desconfianza en la Administración! Rhema Vaithianathan [la economista que lo diseñó] es muy buena científica de datos, pero no es politóloga. Decidir si unos padres son aptos o no para criar a sus hijos es un proceso realmente importante y muy diferente de mover información de un lado a otro. La política no es una ciencia, es algo terriblemente humano. Esta dimensión debería estar presente siempre que se tomen decisiones, haya o no algoritmos en el proceso.
El caso del algoritmo de Allegheny resulta llamativo. El Gobierno de Nueva Zelanda del conservador John Key le encargó a Vaithianathan y su equipo desarrollar un modelo estadístico para estimar qué niños tienen mayores posibilidades de sufrir malos tratos o abandono a partir de datos recogidos sobre los padres que interactúan con los servicios sociales, con protección a la infancia y con el sistema penal. El cálculo se hacía antes de que nacieran los pequeños, analizando el historial de los progenitores. Fue un fracaso. Un grupo de investiga reveló que el programa se equivocaba en el 70% de los casos y el proyecto se paró en 2015, antes de que se aplicase sobre una muestra de 60.000 recién nacidos.
Para entonces, los desarrolladores de ese sistema ya habían conseguido un contrato para crear un modelo de predicción de riesgos similar en el condado estadounidense de Allegheny. Se creyó que asignar a cada embarazo una puntuación a partir del análisis de 132 variables, que tenía en cuenta desde la edad de la madre o si el niño vivía en una familia monoparental hasta los antecedentes penales de los padres o si estos recibían ayudas públicas, permitiría hacerse una idea de dónde estaban los progenitores conflictivos. Si la calificación final era alta, los asistentes sociales se pasaban a comprobar que todo estuviera en orden. Aunque fuera una falsa alarma, cada visita domiciliaria queda registrada en el sistema, lo que puede ser un agravante en un futuro.
La investigación de Eubanks demuestra que el sistema perjudica claramente a los más pobres, que en EE UU suelen ser negros y latinos, porque interactúan más que el resto con el sistema público. Y el algoritmo se nutre de datos aportados exclusivamente por el registro público, con lo que las clases medias y altas, que cuentan con coberturas privadas, prácticamente no figuran ahí. Lejos de haberse retirado del funcionamiento, el ASFT (así se llama el algoritmo de Allegheny) sigue operativo y se ha replicado en varias poblaciones del país.
Usted subraya que programas como este tienen cabida en EE UU debido a la concepción que se tiene allí de la pobreza.
Así es. En mi país predomina una forma muy particular de ver la pobreza en la que manda el discurso de la culpabilidad: quien está en esa situación lo está por su inacción o incompetencia. Hay un cierto rechazo a enmarcar la discusión como un asunto de derechos humanos, no existe la idea que se tiene en Europa de que hay un nivel por debajo del cual no es tolerable que alguien esté. No puedes tomar una decisión lo suficientemente mala como para que merezcas vivir en una tienda en medio de la calle durante una década. O perder la custodia de tus hijos porque no puedas afrontar el pago de un medicamento que necesiten. Cuando cuentas a un europeo que los pobres en EE UU tienen que demostrar que son seleccionables para recibir asistencia médica gratuita te miran como si estuvieras loca. En mi país bebemos de las estrategias de gestión moralista y punitiva de la pobreza que nos acompañan desde 1820, cuando ser pobre era sinónimo de madores
“La aplicación de algoritmos a políticas sociales se alinea con la doctrina de la austeridad y con el hipercapitalismo”
o vago y se encerraba a quienes no eran capaces de mantenerse en los asilos para menesterosos. Afortunadamente parece que hay algún atisbo de cambio con el presidente Joe Biden, como se ha visto con la acogida de niños que cruzan la frontera de México, algo que por otra parte es completamente normal en las democracias avanzadas.
Han pasado cinco años desde que publicó el libro y este tipo de algoritmos siguen siendo adoptados por las administraciones.
La pregunta entonces es por qué. Sospecho que la tecnología nos ofrece una excusa para no hacer nada por solucionar problemas sociales cada vez más críticos. Y creo que eso es increíblemente atractivo. Volvamos al caso de los sin techo de Los Ángeles. Los funcionarios tienen decenas de solicitudes de alojamiento cada día y solo una o dos plazas que dar. No envidio estar en esa posición. El algoritmo al final es una forma de eximirnos de las consecuencias humanas de las decisiones políticas. Es atractivo, ahorra dinero y es políticamente muy viable. Pero en cierto sentido abunda sobre algo mayor: toda la ciudad está construida para no ver esa realidad. Los pobres usan el transporte público mientras que el resto se mueve en coche, las tiendas de campaña están apartadas de los vecindarios…
¿Hay algún ejemplo que no incluyera en el libro que le llame especialmente la atención?
Me interesan mucho ahora los sistemas que identifican los supuestos sobrepagos del Estado en forma de asistencia pública, luego los convierten en deuda y finalmente la cargan sobre familias trabajadoras pobres. En Illinois, por ejemplo, la Administración enviaba unas 23.000 notificaciones de este tipo al año. Las cartas te dicen que te pagaron de más en 1985, que ya no se puede recurrir y que nos debes tal cantidad de dinero: nos lo puedes pagar de golpe, entrar en un plan de pagos o afrontar penas civiles o criminales. Las deudas son de 400 a 20.000 dólares y penden sobre personas vulnerables. La mayoría de las que yo contacté eran mayores sin recursos. La gente está aterrorizada: no saben qué hacer, no se acuerdan de qué hicieron en 1985. En Australia vi algo parecido, el Robodebt, pero era más visible al tratarse de una medida federal. En EE UU es más difícil de ver porque cada Estado funciona por libre. Según mis estimaciones, puede haber centenares de miles de familias afectadas. Ves a gente de 75 años llegando a acuerdos para pagar cinco dólares al mes durante el resto de su vida. Es una extorsión intolerable e innecesaria, el tipo de cosas que es posible gracias a los algoritmos: todas las bases de datos están conectadas ahora, así que alguien pensó que estaría bien desarrollar un software que identifique supuestos errores y mande cartas para que se corrijan.
Esto tiene que ver con lo que usted llama discriminación racional.
Sí. No es que haya un grupo de trajeados decidiendo a quién perjudicar. No es intencionadamente discriminatorio, pero la forma en que los datos, las agencias y los programas están estructurados crean este sistema con impactos increíblemente discriminatorios sobre ciertos colectivos.
¿En qué está trabajando ahora?
Desde que publiqué La automatización de la desigualdad ha habido una explosión en torno a la conversación sobre gobernanza algorítmica, sesgos algorítmicos y otros temas relacionados. Ha sido muy estimulante ver cómo proliferaban los libros sobre esta temática. Pero todavía me parece que en este debate faltan cosas importantes. Una de ellas es escuchar las voces de las personas que se ven afectadas más directamente por esas tecnologías y herramientas, y no tanto a los ingenieros, académicos e investigadores que hablan de ellas. Y la otra es una perspectiva global: esto no es cosa de EE UU o de España, está sucediendo en todas partes, hay una agenda que quiere colocar estos sistemas. Así que mi nuevo proyecto, en el que trabajo junto a Andrea Quijada, de la Universidad de Nuevo México, consiste en recoger historias orales de 12 países para asegurarnos de que se representa en la conleante versión el testimonio de la gente que se ve directamente afectada por estos algoritmos. Y en conectarlas entre ellas para sacar patrones. De hecho, una de las razones por las que he viajado a España es para recoger algunas de esas historias. Sobre el ingreso mínimo vital y algunas otras cosas que prefiero no contar todavía. Esto nos llevará unos dos años y pensamos escribir un libro con ello.
¿Tiene alguna conclusión preliminar?
El contexto en el que trabaja cada algoritmo es muy importante. Esto no funciona desplegando una herramienta en un sitio cualquiera y ya está. Por ejemplo, en Australia se ha hecho una prueba a raíz de la pandemia para transferir todas las prestaciones sociales a una tarjeta de crédito. Te dan fondos, pero solo los puedes gastar en lugares aprobados por el Estado. Y eso es un problema si eres una persona pobre de clase trabajadora, ya que en ese caso tienes que ser muy flexible en la manera en la que gastas. Hay gente a la que no le da para un piso y solo alquila una habitación o vive en una casa de huéspedes; en ambos casos, a ojos del sistema, no tienes un contrato de alquiler. El resultado es perverso: no puedes gastar esos fondos aunque te los hayan dado. También puede suceder que tengas un pequeño negocio y no puedas comprar suministros en Etsy o Ebay, que son más baratos, porque la tarjeta no te deja en esos sitios.
¿Es factible sacar patrones globales de herramientas con efectos tan locales?
El contexto local y político es muy importante. No quiero ser una determinista tecnológica y decir que cuando aparece una de estas herramientas todo cambia para mal. Pero el algoritmo de monitorización de familias de Allegheny, que fue retirado de Nueva Zelanda, se ha extendido a otros 12 lugares de EE UU. Estas herramientas viajan. Y creo que es muy interesante verlas en distintos países, tanto para comprobar si se aplican de la misma forma como para ver en qué cambian. Si ese mismo algoritmo aterriza en Portugal y su efecto es distinto, sería interesante ver por qué. Quizás podamos ayudar a que quienes tratan de proteger los derechos humanos de la gente que se ve coartada por el Estado de bienestar digital puedan ver cómo funcionan estos mecanismos en otros lugares y establecer conexiones. O que si esta herramienta se intentó instaurar en Nueva Zelanda y la gente dijo no, ¿por qué no hacer lo mismo en Pittsburgh?
¿Hay forma de que quienes sufren los efectos negativos de los algoritmos puedan evitarlos?
Estas herramientas cambian cada vez que la clase obrera pobre siente su poder. Creo que en EE UU estamos en un momento ahora mismo en el que lo sienten, o al menos lo tienen. Se está hablando por ejemplo sobre si se deberían recibir subsidios por desempleo más generosos de los que se dieron durante la pandemia. Habrá una buena lucha en torno a este debate.
¿Cómo se puede luchar contra la proliferación de la automatización en la gestión de servicios sociales?
Creo que en los últimos tiempos estamos viendo muchos más desafíos directos a este tipo de herramientas, la mayoría relacionadas con la justicia criminal y con el uso por parte de las fuerzas de seguridad de sistemas apoyados en la inteligencia artificial. En Los Ángeles hay una campaña contra los drones policiales. También hay otra iniciativa contra el uso del reconocimiento facial por parte de la policía que está triunfando en varias ciudades del país. Es importante no asumir que los cambios que se derivan de la aplicación de nuevas tecnologías son inevitables.
Es difícil que la gente proteste contra un algoritmo que gestiona recursos públicos si ni siquiera sabe que existe.
Es un tanto intrigante que cuando pensamos en tecnologías amenazantes para nuestras vidas nos fijemos más en herramientas policiales que en las que se usan en la administración del Estado de bienestar, cuando lo segundo no es menos importante. Alguien me dijo una vez que diferenciamos inconscientemente en función de si es un servicio de apoyo o punitivo, independientemente de que los resultados de las políticas en cada caso puedan ser igualmente negativas. En cuanto a cómo visibilizar esta realidad, me parece que todos ganaríamos si se tuviera más en cuenta a quienes sufren las consecuencias de un algoritmo que le deniega prestación médica a su hija de seis años con discapacidad y dependiente por no rellenar una documentación que se le envió telemáticamente. Quizás sería más fácil ver a qué nos enfrentamos escuchando a quienes lo han vivido que tratando de buscar modelos filosóficos justos.
“Esto no es cosa de Estados Unidos o de España, está sucediendo en todas partes. Hay una agenda que quiere colocar estos sistemas””
