LA IA AVANZA SIN CONTROLES DE SEGURIDAD

LA IA AVANZA SIN CONTROLES DE SEGURIDAD

Una nueva aplicación de Inteligencia Artificial ha generado revuelo por su capacidad de transformarse en un asistente personal de lujo. Pero, también ha puesto en evidencia los riesgos de la falta de control que existe en el ecosistema IA del momento, que preocupan a los expertos. 

La IA es un término usado para programas de computación avanzados que tienen la capacidad de aprender, adaptarse y actuar de forma autónoma. Esto dificulta predecir o restringir sus acciones. Lo que genera importantes complicaciones a la hora de querer controlarla, ya que las posibles complicaciones de seguridad de un sistema con tanta libertad son casi infinitas. 

A pesar de que todos los desarrolladores están al tanto del problema de control de la IA, es un tema poco entendido, poco definido y poco investigado. Una de las dificultades clave es que la IA misma no puede explicar sus decisiones.

Es lo que en el universo IA se suele llamar la “caja negra”. Tanto en un modelo de lenguaje como ChatGPT o una red neuronal profunda, hay millones de parámetros interactuando a la vez, cada vez que se le pide resolver un problema. 

Se conoce los datos en los cuales se basaron, y el resultado al cual llegaron, pero los procesos lógicos que siguieron son prácticamente indescifrables. Intentar rastrear una sola decisión es como querer seguir el rastro de una gota de agua específica dentro de una cascada. 

Así es que si bien sería posible poder saber cómo es que la IA llegó a una decisión, la complejidad es inabarcable para el ojo humano. Esto es un riesgo de seguridad, transparencia, y detección de sesgos.

La IA no es un sujeto que decida cosas, sino que es un sistema que opera mediante predicciones probabilísticas. Esas predicciones se basan en los datos con los que fue entrenada por la empresa que la creó. Las decisiones no las toma la IA, sino los humanos. 

Al elegir el conjunto de datos usados y cuales de sus propiedades a optimizar. Por ejemplo, OpenAI, creadora de ChatGPT, decidió no incluir mecanismos de verificación robustos para las respuestas que da su chatbot, porque eso alargaría la espera para la respuesta. Tomó la decisión de priorizar fluidez, sobre exactitud. Por eso a veces comete errores ridículos. 

Asistente sin control

La aplicación de IA que está generando revuelo es OpenClaw, una especie de asistente personal que puede manejar todo lo que hay en una computadora. Desde WhatsApp, el email, internet, etc. Es un orquestador de agentes gratuito y diseñado para realizar tareas complejas de forma autónoma y automática. 

Es decir, uno le da instrucciones de qué quiere que haga, como enviar mensajes, sacar pasajes de avión, hacer la compra semanal al supermercado. Todo eso y más. 

“Esta nueva ola de agentes de IA automatizadores de procesos, está abriendo una era extremadamente peligrosa en cuanto a protección de datos”, opinó Diego Fernandez Slezak, referente del mundo IA en Argentina, y director del Laboratorio de Inteligencia Artificial Aplicada de la Facultad de Ciencias Exactas y Naturales de la Universidad de Buenos Aires.

“En los últimos 15 años cualquier aplicación debía pasar por sistemas de verificación, como los de Apple Store, o el Google Store. Estas nuevas no tienen ningún tipo de control de parte de ningún sistema de verificación. Es muy preocupante que máquinas liberadas de IA tengan acceso total a lugares comunes”, opinó Slezak.

“Yo creo que el principal problema actual es la evolución que hubo en los sistemas de IA. Los famosos LLM, o Large Language Models, como ChatGPT, nacido en el 2022, eran básicamente IA entrenadas con muchos datos, pero cerradas. Es decir, operan sobre el conocimiento y entrenamiento que tienen, y devuelven una respuesta en base a esa fuente”, explicó el experto.

“El usuario de esa inteligencia artificial disponía de esa información como quería. Le creía, no le creía, la copiaba, la pegaba, lo que fuera. Eso fue evolucionando y aparecieron los llamados agentes. Estos trajeron un cambio importante, que ocurrió en los últimos meses, con respecto a los primeros modelos de inteligencia artificial generativa que teníamos hasta el momento”.

“Tienen lo que llaman las tools, las herramientas que les permiten interactuar con el mundo exterior. Eso quiere decir, son inteligencias artificiales que dan un resultado, pero ese resultado pueden usarlo autónomamente para conversar con otros sistemas. Por ejemplo, con páginas web, con bases de datos, etcétera”, agregó Slezak. “Entonces podrían, por ejemplo, interactuar con la página web de un banco. 

“Hasta hace poquito esos agentes corrían en las máquinas de las grandes tecnológicas. Eso quiere decir, vos en ChatGPT ponías modo agéntico y podía navegar páginas web para una acción. Por ejemplo, búscame todas las páginas web que hablen sobre este tema. Entonces OpenAI se conectaba a distintas páginas web y resolvía lo que uno le pedía”.

“Lo que cambió en los últimos meses, es que ahora es muy fácil instalar este tipo de tecnologías con modelos de inteligencia artificial generativo en donde el agente corre en la máquina local. En la computadora o celular de cualquier persona”. 

“Eso quiere decir, uno en su propia máquina opera esta inteligencia artificial para que navegue con herramientas de contacto externo. Entonces, por ejemplo, uno podría decirle, armate un agente con inteligencia artificial que opere mi whatsapp. Cuando me escriba tal y tal persona, contesta automáticamente. Cuando contesten estas personas, yo me voy a hacer cargo. Pagame por favor los servicios de luz que no tengo ganas de entrar al home banking”.

“Entonces, de golpe, le estamos entregando todo el control de nuestra vida privada digital a un agente que en la propia computadora puede operar prácticamente sin restricciones. O sea, que se le da acceso a una brecha de seguridad atroz a un sistema de inteligencia artificial que, como ya sabemos, y se viene viendo en el último tiempo, puede tener fallas, las llamadas alucinaciones”. 

Por la misma falta de control que suelen tener las IA, estos modelos pueden dar respuestas inventadas. Las alucinaciones, que ocurren cuando el modelo no fue entrenado con lo que se le está pidiendo, e igualmente intenta rellenar el hueco. 

A veces detecta patrones donde no los hay. O, como sucede en la mayoría de los casos, las IA no verifican hechos en tiempo real contra fuentes externas, sino que generan un texto que sea la respuesta más probable de acuerdo al material con el que fueron entrenados. 

“¿Qué pasa si las alucinaciones, en lugar de ser que pifia la fecha de cumpleaños de alguien cuando uno le pregunta, en realidad es lo que hizo mal fue una transferencia bancaria. Entonces, por esa razón es que empieza a haber riesgo por el mal uso de esta tecnología”, opinó Slezak.

Falta de control

En 2024, el experto en seguridad de IA Roman V. Yampolskiy, quien escribió un libro sobre el asunto, dijo que no existe evidencia de que la IA pueda controlarse con seguridad y que, mientras no se demuestre ese control, su desarrollo no debería continuar.

Yampolskiy dijo que los sistemas avanzados de inteligencia no van a poder ser controlados por completo nunca, siempre van a presentar un cierto nivel de riesgo. Así es que sería ideal que la comunidad de desarrolladores de IA, estuviesen más enfocados en minimizar ese riesgo, que en desarrollar nuevos agentes de IA.

Geoffrey Hinton, conocido como el padrino de la Inteligencia Artificial, dijo que desde el inicio los expertos se han enfocado tanto en que la IA funcione, que no han pensado en la seguridad, y en sistemas de control. Y sigue siendo así.

Hinton recibió el Premio Nobel de Física en 2024 por sus invenciones y descubrimientos que permitieron el desarrollo de las redes neuronales artificiales y el aprendizaje automático, es decir, lo que se suele llamar Inteligencia Artificial. Un año antes, en 2023, Hinton había renunciado a Google, para poder “hablar libremente sobre los riesgos de seguridad de la IA”.

“Por subirse a la moda de usar agentes para la automatización de procesos”, cerró Slezak, “cuando el agente pasa a tener control total de la máquina, y de la vida privada de las personas, entramos en una etapa extremadamente preocupante por la falta de control”.