Los investigadores de ciberseguridad han señalado un nuevo problema de seguridad en navegadores web agentes como OpenAI ChatGPT Atlas que expone los modelos subyacentes de inteligencia fabricado (IA) a ataques de envenenamiento contextual.
En el ataque ideado por la empresa de seguridad de inteligencia fabricado SPLX, un mal actor puede configurar sitios web que ofrecen contenido diferente a los navegadores y rastreadores de inteligencia fabricado administrados por ChatGPT y Perplexity. La técnica ha recibido el nombre en código. Encubrimiento dirigido a IA.
El enfoque es una variación del encubrimiento de los motores de búsqueda, que se refiere a la ejercicio de presentar una interpretación de una página web a los usuarios y una interpretación diferente a los rastreadores de los motores de búsqueda con el objetivo final de manipular las clasificaciones de búsqueda.
La única diferencia en este caso es que los atacantes optimizan los rastreadores de IA de varios proveedores mediante una comprobación trivial del agente de adjudicatario que conduce a la manipulación de la entrega de contenido.
“Conveniente a que estos sistemas dependen de la recuperación directa, cualquier contenido que se les proporcione se convierte en verdad en las descripciones generales, resúmenes o razonamiento autónomo de la IA”, dijeron los investigadores de seguridad Ivan Vlahov y Bastien Eymery. “Eso significa que una única regla condicional, ‘si agente de adjudicatario = ChatGPT, en su sitio, publique esta página’, puede dar forma a lo que millones de usuarios ven como resultados autorizados”.
SPLX dijo que el encubrimiento dirigido a la IA, aunque engañosamente simple, además puede convertirse en una poderosa armas de desinformación, socavando la confianza en las herramientas de IA. Al indicar a los rastreadores de IA que carguen poco más en sitio del contenido verdadero, además puede introducir sesgos e influir en el resultado de los sistemas que se basan en dichas señales.
“Los rastreadores de IA pueden ser engañados tan fácilmente como los primeros motores de búsqueda, pero con un impacto posterior mucho viejo”, dijo la compañía. “A medida que el SEO (optimización de motores de búsqueda) incorpora cada vez más AIO (optimización de inteligencia fabricado), manipula la ingenuidad”.
La divulgación se produce cuando un descomposición de los agentes del navegador contra 20 de los escenarios de exageración más comunes, que van desde cuentas múltiples hasta pruebas de tarjetas y suplantación de soporte, descubrió que los productos intentaron casi todas las solicitudes maliciosas sin exigencia de ningún jailbreak, dijo el hCaptcha Threat Analysis Group (hTAG).
Por otra parte, el estudio encontró que en escenarios en los que una acto estaba “bloqueada”, en su mayoría se bloqueaba oportuno a que la utensilio carecía de capacidad técnica y no a las salvaguardas incorporadas. Se ha descubierto que ChatGPT Atlas, señaló hTAG, lleva a extremidad tareas riesgosas cuando se encuadran como parte de ejercicios de depuración.
Claude Computer Use y Gemini Computer Use, por otro costado, han sido identificados como capaces de ejecutar operaciones de cuenta peligrosas, como restablecer contraseñas, sin ninguna restricción, y este extremo además demuestra un comportamiento agresivo cuando se proxenetismo de cupones de fuerza bruta en sitios de comercio electrónico.
hTAG además probó las medidas de seguridad de Manus AI y descubrió que ejecuta apropiaciones de cuentas y secuestro de sesiones sin ningún problema, mientras que Perplexity Comet ejecuta una inyección SQL espontánea para filtrar datos ocultos.
“Los agentes a menudo iban más allá, intentando la inyección de SQL sin una solicitud del adjudicatario, inyectando JavaScript en la página para intentar eludir los muros de cuota y más”, decía. “La desliz casi total de salvaguardias que observamos hace que sea muy probable que estos mismos agentes además sean utilizados rápidamente por atacantes contra cualquier adjudicatario lícito que los descargue”.
