Los investigadores de ciberseguridad han descubierto una descompostura indirecta de inyección inmediata en el dúo asistente de inteligencia fabricado (IA) de Gitlab que podría favor permitido a los atacantes robar el código fuente e inyectar HTML no confiable en sus respuestas, lo que podría estilarse para dirigir a las víctimas a sitios web maliciosos.
GitLab Duo es un asistente de codificación de inteligencia fabricado (AI) que permite a los usuarios escribir, revisar y editar código. Construido con los modelos Claude de Anthrope, el servicio se lanzó por primera vez en junio de 2023.
Pero como encontró la seguridad legítima, Gitlab Duo Chat ha sido susceptible a una descompostura de inyección indirecta que permite a los atacantes “robar código fuente de proyectos privados, manipular las sugerencias de código que se muestran a otros usuarios e incluso exfiltran confidenciales confidenciales, no reveladas vulnerabilidades de día cero”.
La inyección inmediata se refiere a una clase de vulnerabilidades comunes en los sistemas de IA que permiten a los actores de amenaza armarse modelos de idiomas grandes (LLM) para manipular las respuestas a las indicaciones de los usuarios y dar como resultado un comportamiento indeseable.
Las inyecciones indirectas de inmediato son mucho más complicadas porque en oportunidad de proporcionar una entrada diseñada directamente, las instrucciones deshonestas están integradas en otro contexto, como un documento o una página web, que el maniquí está diseñado para procesar.
Estudios recientes han demostrado que los LLM incluso son vulnerables a las técnicas de ataque de jailbreak que permiten engañar a los chatbots impulsados por la IA en la gestación de información dañina e ilegal que ignora sus barandillas éticas y de seguridad, evitando efectivamente la exigencia de indicaciones cuidadosamente elaboradas.
Por otra parte, los métodos de fuga inmediata (plereak) podrían estilarse para revelar inadvertidamente las indicaciones o instrucciones del sistema preestablecido que el maniquí debe seguir.
“Para las organizaciones, esto significa que la información privada, como las reglas internas, las funcionalidades, los criterios de filtrado, los permisos y los roles de legatario se pueden filtrar”, dijo Trend Micro en un referencia publicado a principios de este mes. “Esto podría ofrecer a los atacantes oportunidades para explotar las debilidades del sistema, lo que potencialmente conduce a violaciones de datos, divulgación de secretos comerciales, violaciones regulatorias y otros resultados desfavorables”.
 |
| Demostración de ataque de plegamiento: exceso de credencial / exposición de la funcionalidad sensible |
Los últimos hallazgos de la firma de seguridad de la cautiverio de suministro de software israelí muestran que un comentario oculto colocado en cualquier oportunidad en el interior de las solicitudes de fusión, mensajes de confirmación, descripciones de problemas o comentarios y el código fuente fue suficiente para filtrar datos confidenciales o inyectar HTML en las respuestas de GitLab Duo.
Estas indicaciones podrían ocultarse aún más utilizando trucos de codificación como Base16-codificación, contrabando unicode y Katex en texto blanco para que sean menos detectables. La error de desinfección de insumos y el hecho de que Gitlab no tratara nadie de estos escenarios con más indagación que el código fuente podría favor permitido a un mal actor plantar las indicaciones en todo el sitio.
“Duo analiza todo el contexto de la página, incluidos comentarios, descripciones y el código fuente, lo que lo hace débil a las instrucciones inyectadas ocultas en cualquier oportunidad de ese contexto”, dijo el investigador de seguridad Omer Mayraz.
Esto incluso significa que un atacante podría engañar al sistema AI para incluir un paquete pillo de JavaScript en un código sintetizado, o presentar una URL maliciosa como segura, lo que hace que la víctima sea redirigida a una página de inicio de sesión falsa que vendimia sus credenciales.
Por otra parte de eso, aprovechando la capacidad de Gitlab Duo Chat para obtener a la información sobre solicitudes de fusión específicas y el código cambia en el interior de ellas, la seguridad legítima descubrió que es posible insertar un mensaje oculto en una descripción de solicitud de fusión para un plan que, cuando es procesado por DUO, hace que el código fuente privado se extienda a un servidor de atacantes con atacantes.
Esto, a su vez, es posible oportuno al uso de la representación de la reducción de la transmisión para interpretar y hacer las respuestas en HTML a medida que se genera la salida. En otras palabras, alimentarlo con código HTML a través de la inyección indirecta de inmediato podría hacer que el segmento de código se ejecute en el navegador del legatario.
A posteriori de la divulgación responsable el 12 de febrero de 2025, GitLab ha abordado los problemas.
“Esta vulnerabilidad destaca la naturaleza de doble filo de los asistentes de IA como Gitlab Duo: cuando se integran profundamente en los flujos de trabajo de avance, heredan no solo el contexto, sino el aventura”, dijo Mayraz.
“Al integrar las instrucciones ocultas en el contenido de proyectos aparentemente inofensivos, pudimos manipular el comportamiento del dúo, exfiltrar el código fuente privado y demostrar cómo las respuestas de AI pueden aprovecharse para obtener resultados no intencionados y dañinos”.
La divulgación se produce cuando Pen Test Partners reveló cómo Microsoft Copilot para SharePoint, o agentes de SharePoint, podría ser explotado por los atacantes locales para obtener a datos y documentación confidenciales, incluso a partir de archivos que tienen el privilegio de “olfato restringida”.
“Uno de los principales beneficios es que podemos despabilarse y deslizar a través de conjuntos de datos masivos, como los sitios de SharePoint de grandes organizaciones, en poco tiempo”, dijo la compañía. “Esto puede aumentar drásticamente las posibilidades de encontrar información que nos sea útil”.
Las técnicas de ataque siguen a una nueva investigación de que Elizaos (anteriormente AI16Z), un situación de agente de IA descentralizado inaugural para las operaciones Web3 automatizadas, podría manipularse inyectando instrucciones maliciosas en indicaciones o registros de interacción histórica, corrompiendo efectivamente el contexto almacenado y conduciendo a transferencias de activos no intencionados.
“Las implicaciones de esta vulnerabilidad son particularmente graves donado que los elizaosagentes están diseñados para interactuar con múltiples usuarios simultáneamente, dependiendo de los aportes contextuales compartidos de todos los participantes”, escribió un congregación de académicos de la Universidad de Princeton en un documento.
“Una sola manipulación exitosa de un actor pillo puede comprometer la integridad de todo el sistema, creando pertenencias en cascada que son difíciles de detectar y mitigar”.
Por separado de las inyecciones y jailbreaks, otro problema importante enfermo de LLM en la hogaño es la deslumbramiento, que ocurre cuando los modelos generan respuestas que no se basan en los datos de entrada o simplemente se fabrican.
Según un nuevo estudio publicado por la compañía de pruebas de IA Giskard, instruir a los LLM para que sean concisos en sus respuestas puede afectar negativamente la facturidad y empeorar las alucinaciones.
“Este impresión parece ocurrir porque las refutaciones efectivas generalmente requieren explicaciones más largas”, dijo. “Cuando se ve obligado a ser conciso, los modelos enfrentan una votación ficticio entre elaborar respuestas cortas pero inexactas o parecer inútil al repeler la pregunta por completo”.
