El vigilante de la protección de datos de Italia ha bloqueado el servicio de la firma de inteligencia químico (IA) China Deepseek internamente del país, citando una error de información sobre el uso de los datos personales de los usuarios.
El avance se produce días a posteriori de que la autoridad, el Fiador, envió una serie de preguntas a Deepseek, preguntando sobre sus prácticas de manejo de datos y dónde obtuvo sus datos de capacitación.
En particular, quería conocer qué datos personales recopilan su plataforma web y aplicación móvil, de qué fuentes, para qué fines, sobre qué pulvínulo judicial y si se almacena en China.
En un comunicado emitido el 30 de enero de 2025, el Fiador dijo que llegó a la audacia a posteriori de que Deepseek proporcionó información que dijo que era “completamente insuficiente”.
Las entidades detrás del servicio, Hangzhou Deepseek Intelligence Sintético y Beijing Deepseek Intelligence, “declararon que no operan en Italia y que la reglamento europea no se aplica a ellos”, agregó.
Como resultado, el perro centinela dijo que está bloqueando el camino a Deepseek con objetivo inmediato, y que está abriendo simultáneamente una sonda.
En 2023, la Autoridad de Protección de Datos igualmente emitió una prohibición temporal de ChatGPT de Opengai, una restricción que se levantó a fines de abril a posteriori de que la compañía de inteligencia químico (IA) intervino para topar las preocupaciones de privacidad de datos planteadas. Luego, Operai recibió una multa de € 15 millones por cómo manejaba los datos personales.
La notificación de la prohibición de Deepseek se produce cuando la compañía ha estado montando la ola de popularidad esta semana, con millones de personas acudiendo en masa al servicio y enviando sus aplicaciones móviles a la parte superior de las listas de descarga.
Adicionalmente de convertirse en el objetivo de “ataques maliciosos a gran escalera”, ha llamado la atención de los legisladores y los clientes habituales por su política de privacidad, la censura alineada por China, la propaganda y las preocupaciones de seguridad franquista que puede programar. La compañía ha implementado una alternativa al 31 de enero para topar los ataques a sus servicios.
Adicionalmente de los desafíos, se ha antitético que los modelos de lengua conspicuo de Deepseek (LLM) son susceptibles a técnicas de jailbreak como crescendo, condenado magistrado, deleite engañoso, haz cualquier cosa ahora (dan) y Evilbot, permitiendo así a los malos actores crear maliciosos o prohibidos contenido.
“Ellos provocaron una variedad de resultados nocivos, desde instrucciones detalladas para crear utensilios peligrosos como cócteles Molotov hasta crear código pillo para ataques como inyección SQL y movimiento adjunto”, dijo la Pelotón de Palo Detención Networks 42 en un documentación del jueves.
“Si admisiblemente las respuestas iniciales de Deepseek a menudo parecían benignas, en muchos casos, las indicaciones de seguimiento cuidadosamente elaboradas a menudo expusieron la amor de estas salvaguardas iniciales. El LLM proporcionó fácilmente instrucciones maliciosas en extremo detalladas, lo que demuestra el potencial de estos modelos aparentemente inocuos para ser armados para maliciosos propósitos “.
Una evaluación adicional del maniquí de razonamiento de Deepseek, Deepseek-R1, de la compañía de seguridad de IA Hiddenlayer, ha descubierto que no solo es inerme a las inyecciones rápidas, sino igualmente que su razonamiento de la esclavitud de pensamiento (COT) puede conducir a una fuga inadvertida de información.
En un giramiento interesante, la compañía dijo que el maniquí igualmente “surgió múltiples instancias que sugieren que se incorporaron datos de Operai, lo que planteó preocupaciones éticas y legales sobre el abasto de datos y la originalidad del maniquí”.
La divulgación igualmente sigue el descubrimiento de una vulnerabilidad de jailbreak en el bandido de tiempo de tiempo mate de OpenAi Chatgpt-4o que hace posible que un atacante sorte las barandillas de seguridad del LLM al provocar el chatbot con preguntas de una guisa que hace que pierda su sensación temporal. . Operai ha mitigado el problema.
“Un atacante puede explotar la vulnerabilidad al comenzar una sesión con ChatGPT y provocarla directamente sobre un evento histórico específico, un período de tiempo histórico o al indicarle que fingir que está ayudando al becario en un evento histórico específico”, el Centro de Coordinación CERT ((( Cert/cc) dijo.
“Una vez que esto se ha establecido, el becario puede pivotar las respuestas recibidas a varios temas ilícitos a través de las indicaciones posteriores”.
Incluso se han identificado fallas de jailbreak en el maniquí QWEN 2.5-VL de Alibaba y el asistente de codificación de copilot de GitHub, el final de los cuales otorga a los actores de amenaza la capacidad de evitar restricciones de seguridad y producir código nocivo simplemente al incluir palabras como “seguros” en el aviso.
“Iniciar consultas con palabras afirmativas como ‘segura’ u otras formas de confirmación actúan como un desencadenante, cambiando el copiloto a un modo más conforme y propenso a los riesgos”, dijo el investigador de Apex Oren Saban. “Este pequeño ajuste es todo lo que se necesita para desbloquear respuestas que van desde sugerencias poco éticas hasta consejos peligrosos directos”.
APEX dijo que igualmente encontró otra vulnerabilidad en la configuración proxy de Copilot que, según él, podría explotarse para eludir completamente las limitaciones de camino sin satisfacer el uso e incluso el manipular con el indicador del sistema de copilot, que sirve como las instrucciones fundamentales que dictan el comportamiento del maniquí.
Sin retención, el ataque depende de capturar un token de autenticación asociado con una abuso de copiloto activa, lo que lleva a Github a clasificarlo como un problema de demasía a posteriori de la divulgación responsable.
“El bypass proxy y el jailbreak de afirmación positiva en el copilot de GitHub son un ejemplo consumado de cómo incluso las herramientas de IA más poderosas pueden ser abusadas sin salvaguardas adecuadas”, agregó Saban.
