Inteligencia artificial: ¿cuál es todo el alboroto?

Descripción universal: AI para adecuadamente y mal

Casi a diario, ahora vemos el hito venerable de la “prueba de turing” se desliza más y más en torno a una irrelevancia casi ingenua, a medida que las interfaces de la computadora han evolucionado de ser comparables al habla humano, a similar, a indistinguible, a posiblemente superior superior ⁽¹⁾.

El mejora de modelos de idiomas grandes (LLM) comenzó con los avances de procesamiento del habla natural (PNL) a principios de la decenio de 2000, pero el gran avance llegó con el artículo 2017 de Ashish Vaswani, “La atención es todo lo que necesita”. Esto permitió capacitar a modelos más grandes en grandes conjuntos de datos, mejorando en gran medida la comprensión y reproducción del habla.

Como cualquier tecnología, los LLM son neutrales y pueden ser utilizados por atacantes y defensores. La pregunta secreto es, ¿qué costado se beneficiará más o más rápidamente?

Vamos a sumergirnos en esa pregunta con un poco más de detalle. Esto no es más que un extracto de nuestra cobertura en el Security Navigator 2025, pero cubre algunos de los puntos principales que deberían ser relevantes para todos los que trabajan en un contexto de seguridad o tecnología. Si desea deletrear más sobre las técnicas de ‘inyección rápida’ o cómo se usa productivamente la IA en tecnología de seguridad, ¡lo invito a obtener el documentación completo!

IA en operaciones de defensa

• Puede mejorar la productividad y la comunicación de la oficina universal
• Puede mejorar la búsqueda, la investigación y la inteligencia de código franco
• Puede permitir comunicaciones internacionales e interculturales eficientes
• Puede ayudar con la compilación y el extracto de diversos conjuntos de datos de texto no estructurados
• Puede ayudar con la documentación de la inteligencia de seguridad y la información del evento.
• Puede ayudar a analizar correos electrónicos y archivos potencialmente maliciosos
• Puede ayudar con la identificación de contenido de texto, imagen o video fraudulento, fariseo o engañoso.
• Puede ayudar con las funciones de pruebas de seguridad como el examen y el descubrimiento de vulnerabilidades.

La IA de una forma u otra se ha utilizado durante mucho tiempo en una variedad de tecnologías de seguridad.

A modo de ejemplo:

• Sistemas de detección de intrusos (IDS) y detección de amenazas. El proveedor de seguridad DarkTrace, emplea a ML para detectar y objetar autónomos de forma autónoma en tiempo positivo aprovechando el disección de comportamiento y los algoritmos de ML capacitados en datos históricos para marcar desviaciones sospechosas de la actividad natural.
• Detección y prevención de phishing. Los modelos ML se utilizan en productos como Proofpoint y Microsoft Defender que identifican y bloquean los ataques de phishing utilizando algoritmos ML para analizar el contenido de correo electrónico, los metadatos y el comportamiento del favorecido para identificar los intentos de phishing.
• Detección y respuesta del punto final (EDR). Las ofertas de EDR como CrowdStrike Falcon aprovechan ML para identificar un comportamiento inusual y detectar y mitigar las amenazas cibernéticas en los puntos finales.
• Copiloto de Microsoft para la seguridad. La decisión de IA de Microsoft está diseñada para ayudar a los profesionales de la seguridad al racionalizar la detección de amenazas, la respuesta a incidentes y la papeleo de riesgos al rendir la IA generativa, incluidos los modelos GPT de OpenAI.

IA en operaciones ofensivas

• Puede mejorar la productividad y la comunicación universal de la oficina para los malos actores
• Puede mejorar la búsqueda, la investigación y la inteligencia de código franco
• Puede permitir comunicaciones internacionales e interculturales eficientes
• Puede ayudar con la compilación y el extracto de conjuntos de datos de texto diversos y no estructurados (como los perfiles de redes sociales para los ataques de phishing/lanza-phishing)
• Puede ayudar con los procesos de ataque como el examen y el descubrimiento de vulnerabilidad.
• Puede ayudar con la creación de texto verosímil para métodos de ataques cibernéticos como phishing, acuarelas y malvertición.
• Puede ayudar con la creación de texto, imagen o texto fraudulento, fariseo o engañoso o
• contenido de video.
• Puede simplificar la fuga de datos accidentales o el llegada a los datos no autorizados
• Puede presentar una nueva superficie de ataque de ataque, inerme y atractiva.

Los ejemplos del mundo positivo de IA en operaciones ofensivas han sido relativamente raros. Las instancias notables incluyen la reproducción de exploit automatizada del MIT (AEG)⁽²⁾ Y el profundo de IBM⁽³⁾que demostró malware impulsado por IA. Estos siguen siendo prueba de conceptos por ahora. En 2019, nuestro equipo de investigación presentó dos ataques basados ​​en IA utilizando el modelado de temas^(4), Mostrar el potencial ofensivo de AI para el mapeo de redes y la clasificación de correo electrónico. Si adecuadamente no hemos conocido un uso generalizado de tales capacidades, en octubre de 2024, nuestro CERT informó⁽⁵⁾ Que el Rhadamanthys malware como servicio (MAAS) incorporó una IA para realizar el examen de caracteres ópticos (OCR) en imágenes que contienen información confidencial, como contraseñas, que marcan la instancia más cercana del mundo positivo de las capacidades ofensivas impulsadas por la IA.

Los LLM se utilizan cada vez más ofensivamente, especialmente en estafas. Un ejemplo destacado es el agrupación de ingeniería del Reino Unido Arup⁽⁶⁾que, según los informes, perdió $ 25 millones a los estafadores que usaron una voz clonada digitalmente de un apoderado senior para ordenar transferencias financieras durante una videoconferencia.

¿AI impulsa las amenazas?

Para considerar sistemáticamente el aventura potencial de las tecnologías de LLM, examinamos cuatro perspectivas: el aventura de no adoptar LLM, amenazas de IA existentes, nuevas amenazas específicas para LLM y riesgos más amplios a medida que los LLM se integran en los negocios y la sociedad. Estos aspectos se visualizan en el descriptivo a continuación:

Rama 1: El aventura de no asimilación

Muchos clientes con los que hablamos sienten presión para adoptar LLM, con CISO particularmente preocupados por el “aventura de no asimilación”, impulsado por tres factores principales:

• Pérdida de eficiencia: los líderes creen que los LLM como Copilot o ChatGPT aumentarán la eficiencia de los trabajadores y temerán que se quede a espaldas de los competidores que los adoptan.
• Pérdida de oportunidades: se considera que los LLM descubren nuevas oportunidades de negocios, productos o canales de mercado, y no aprovechan el aventura de perder una delantera competitiva.
• Pérdida de comercialización: con las discusiones dominantes de la IA, las empresas se preocupan de que no mostrar IA en sus ofertas los dejará irrelevantes en el mercado.

Estas preocupaciones son válidas, pero los supuestos a menudo no se han probado. Por ejemplo, una pesquisa de julio de 2024 realizada por la agencia de investigación Upwork ⁽⁷⁾ Reveló que “el 96% de los líderes de C-suite esperan herramientas de IA para impulsar la productividad”. Sin confiscación, el documentación señala: “Casi la medio (47%) de los empleados que usan AI dicen que no tienen idea de cómo ganar las ganancias de productividad que esperan sus empleadores, y el 77% dice que estas herramientas han disminuido su productividad y apéndice a su carga de trabajo.

El valía de marketing de estar “impulsado por IA” además está debatido. Un documentación nuevo de la FTC señala que los consumidores han expresado su preocupación sobre el ciclo de vida completo de la IA, particularmente con respecto a las vías de apelación limitadas para las decisiones de productos basadas en la IA.

Las empresas deben considerar los costos reales de adoptar LLM, incluidos gastos directos como licencias, implementación, pruebas y capacitación. Incluso hay un costo de oportunidad, ya que los bienes asignados a la asimilación de LLM podrían haberse invertido en otro ocupación.

Los riesgos de seguridad y privacidad además deben considerarse, próximo con externalidades económicas más amplias, como el consumo masivo de bienes de la capacitación de LLM, que requiere un uso significativo de energía y agua. Según un artículo ⁽⁸⁾Los centros de datos de IA de Microsoft pueden consumir más poder que toda la India en los próximos seis primaveras. Aparentemente, “serán enfriados por millones y millones de galones de agua”.

Más allá de la tensión de los bienes, existen preocupaciones éticas, ya que las obras creativas a menudo se usan para capacitar modelos sin el consentimiento de los creadores, afectando a artistas, escritores y académicos. Por otra parte, la concentración de IA entre unos pocos propietarios podría afectar las empresas, la sociedad y la geopolítica, ya que estos sistemas acumulan riqueza, datos y controles. Mientras que LLMS prometen una longevo productividad, las empresas corren el aventura de ofrecer la dirección, la visión y la autonomía por conveniencia. Al apreciar el aventura de no asimilación, los beneficios potenciales deben equilibrarse cuidadosamente contra los costos directos, indirectos y externos, incluida la seguridad. Sin una comprensión clara del valía que pueden aportar LLMS, las empresas pueden encontrar que los riesgos y los costos superan las recompensas.

Rama 2: Amenazas existentes de AI

A mediados de octubre de 2024, nuestra capacidad de inteligencia de seguridad “World Watch” publicó un aviso que resumió el uso de la IA por parte de los actores ofensivos de la subsiguiente guisa: “La asimilación de IA por parte de APTS sigue siendo probable en las primeras etapas, pero es solo cuestión de tiempo ayer de que se generalice”. Una de las formas más comunes en que los grupos de amenazas alineados y patrocinados por el estado han estado adoptando IA en sus cadenas de matar es mediante el uso de chatbots de IA generativos como ChatGPT para fines maliciosos. Evaluamos que estos usos difieren según las capacidades e intereses de cada agrupación.

• Los actores de amenaza de Corea del Ideal supuestamente han estado aprovechando los LLM para comprender mejor las vulnerabilidades informadas públicamente ⁽⁹⁾para tareas básicas de secuencias de comandos y para el examen objetivo (incluida la creación de contenido dedicada utilizada en la ingeniería social).
• Se vio a los grupos iraníes generando correos electrónicos de phishing y usaron LLM para rasparse web ⁽¹⁰⁾.
• Grupos chinos como Charcoal Typhoon abusaron de LLM para comandos avanzados representativos del comportamiento posterior a la compromiso ^(10).

En el 9 de octubre, Openai reveló ⁽¹¹⁾ que desde principios de año había interrumpido más de 20 abusos de chatgpt destinados a depurar y desarrollar malware, difundir información errónea, escamotear la detección y editar ataques con phishing. Estos usos maliciosos se atribuyeron a los actores de amenaza china (SweetSpecter) e iraní (Cyberav3ngers y Storm-0817). El clúster chino SweetSpecter (rastreado como TGR-STA-0043 por Palo Stop Networks) incluso se dirigió a empleados de OpenAI con ataques de phishing de bichero.

Recientemente, además se han observado grupos de amenazas patrocinados por el estado que llevan a punta campañas de desinformación e influyen en las elecciones presidenciales de los Estados Unidos, por ejemplo. Varias campañas atribuidas a los actores de amenaza iraní, rusos y chinos aprovecharon las herramientas de IA para desgastar la confianza pública en el sistema tolerante de los Estados Unidos o desacreditar a un candidato. En su Crónica de Defensa Digital 2024, Microsoft confirmó esta tendencia, y agregó que estos actores de amenaza estaban aprovechando la IA para crear texto, imágenes y videos falsos.

Crimen cibernético

Por otra parte de rendir los chatbots legítimos, los ciberdelincuentes además han creado “LLMS oscuros” (modelos entrenados específicamente para fines fraudulentos) como Fraudgpt, WORMGPT y Darkgemini. Estas herramientas se utilizan para automatizar y mejorar las campañas de phishing, ayudar a los desarrolladores de desprecio calificación a crear malware y originar contenido relacionado con la estafa. Por lo universal, se anuncian en Darkweb y Telegram, con vigor en la función criminal del maniquí.

Algunos grupos de amenazas motivados financieramente además están agregando IA a sus cepas de malware. Un aviso nuevo de World Watch sobre la nueva lectura del Rhadamanthys InfoTealer describe nuevas características que dependen de la IA para analizar imágenes que pueden contener información importante, como contraseñas o frases de recuperación.

En nuestro monitoreo continuo de foros y mercados cibercriminales, observamos un claro aumento en los servicios maliciosos que apoyan actividades de ingeniería social, que incluyen:

• Fallasnotablemente para esquemas de sextortion y romance. Esta tecnología se está volviendo más convincente y menos costosa con el tiempo.
• Herramientas de phishing y BEC a IA Diseñado para simplificar la creación de páginas de phishing, contenido de las redes sociales y copias de correo electrónico.
• Phishing de voz con AI. En un documentación publicado el 23 de julio, Google reveló ⁽¹²⁾ Cómo la cría (o la espantaje de voz) impulsada por IA, facilitada por sintetizadores de voz mercantilizados, era una amenaza emergente.

Explotación de vulnerabilidad

AI todavía enfrenta límites cuando se usa para escribir un código de exploit basado en una descripción de CVE. Si la tecnología mejoría y se pone más fácilmente adecuado, es probable que sea de interés tanto para los cibercriminales como para los actores respaldados por el estado. Una LLM capaz de encontrar autónoma una vulnerabilidad crítica, escribir y probar el código de exploit y luego usarlo contra objetivos, podría afectar profundamente el panorama de amenazas. Las habilidades de mejora de explotación podrían ser accesibles para cualquier persona con llegada a un maniquí de IA renovador. Felizmente, el código fuente de la mayoría de los productos no está fácilmente adecuado para capacitar a dichos modelos, pero el software de código franco puede presentar una prueba de prueba útil.

Rama 3: Nuevas amenazas de LLMS

Las nuevas amenazas que surjan de la asimilación generalizada de LLM dependerán de cómo y dónde se utiliza la tecnología. En este documentación, nos centramos estrictamente en LLM y debemos considerar si están en manos de atacantes, empresas o sociedad en universal. Para las empresas, ¿son consumidores de servicios o proveedores de LLM? Si es un proveedor, ¿están construyendo sus propios modelos, obteniendo modelos o obteniendo capacidades completas de otros?

Cada tablado introduce diferentes amenazas, que requieren controles personalizados para mitigar los riesgos específicos de ese caso de uso.

Amenazas para los consumidores

Un consumidor utiliza productos y servicios de Genai de proveedores externos, mientras que un proveedor crea o mejoría los servicios orientados al consumidor que aprovechan las LLM, ya sea desarrollando modelos internos o utilizando soluciones de terceros. Es probable que muchas empresas adopten uno y otro roles con el tiempo.

Es importante cachear que los empleados casi seguramente ya están utilizando Genai notorio o particular para fines laborales y personales, planteando desafíos adicionales para las empresas. Para aquellos que consumen servicios externos de LLM, ya sean empresas o empleados individuales, los riesgos principales giran en torno a la seguridad de los datos, con cumplimiento adicional y preocupaciones legales a considerar. Los principales riesgos relacionados con los datos incluyen:

Fugas de datos: Los trabajadores pueden divulgar involuntariamente datos confidenciales a los sistemas LLM como ChatGPT, ya sea directamente o mediante la naturaleza de sus consultas.

Sueño: Genai puede producir contenido inexacto, engañoso o inapropiado que los empleados podrían incorporar a su trabajo, creando una responsabilidad justo. Al originar código, existe el aventura de que pueda ser falso o inseguro ⁽¹³⁾.

Derechos de propiedad intelectual: A medida que las empresas usan datos para capacitar a LLM e incorporan resultados en su propiedad intelectual, las preguntas no resueltas sobre la propiedad podrían exponerlos a responsabilidad por violaciones de los derechos.

Los resultados de Genai solo mejoran la productividad si son precisos, apropiados y legales. Los resultados generados por IA no regulados podrían introducir información errónea, responsabilidad o riesgos legales para el negocio.

Amenazas para los proveedores

Un conjunto de amenazas completamente diferente surge cuando las empresas eligen integrar LLM en sus propios sistemas o procesos. Estos pueden clasificarse ampliamente de la subsiguiente guisa:

Amenazas relacionadas con el maniquí

Un LLM capacitado o sintonizado tiene un valía inmenso para su desarrollador y, por lo tanto, está sujeto a amenazas a su confidencialidad, integridad y disponibilidad.

En el postrer caso, las amenazas a los modelos propietarios incluyen:

• Robo del maniquí.
• “Envenenamiento” adversario para afectar negativamente la precisión del maniquí.
• Destrucción o interrupción del maniquí.
• Responsabilidad justo que puede surgir del maniquí que produce contenido incorrecto, tergiversativo, engañoso, inapropiado o ilegal.

Evaluamos, sin confiscación, que surgirán las nuevas amenazas más significativas de la longevo superficie de ataque cuando las organizaciones implementen Genai interiormente de sus entornos técnicos.

Genai como superficie de ataque

Genai son nuevas tecnologías complejas que consisten en millones de líneas de código que expanden la superficie de ataque e introducen nuevas vulnerabilidades.

A medida que las herramientas generales de Genai como ChatGPT y Microsoft Copilot se vuelven ampliamente disponibles, ya no ofrecerán una delantera competitiva significativa por sí mismos. El definitivo poder de la tecnología LLM radica en integrarlo con los datos o sistemas patentados de una empresa para mejorar el servicio al cliente y los procesos internos. Un método secreto es a través de interfaces de chat interactivas impulsadas por Genai, donde los usuarios interactúan con un chatbot que genera respuestas coherentes y conscientes del contexto.

Para mejorar esto, la interfaz de chat debe rendir las capacidades como la reproducción de recuperación aumentada (RAG) y API. Genai procesa consultas de usuarios, RAG recupera información relevante de las bases de conocimiento propietarias y las API conectan el Genai con los sistemas de backend. Esta combinación permite al chatbot proporcionar expectativas contextualmente precisas mientras interactúa con sistemas de backend complejos.

Sin confiscación, exponer a Genai como el techo de seguridad entre los usuarios y los sistemas de back -end de una corporación, a menudo directamente a Internet, introduce una nueva superficie de ataque significativa. Al igual que las interfaces gráficas de aplicaciones web que surgieron en la decenio de 2000 para ofrecer un llegada sencillo e intuitivo a los clientes comerciales, es probable que tales interfaces de chat transformen los canales digitales. A diferencia de las interfaces web gráficas, la naturaleza no determinista de Genai significa que incluso sus desarrolladores pueden no comprender completamente su deducción interna, creando enormes oportunidades para las vulnerabilidades y la explotación. Los atacantes ya están desarrollando herramientas para explotar esta opacidad, lo que lleva a desafíos de seguridad potenciales similares a los vistos con las primeras aplicaciones web, que todavía están afectando a los defensores de seguridad hoy.

Engañar a los LLM de sus ‘barandillas’

El Tesina Open Web Application Security (OWASP) ha identificado la “inyección rápida” como la vulnerabilidad más crítica en las aplicaciones de Genai. Este ataque manipula los modelos de habla al incorporar instrucciones específicas interiormente de las entradas del favorecido para desencadenar respuestas no intencionadas o dañinas, revelando la información confidencial o eludiendo salvaguardas. Los atacantes crean entradas que anulan el comportamiento en serie del maniquí.

Las herramientas y bienes para descubrir y explotar la inyección inmediata están surgiendo rápidamente, similar a los primeros días del pirateo de aplicaciones web. Esperamos que la piratería de interfaz de chat siga siendo un problema significativo de seguridad cibernética durante primaveras, dada la complejidad de los LLM y la infraestructura digital necesaria para conectar las interfaces de chat con sistemas propietarios.

A medida que estas arquitecturas crecen, las prácticas de seguridad tradicionales, como el mejora seguro, la construcción, la seguridad de los datos y la papeleo de identidad y llegada, se volverán aún más cruciales para respaldar la autorización adecuada, el control de llegada y la papeleo de privilegios en este panorama en progreso.

Cuando el sitio de chatbot “NSFW” AI Muah.ai fue violado en octubre de 2024, el hacker describió la plataforma como “un puñado de proyectos de código franco encajados en conductos juntos”. Aparentemente, según los informes, “no fue ningún problema encontrar una vulnerabilidad que proporcionara llegada a la cojín de datos de la plataforma”. Predecimos que tales informes se convertirán en un ocupación global en los próximos primaveras.

Conclusión: Más de lo mismo no es una nueva dimensión

Como cualquier tecnología poderosa, lógicamente tememos que el impacto pueda tener en manos de nuestros adversarios. Se presta mucha atención a la cuestión de cómo la IA podría “acelerar la amenaza. La incertidumbre y la ansiedad que surge de este cambio visible en el panorama de amenazas, por supuesto, se explota para defender una longevo inversión en seguridad, a veces honestamente, pero a veces además duplicada.

Sin confiscación, si adecuadamente algunas cosas ciertamente están cambiando, muchas de las amenazas destacadas por los alarmistas de hoy preexisten la tecnología LLM y no requieren carencia más de nosotros que seguir haciendo lo que ya sabemos hacer. Por ejemplo, todas las siguientes acciones de amenaza, aunque quizás mejoradas por LLMS, ya se han realizado con el apoyo de ML y otras formas de IA ⁽¹⁴⁾ (o de hecho, sin IA):

• Suplantación en rasgo
• Correos y sitios de phishing baratos y creíbles
• Falsificaciones de la voz
• Traducción
• Crujido de contraseña predictiva
• Descubrimiento de vulnerabilidad
• Piratería técnica

La rudimentos de que los adversarios pueden ejecutar tales actividades con más frecuencia o más fácilmente es motivo de preocupación, pero no necesariamente requiere un cambio fundamental en nuestras prácticas y tecnologías de seguridad.

Los LLM como una superficie de ataque por otro costado se subestiman enormemente. Es crucial que aprendamos las lecciones de revoluciones tecnológicas anteriores (como aplicaciones web y API) para no repetirlas adoptando imprudentemente una tecnología no probada y poco evidente en el techo entre el ciberespacio franco y nuestros activos internos críticos. Se recomienda a las empresas que sean extremadamente cautelosas y diligentes para apreciar los beneficios potenciales de implementar un Genai como interfaz, con los riesgos potenciales que una tecnología tan compleja y no probada seguramente introducirá. Esencialmente, enfrentamos al menos los mismos problemas de seguridad de llegada y datos que ya conocemos desde los amanecer de la era de la aglomeración y la posterior rozamiento del perímetro clásico de la compañía.

A pesar de las innovaciones innovadoras que estamos observando, el “aventura” de seguridad todavía se compone fundamentalmente del producto de amenaza, vulnerabilidad e impacto, y un LLM no puede crearlos mágicamente si aún no están allí. Si esos medios ya están allí, el aventura con el que tiene que debatir una empresa es en gran medida independiente de la existencia de IA.

Esto es solo un extracto de la investigación que hicimos en AI y LLM. Para deletrear la historia completa y el aviso más detallado, así como las historias de expertos sobre cómo funcionan las inyecciones rápidas para manipular LLM y trabajar fuera de sus barandillas de seguridad, o cómo los defensores usan AI para detectar señales sutiles de compromiso en vastas redes: todo está en el navegador de seguridad 2025. ¡Diríjase a la página de descarga y obtenga su copia!