La emisora pública alemana ZDF retiró a su corresponsal en Estados Unidos a finales de febrero luego de que aparecieran imágenes generadas por IA en un mensaje sobre agentes del Servicio de Inmigración y Control de Aduanas (ICE) de Estados Unidos.
La tiempo se disculpó por utilizar imágenes que mostraban a niños aferrados a sus madres mientras eran arrestados por agentes de ICE. El vídeo tiene una marca de agua de Sora, lo que indica claramente que fue creado con las herramientas de vídeo de OpenAI.
El equipo de demostración de datos de Euronews, The Cube, identificó el vídeo como uno de los miles de clips generados por IA de agentes de ICE que inundan las redes sociales. Muchos de ellos no están claramente etiquetados y en conjunto han acumulado millones de visitas.
patrón consistente
Los datos compartidos con The Cube por la empresa de detección de inteligencia fabricado TruthScan muestran más de 200 clips cortos que muestran a agentes de ICE perseguidos por maestros, peleando en bares y siendo arrestados por la policía de Nueva York en el patrón.
TruthScan anunció que había eliminado más de 200 vídeos de una sola cuenta de Instagram. Los videos son cortos, dramáticos y emotivos.
The Cube descubrió que la cuenta continúa publicando una gran cantidad de clips de ICE generados por IA, algunos de los cuales han obtenido miles e incluso millones de visitas.
Hay varias pistas de por qué el vídeo no es efectivo. En un ejemplo, parece surgir vapor de una superficie sólida durante un enfrentamiento entre agentes de ICE y un empleado de un café. Esta es una señal sutil de que este clip es un compuesto.
Según TruthScan, cada vídeo tiene exactamente 10 o 15 segundos de duración, lo que sugiere fuertemente que se generó utilizando el maniquí de vídeo Sora 2 de OpenAI, que ofrece a los usuarios una opción de vídeo de 10 o 15 segundos.
A diferencia de muchos vídeos generados por IA que contienen marcas de agua, la mayoría de estos clips de ICE no contienen marcas de agua.
De forma similar, en noviembre pasado, 404 Media informó que un clip generado por IA de un agente de ICE desde una cuenta de Facebook se volvió vírico, y solo un clip acumuló 4 millones de visitas. Desde entonces, el vídeo ha sido eliminado.
Riesgos crecientes para la confianza pública
Los expertos dicen que los riesgos se extienden más allá del etiquetado incorrecto de clips individuales hasta la difusión generalizada de contenido ficticio sobre temas políticos delicados, lo que podría socavar la confianza del notorio.
“Existen riesgos importantes, tanto negativos como positivos, en las respuestas colectivas a las acciones policiales”, dijo Ari Abelson, cofundador de Open Origins, una empresa de autenticidad de medios que detecta deepfakes.
“Es una preocupación para las agencias encargadas de hacer cumplir la ley que quieren sustentar la credibilidad, pero además es importante para las agencias que quieren rendir cuentas cuando van demasiado remotamente”, dijo Abelson a The Cube.
Al igual que las transmisiones de ZDF, el contenido ICE generado por IA no se limita a cuentas anónimas. A veces llega incluso a las altas esferas de las oficinas gubernamentales.
En enero, la Casa Blanca publicó una imagen alterada digitalmente de Nekima Levy Armstrong, una provocador y abogada que fue arrestada en una protesta relacionada con ICE en Minnesota.
El observación reveló que la piel de Armstrong era más oscura en la imagen alterada que en la imagen flamante, y claramente parecía estar sollozando.
En respuesta a las preguntas sobre la imagen manipulada, la Casa Blanca respondió a una publicación de la subsecretaria de Asuntos Públicos, Kaylan Dole: “Una vez más, a aquellos que sienten la escazes de defender reflexivamente a los perpetradores de los crímenes atroces de nuestra nación, les expedición este mensaje: la aplicación de la ley continúa. Los memes continúan”.
Urmston dijo que estaba “disgustada” por la Casa Blanca por transmitir la imagen.
Según Abelson, las preocupaciones surgen cuando faltan barreras de seguridad o salvaguardias que indiquen claramente que el contenido es ficticio.
“Las caricaturas políticas siempre se han utilizado en política, y se usan de forma muy similar”, dijo. “La principal diferencia es lo surrealistas que son los vídeos”.
“El espacio social y de información requiere la capacidad de demostrar que las fotos y los vídeos son reales, para que podamos disfrutar de las falsificaciones como ficción y distinguir la dificultad de los acontecimientos reales”, añadió.
