Los modelos de IA ‘envenenados’ pueden desatar el caos del mundo real; El estudio muestra cómo se podrían prevenir estos ataques
Crédito: dominio público CC0
Un apetito voraz y indescriptible por cada vez más datos puede ser la falla fatal de la inteligencia artificial; o al menos la forma más rápida para que el “veneno” se filtre.
Los atacantes cibernéticos cortan pequeñas dosis de “datos envenenados”, en forma de información falsa o engañosa, en conjuntos de entrenamiento de IA más importantes. La misión: Sabotaje modelos que alguna vez fueron confiables para sesgarlos en una dirección completamente diferente.
La mayoría de los sistemas de IA que encontramos hoy, desde el chatgpt hasta las recomendaciones personalizadas de Netflix, son solo “inteligentes” lo suficiente como para lograr hazañas tan impresionantes debido a las extensas cantidades de texto, imágenes, discursos y otros datos en los que están entrenados. Si este rico tesoro se contamina, el comportamiento del modelo puede volverse errático.
Las ramificaciones del mundo real van mucho más allá de un chatbot que habla, Gibberish o generadores de texto a imagen que producen una imagen de un avión cuando se le pide un pájaro. Los grupos de malos actores podrían hacer que un automóvil autónomo ignore las luces de parada roja, o en una escala mucho mayor, desencadenan interrupciones y interrupciones de la red eléctrica.
Para defenderse de la amenaza de varios ataques de envenenamiento de datos, un equipo de investigadores de seguridad cibernética de la FIU ha combinado dos tecnologías emergentes, el aprendizaje y la cadena de bloques, para entrenar más de manera más segura. Según un estudio que aparece en IEEE Access, el enfoque innovador del equipo detectó y eliminó con éxito datos deshonestos antes de que pudiera comprometer los conjuntos de datos de capacitación.
“Hemos creado un método que puede tener muchas aplicaciones para la resiliencia crítica de la infraestructura, la ciberseguridad de transporte, la atención médica y más”, dijo Hadi Amini, investigador principal y profesor asistente de FIU en la Escuela de Ciencias de la Computación e Información de la Fundación Knight.
La primera parte del nuevo enfoque del equipo implica el aprendizaje federado. Esta forma única de capacitación de IA utiliza una mini versión de un modelo de capacitación que aprende directamente en su dispositivo y solo comparte actualizaciones (no sus datos personales) con el modelo global en el servidor de una empresa. Si bien la preservación de la privacidad, esta técnica sigue siendo vulnerable a los ataques de envenenamiento de datos.
“Verificar si los datos de un usuario son honestos o deshonestos antes de que llegue al modelo es un desafío para el aprendizaje federado”, explica Ervin Moore, un doctorado. candidato en el laboratorio de Amini y autor principal del estudio. “Entonces, comenzamos a pensar en blockchain para mitigar este defecto”.
Popularizado por su papel en la criptomoneda, como Bitcoin, Blockchain es una base de datos compartida que se distribuye en una red de computadoras. Los datos se almacenan en, lo adivinaron, bloqueados cronológicamente en una cadena. Cada uno tiene su propia huella digital, así como la huella digital del bloque anterior, lo que la hace prácticamente a prueba de manipulaciones.
Toda la cadena se adhiere a una determinada estructura (cómo los datos están empaquetados o en capas dentro de los bloques). Esto es como un proceso de investigación para garantizar que no se agregue bloques aleatorios. Piense en ello como una lista de verificación para admitir.
Los investigadores usaron esto para su ventaja al construir su modelo. Comparó las actualizaciones de bloques, calculando si las actualizaciones atípicas eran potencialmente venenosas. Se registraron actualizaciones potencialmente venenosas y luego se descartaron de la agregación de red.
“Nuestro equipo ahora está trabajando en estrecha colaboración con los colaboradores del Centro Nacional de Ciberseguridad y Resiliencia de Transporte para aprovechar el cifrado cuántico de vanguardia para proteger los datos y los sistemas”, dijo Amini, quien también lidera al equipo de ciberseguridad de la FIU y expertos en AI que investigan AI seguros para los sistemas de transporte conectados y autónomos. “Nuestro objetivo es garantizar la seguridad de la infraestructura de transporte de Estados Unidos al tiempo que aprovecha el poder de la IA avanzada para mejorar los sistemas de transporte”.
Moore continuará esta investigación como parte de su investigación en curso sobre el desarrollo de algoritmos de IA seguros que pueden usarse para la seguridad crítica de la infraestructura.
Más información: Luiz Manella Pereira et al, una encuesta sobre transporte óptimo para el aprendizaje automático: teoría y aplicaciones, IEEE Access (2025). Doi: 10.1109/access.2025.3539926
Proporcionado por Florida International University
Cita: los modelos de IA ‘envenenados’ pueden desatar el caos del mundo real; El estudio muestra cómo se podrían prevenir estos ataques (2025, 24 de abril) recuperado el 24 de abril de 2025 en https://techxplore.com/news/2025-04-poisoned-ai-unleash–world.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
