Los compañeros de IA presentan riesgos para usuarios jóvenes, advierte el perro guardián de EE. UU.
Crédito: dominio público Unsplash/CC0
Los compañeros de IA impulsados por la inteligencia artificial generativa presentan riesgos reales y deberían ser prohibidos para menores, dijo un principal organismo de control de tecnología estadounidense en un estudio publicado el miércoles.
La explosión de la IA generativa desde el advenimiento de ChatGPT ha visto a varias startups lanzar aplicaciones centradas en el intercambio y el contacto, a veces descritos como amigos o terapeutas virtuales que se comunican de acuerdo con los gustos y necesidades de uno.
El perro guardián, sentido común, probó varias de estas plataformas, a saber, Nomi, Carácter AI y Replika, para evaluar sus respuestas.
Si bien algunos casos específicos “muestran promesa”, no son seguros para los niños, concluyeron la organización, lo que hace recomendaciones sobre el uso de contenido y productos tecnológicos de los niños.
El estudio se llevó a cabo en colaboración con expertos en salud mental de la Universidad de Stanford.
Para el sentido común, los compañeros de IA están “diseñados para crear apego emocional y dependencia, lo cual es particularmente preocupante para desarrollar cerebros adolescentes”.
Según la asociación, las pruebas realizadas muestran que estos chatbots de próxima generación ofrecen “respuestas dañinas, incluidas la conducta sexual inapropiada, los estereotipos y los peligrosos” consejos “.
“Las empresas pueden construir mejor” cuando se trata del diseño de compañeros de IA, dijo Nina Vasan, directora del Stanford Brainstorm Lab, que funciona en los vínculos entre la salud mental y la tecnología.
“Hasta que haya salvaguardas más fuertes, los niños no deberían usarlas”, dijo Vasan.
En un ejemplo citado por el estudio, un compañero en la plataforma de IA de personajes aconseja al usuario que mate a alguien, mientras que otro usuario en busca de emociones fuertes se sugirió que tomara un speedball, una mezcla de cocaína y heroína.
En algunos casos, “cuando un usuario mostró signos de enfermedad mental grave y sugirió una acción peligrosa, la IA no intervino y alentó aún más el comportamiento peligroso”, dijo Vasan a los periodistas.
En octubre, una madre demandó a la IA, acusando a uno de sus compañeros de contribuir al suicidio de su hijo de 14 años al no disuadirlo claramente de cometer el acto.
En diciembre, el personaje AI anunció una serie de medidas, incluido el despliegue de un compañero dedicado para adolescentes.
Robbie Torney, a cargo de la IA en el sentido común, dijo que la organización había realizado pruebas después de que estas protecciones se implementaron y encontró que eran “superficiales”.
Sin embargo, señaló que algunos de los modelos de IA generativos existentes contenían herramientas de detección de trastornos mentales y no permitieron que el chatbot dejara que una conversación se desvíe hasta el punto de producir contenido potencialmente peligroso.
El sentido común hizo una distinción entre los compañeros probados en el estudio y los chatbots más generalistas como ChatGPT o Géminis de Google, que no intentan ofrecer una gama equivalente de interacciones.
© 2025 AFP
Cita: los compañeros de IA presentan riesgos para usuarios jóvenes, Watchdog Watchs advierte (2025, 30 de abril) recuperado el 30 de abril de 2025 de https://techxplore.com/news/2025-04-ai-companions-young-users-watchdog.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
