El ritmo rápido de Digital Tech supera la investigación de seguridad, dicen los investigadores

Crédito: Dominio público de Pixabay/CC0

La investigación científica sobre los daños de la tecnología digital está atrapada en un “ciclo de falla” que se mueve demasiado lentamente para permitir que los gobiernos y la sociedad tengan en cuenta a las empresas tecnológicas, según dos investigadores líderes en un nuevo informe publicado en la revista Science.

La Dra. Amy Orben de la Universidad de Cambridge y el Dr. J. Nathan Matias de la Universidad de Cornell dicen que el ritmo al que se despliega una nueva tecnología a miles de millones de personas ha ejercido una tensión insoportable en los sistemas científicos que intentan evaluar sus efectos.

Argumentan que las grandes empresas tecnológicas externalizan efectivamente la investigación sobre la seguridad de sus productos a científicos independientes de universidades y organizaciones benéficas que trabajan con una fracción de los recursos, mientras que las empresas también obstruyen el acceso a datos e información esenciales. Esto contrasta con otras industrias donde las pruebas de seguridad se realizan en gran medida “en casa”.

Orben y Matias piden una revisión de la “producción de evidencia” que evalúa el impacto de la tecnología en todo, desde la salud mental hasta la discriminación.

Sus recomendaciones incluyen acelerar el proceso de investigación, de modo que las intervenciones de políticas y los diseños más seguros se prueban en paralelo con la recopilación de evidencia inicial y la creación de registros de daños relacionados con la tecnología informados por el público.

“Las grandes empresas de tecnología actúan cada vez más con la impunidad percibida, mientras que la confianza en su respeto a la seguridad pública se está desvaneciendo”, dijo Orben, de la Unidad MRC Cognition and Brain Sciences de Cambridge. “Los formuladores de políticas y el público están recurriendo a científicos independientes como arbitros de seguridad tecnológica.

“Los científicos como nosotros mismos estamos comprometidos con el bien público, pero se nos pide que tengamos en cuenta una industria de mil millones de dólares sin el apoyo adecuado para nuestra investigación o las herramientas básicas para producir evidencia de buena calidad rápidamente. Debemos arreglar con urgencia este ecosistema de ciencia y política para que podamos comprender y gestionar mejor los riesgos potenciales planteados por nuestra sociedad digital que evolucionan”.

‘Ciclo de retroalimentación negativa’

En el documento científico, los investigadores señalan que las empresas de tecnología a menudo siguen políticas de implementación rápidamente de productos primero y luego buscan “depurar” los daños potenciales después. Esto incluye distribuir productos de IA generativos a millones antes de completar las pruebas de seguridad básicas, por ejemplo.

Cuando se les asigna la tarea de comprender los posibles daños de las nuevas tecnologías, los investigadores confían en la “ciencia de rutina” que, que tiene el progreso social impulsado durante décadas, ahora retrasa la tasa de cambio tecnológico en la medida en que a veces se está volviendo “inutilizable”.

Con muchos ciudadanos presionando a los políticos para que actúen sobre la seguridad digital, Orben y Matias argumentan que las empresas de tecnología usan el lento ritmo de la ciencia y la falta de pruebas contundentes para resistir las intervenciones políticas y “minimizar su propia responsabilidad”.

Incluso si la investigación recibe recursos adecuados, señalan que los investigadores se enfrentarán a la comprensión de los productos que evolucionan a un ritmo sin precedentes.

“Los productos tecnológicos cambian diariamente o semanalmente, y se adaptan a las personas. Incluso el personal de la compañía puede no comprender completamente el producto en ningún momento, y la investigación científica puede estar desactualizada para el momento en que se completa, y mucho menos publicado”, dijo Matias, quien dirige el laboratorio de ciudadanos y tecnología (CAT) de Cornell.

“Al mismo tiempo, las afirmaciones sobre la insuficiencia de la ciencia pueden convertirse en una fuente de retraso en la seguridad tecnológica cuando la ciencia desempeña el papel de Gatekeeper para las intervenciones de políticas. Así como las industrias petroleras y químicas han aprovechado el lento ritmo de ciencia para desviar la evidencia de que informa la responsabilidad, los ejecutivos en las compañías de tecnología han seguido un patrón similar. Algunos han rechazado incluso a los recursos de seguridad a los recursos de seguridad sin ciertos tipos de evidencia de causales de causas, que también han seguido un patrón.

Los investigadores establecen el actual “ciclo de retroalimentación negativa” al explicar que las empresas tecnológicas no tienen una investigación de seguridad de recursos adecuadamente, cambiando la carga a científicos independientes que carecen de datos y fondos. Esto significa que la evidencia causal de alta calidad no se produce en los plazos requeridos, lo que debilita la capacidad del gobierno para regular, más desincentivando la investigación de seguridad, ya que las empresas se dejan caer.

Orben y Matias argumentan que este ciclo debe ser rediseñado y ofrecen formas de hacerlo.

Informando daños digitales

Para acelerar la identificación de los daños causados ​​por las tecnologías en línea, los responsables políticos o la sociedad civil podrían construir registros para informes de incidentes y alentar al público a contribuir con evidencia cuando experimentan daños.

Los métodos similares ya se utilizan en campos, como la toxicología ambiental, donde los informes públicos sobre vías fluviales contaminadas o programas de informes de accidentes de vehículos que informan la seguridad automotriz, por ejemplo.

“No ganamos nada cuando se les dice a las personas que desconfían de su experiencia vivida debido a la ausencia de evidencia cuando esa evidencia no se compila”, dijo Matias.

Los registros existentes, desde registros de mortalidad hasta bases de datos de violencia doméstica, también podrían aumentar para incluir información sobre la participación de tecnologías digitales como la IA.

Los autores del documento también describen un sistema de “evidencia mínima viable”, en el que los formuladores de políticas e investigadores ajustan el “umbral de evidencia” requerido para mostrar daños tecnológicos potenciales antes de comenzar a probar las intervenciones.

Estos umbrales de evidencia podrían ser establecidos por paneles compuestos por comunidades afectadas, el público o “tribunales de ciencias”, grupos de expertos reunidos para realizar evaluaciones rápidas.

“A menudo se requiere evidencia causal de daños tecnológicos antes de que los diseñadores y científicos puedan probar las intervenciones para construir una sociedad digital más segura”, dijo Orben.

“Sin embargo, las pruebas de intervención pueden usarse para alcanzar las formas de ayudar a las personas y la sociedad, y identificar daños potenciales en el proceso. Necesitamos pasar de un sistema secuencial a uno ágil y paralelo”.

Bajo un sistema mínimo de evidencia viable, si una empresa obstruye o no respalda la investigación independiente, y no es transparente sobre sus propias pruebas de seguridad internas, la cantidad de evidencia necesaria para comenzar a probar posibles intervenciones se reduciría.

Orben y Matias también sugieren aprender del éxito de la “química verde”, que considera que un cuerpo independiente tiene listas de productos químicos clasificados por potencial de daño, para ayudar a incentivar a los mercados para desarrollar alternativas más seguras.

“Los métodos y recursos científicos que tenemos para la creación de evidencia en este momento simplemente no pueden lidiar con el ritmo del desarrollo de la tecnología digital”, dijo Orben. “Los científicos y los formuladores de políticas deben reconocer las fallas de este sistema y ayudar a elaborar una mejor antes de la edad de IA exponen aún más a la sociedad a los riesgos del cambio tecnológico sin control”.

Matias agregó: “Cuando la ciencia sobre los impactos de las nuevas tecnologías es demasiado lenta, todos pierden”.

Más información: Amy Orben et al, Fixing the Science of Digital Technology Harms, Science (2025). Doi: 10.1126/science.adt6807. www.science.org/doi/10.1126/science.adt6807

Proporcionado por la Universidad de Cambridge

Cita: el ritmo rápido de Digital Tech supera la investigación de seguridad, por ejemplo, los investigadores (2025, 10 de abril) recuperaron el 10 de abril de 2025 de https://techxplore.com/news/2025-04-digital-tech-rapid-pace-outstrips.html

Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.