Cuando AI es el editor, las quejas de los consumidores tienen más probabilidades de tener éxito‌

Los patrones de adopción de LLM varían en todas las regiones basadas en el dominio del inglés. Crédito: Jiwoong Shin et al

Los consumidores que desean presentar una queja a una agencia como la Oficina de Protección Financiera del Consumidor enfrentan una tarea que, para algunos, puede ser desalentadora: deben completar un formulario que les requiera que expliquen el problema, de manera clara y convincente, en sus propias palabras. Aquellos que no son hablantes de inglés nativos o simplemente no se comunican regularmente por escrito pueden carecer de las habilidades necesarias para hacer sus casos de manera convincente.

Una nueva investigación de Jiwoong Shin de Yale Som revela que la reciente ola de modelos de lenguaje grande de consumo como ChatGPT puede ofrecer una solución inesperada a este problema.

Shin y sus coautores, Minkyu Shin de la Universidad de la Ciudad de Hong Kong y Jin Kim de la Northeastern University, realizaron un análisis de datos de la Oficina de Protección Financiera del Consumidor (CFPB). Identificaron un aumento en las quejas editadas contra las empresas financieras después de la liberación de ChatGPT en noviembre de 2022.

Esta tendencia fue especialmente pronunciada en lugares donde muchos residentes tienen un dominio limitado del inglés. Y la asistencia de IA parece haber ayudado: el uso de LLM, según los investigadores, se asoció con un aumento en la probabilidad de recibir alivio de las empresas, ya sea monetarias o no monetarias. ‌

Shin y sus coautores complementaron su análisis de los datos de CFPB con varios experimentos que exploran más a fondo la relación entre el uso de LLM y la resolución de quejas. Estos estudios muestran que los LLM ayudan a los consumidores a crear quejas más claras y persuasivas, lo que resulta en una mejor oportunidad de recibir alivio.

Juntos, el análisis de los datos de CFPB y los experimentos sugieren que “LLMS crean un campo de juego de nivel para todos”, explica Shin. “Al usar LLM, las personas con dominio limitado del inglés pueden expresar sus inquietudes o quejas de manera efectiva, y las empresas pueden decidir abordar las quejas basadas en el contenido, no solo en la presentación”. ‌

Los investigadores comenzaron con un conjunto de más de un millón de quejas contra empresas de servicios financieros presentadas a la CFPB entre marzo de 2015 y marzo de 2024. Según las reglas de la agencia en ese momento, las empresas debían responder a estas quejas al proporcionar alivio, ya sea monetario o no monetario, o una explicación sobre por qué no se justificaba el alivio. (A partir de marzo de 2025, la mayoría de las operaciones de CFPB se han detenido.) ‌

Este conjunto de datos fue especialmente valioso porque los consumidores deben presentar narraciones detalladas sobre sus quejas e información precisa sobre ellos mismos, incluidas sus ubicaciones geográficas. A diferencia de, digamos, una revisión negativa en un sitio como Yelp, una queja ante una agencia gubernamental como CFPB “tiene una implicación legal potencial”, dice Shin, “por lo que hay mucha menos preocupación por las quejas falsas”. ‌

Los investigadores utilizaron una herramienta comercial de detección de IA para analizar el texto de estas quejas. La herramienta proporcionó puntajes de 0 a 100 que representaban la probabilidad de que la queja se haya escrito con asistencia de IA; Los investigadores codificaron las quejas como escritas por IA solo si este puntaje era 99 o más. Incluso utilizando este enfoque conservador, observaron un salto repentino en las quejas asistidas por un AI-AI después de la introducción de ChatGPT, desde esencialmente ninguno hasta el 9.8% en marzo de 2024, “lo cual es bastante notable”, dice Shin. ‌

Luego, los investigadores observaron los códigos postales donde se habían originado las quejas. Descubrieron que una parte desproporcionada de las quejas asistidas por AIV provenía de áreas donde una mayor proporción de residentes tiene un dominio limitado del inglés. En otras palabras, parecía probable que los consumidores que no hablaran inglés se volvieran cómodamente a Chatgpt para ayudarlos a redactar sus quejas. ‌

Shin y sus coautores también compararon las quejas asistidas por AI-AL con aquellos que el sistema de detección de IA había obtenido como probablemente autorizado por los humanos. Las quejas asistidas por AI-AI tenían una probabilidad del 49.3% de obtener alivio, en comparación con el 39.9% para las quejas de autorización humana. ‌

El uso de IA puede haberse correlacionado con una mayor probabilidad de obtener alivio, pero ¿causó los resultados mejorados? Para acercarse a responder esa pregunta, los investigadores utilizaron un tipo de análisis estadístico llamado estimación de variables instrumentales.

Observaron dos factores que deberían correlacionarse lógicamente con un mayor uso de IA después de la introducción de ChatGPT, pero que de otro modo no deberían afectar el resultado de las quejas: acceso a Internet y el dominio del inglés, ambos medidos a nivel de código postal. (Controlaron factores que incluyen ingresos, nivel de educación y estado laboral).

Este análisis reveló que, de hecho, las quejas de áreas con menos hablantes de inglés competentes y de áreas con niveles más altos de acceso a Internet tuvieron mejores resultados después de que se lanzaron ChatGPT.

Sin embargo, incluso con la ayuda de la estimación de variables instrumentales, los investigadores no pudieron decir con certeza por qué las quejas asistidas por AI recibieron mejores resultados. Sospechaban que era porque la IA permitía una presentación más efectiva de las preocupaciones de los consumidores, pero era posible que algún otro factor estaba en funcionamiento, por ejemplo, tal vez las personas que se tomaron el tiempo para refinar su queja con ChatGPT simplemente tuvieron casos más fuertes de alivio. ‌

Para desenredar la relación entre el contenido y la presentación, los investigadores realizaron un experimento en el que los participantes en línea revisaron quejas que eran idénticas en el contenido pero diferían en si CHATGPT no les editaba o editaba para mejorar la claridad, la coherencia o la profesionalidad.

Los participantes, que se despiden a sí mismos como la parte responsable de abordar las quejas, calificadas de uno a siete, lo probable es que tengan un alivio monetario en respuesta a cada queja. Los participantes, según los investigadores, tenían significativamente más probabilidades de proporcionar alivio a las quejas editadas por AI. ‌

Los investigadores repitieron el mismo experimento con participantes que habían trabajado previamente en la industria financiera. Esta vez, además de calificar la probabilidad de proporcionar alivio monetario, los participantes también obtuvieron las quejas sobre claridad y profesionalismo. Y como se esperaba, las quejas editadas de AI se consideraron más claras y más profesionales, y tenían más probabilidades de recibir alivio. ‌

Para Shin, los resultados del segundo experimento fueron especialmente sorprendentes. Al entrar en el estudio, pensó que era posible que los profesionales financieros “fueran un poco más sofisticados” y, por lo tanto, pudieran identificar quejas meritorias, independientemente del estilo de presentación. Sin embargo, incluso entre las personas con más experiencia, el contenido editado AI aún superó el contenido sin editar, lo que sugiere que lo bien que se articula una queja afecta significativamente su resultado.

En el futuro, Shin espera comprender cómo las organizaciones podrían responder a un aumento en las quejas editadas por AI. “Parece que están beneficiando a las personas que están usando LLM, ¿es tan justa?” Shin pregunta.

Quizás, sugiere, las empresas deberían integrar las herramientas de IA en los formularios a través de los cuales los consumidores presentan quejas, igualando el acceso. Otra respuesta podría ser capacitar al personal para separar el contenido y la presentación al juzgar las quejas de los consumidores.

En medio de un mar de preocupaciones sobre cómo los LLM podrían cambiar nuestra sociedad para peor, Shin considera que el estudio identifica una valiosa ventaja: “Aumentan el bienestar para toda la sociedad, porque nadie está en desventaja simplemente por sus habilidades de comunicación”. ‌

Más información: La adopción y eficacia de los modelos de idiomas grandes: evidencia de quejas de los consumidores en la industria financiera. Insights.som.yale.edu/sites/de … lt/files/2025-04/The%20AdOption%20 y%20eficacia%20Of%20Large%20Language%20Models%20Evidence%20FROM%20Consumer%20ComplArts%20in%20The%20Financial%20industry_0.pdffffff.

Proporcionado por la Universidad de Yale

Cita: Cuando AI es el editor, las quejas de los consumidores tienen más probabilidades de tener éxito ‌ (2025, 3 de abril) recuperado el 3 de abril de 2025 de https://techxplore.com/news/2025-04-ai-editor-consumer-suceds-suced.html

Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.