Los grandes modelos lingüísticos no pueden reconocer la motivación de los usuarios, pero pueden apoyar el cambio de conducta de quienes están dispuestos a cambiar
Según un investigador de la Universidad de Illinois Urbana-Champaign, los chatbots basados en grandes modelos lingüísticos no pueden reconocer eficazmente la motivación de los usuarios cuando dudan en cambiar de comportamiento, pero pueden ayudar a los que están decididos a actuar.
Michelle Bak, estudiante de doctorado en ciencias de la información, y la profesora de ciencias de la información Jessie Chin son las autoras del estudio publicado en el Journal of the American Medical Informatics Association.
Los chatbots como basados en grandes modelos lingüísticos -también conocidos como agentes conversacionales generativos- como ChatGPT se han utilizado cada vez más en la atención sanitaria para la educación, evaluación y gestión de pacientes. Bak y Chin querían saber si también podían ser útiles para promover cambios de conducta.
Chin explicó que estudios anteriores habían demostrado que los algoritmos existentes no identificaban con precisión las distintas fases de motivación de los usuarios. Ella y Bak diseñaron un estudio para comprobar hasta qué punto los grandes modelos lingüísticos, que se utilizan para entrenar a los chatbots, identifican los estados de motivación y proporcionan información adecuada para apoyar el cambio de comportamiento.
Evaluaron los modelos de lenguaje de gran tamaño de ChatGPT, Google Bard y Llama 2 en una serie de 25 escenarios diferentes que diseñaron y que se centraban en necesidades sanitarias como la escasa actividad física, los problemas de dieta y nutrición, los problemas de salud mental, la detección y el diagnóstico del cáncer, y otros como las enfermedades de transmisión sexual y la drogodependencia.
En los escenarios, los investigadores utilizaron cada una de las cinco etapas motivacionales del cambio de conducta: resistencia al cambio y falta de conciencia de la conducta problemática; mayor conciencia de la conducta problemática pero ambivalencia respecto a la realización de cambios; intención de actuar con pequeños pasos hacia el cambio; inicio del cambio de conducta con el compromiso de mantenerlo; y mantenimiento con éxito del cambio de conducta durante seis meses con el compromiso de mantenerlo.
El psicólogo ChatGPT no entiende tus dudas
El estudio descubrió que los modelos de lenguaje amplio pueden identificar estados motivacionales y proporcionar información relevante cuando un usuario ha establecido objetivos y un compromiso para pasar a la acción. Sin embargo, en las fases iniciales, cuando los usuarios se muestran indecisos o ambivalentes sobre el cambio de comportamiento, el chatbot es incapaz de reconocer esos estados motivacionales y proporcionar la información adecuada para guiarlos a la siguiente fase del cambio.
Chin explicó que los modelos lingüísticos no detectan bien la motivación porque están entrenados para representar la relevancia del lenguaje de un usuario, pero no entienden la diferencia entre un usuario que está pensando en un cambio pero sigue indeciso y un usuario que tiene la intención de pasar a la acción. Además, la forma en que los usuarios generan las consultas no es semánticamente diferente en las distintas fases de motivación, por lo que no resulta obvio a partir del lenguaje cuáles son sus estados motivacionales.
«Una vez que una persona sabe que quiere empezar a cambiar su comportamiento, los grandes modelos lingüísticos pueden proporcionar la información adecuada. Pero si dicen: ‘Estoy pensando en un cambio. Tengo intenciones, pero no estoy preparado para pasar a la acción’, ése es el estado en el que los grandes modelos lingüísticos no pueden entender la diferencia», explica Chin.
Los resultados del estudio revelaron que cuando las personas se resistían a cambiar de hábito, los grandes modelos lingüísticos no proporcionaban información que les ayudara a evaluar su comportamiento problemático y sus causas y consecuencias, ni a valorar cómo influía su entorno en el comportamiento. Por ejemplo, si alguien se resiste a aumentar su nivel de actividad física, proporcionar información que le ayude a evaluar las consecuencias negativas del sedentarismo tiene más probabilidades de ser eficaz para motivar a los usuarios a través del compromiso emocional que la información sobre apuntarse a un gimnasio. Según Bak y Chin, los modelos lingüísticos no generaban la sensación de estar preparados ni el impulso emocional necesario para progresar en el cambio de comportamiento si no se proporcionaba información que tuviera en cuenta las motivaciones de los usuarios.
Una vez que el usuario decidía pasar a la acción, los grandes modelos lingüísticos proporcionaban información adecuada para ayudarle a avanzar hacia sus objetivos.
REFERENCIA
