¿Acierta ChatGPT al decirte que tienes que ir a urgencias? A veces, pero falla en esto
Un estudio publicado en Nature que evaluó las respuestas de ChatGPT en casi 10.000 consultas concluye que los modelos suelen identificar bien las emergencias, pero recomiendan atención médica cuando no es necesaria
Millones de personas consultan a ChatGPT cuando tienen síntomas. La pregunta habitual, aunque no siempre se formule de esa manera, es alguna variante de: ¿necesito ir al médico? ¿A urgencias o puede esperar? ¿O me quedo en casa y lo controlo? Esa decisión, que los sistemas sanitarios llaman triaje, es exactamente lo que Marvin Kopka, Longqi He y Markus A. Feufel, del grupo de Ergonomía de la TU Berlín, pusieron a prueba de forma sistemática y a gran escala en el estudio más completo publicado hasta ahora sobre el rendimiento de ChatGPT en este contexto.
El diseño más exhaustivo realizado hasta la fecha
El equipo evaluó 22 versiones de ChatGPT, desde el ya retirado GPT-3.5 hasta los modelos GPT-5.1 y GPT-5.2, usando un conjunto de 45 viñetas clínicas validadas extraídas de casos reales en los que personas habían descrito sus síntomas en comunidades online para pedir orientación. Cada viñeta fue enviada a cada modelo diez veces, lo que generó un total de 9.900 evaluaciones. La referencia para determinar si la recomendación era correcta fue establecida por dos médicos que habían clasificado de forma independiente cada caso en una de tres categorías: emergencia (urgencias o ambulancia), consulta médica no urgente, o autocuidado (observar en casa, no acudir al médico).
El diseño es metodológicamente relevante en dos aspectos. Primero, los casos reflejan la distribución natural de urgencia real de quien busca información médica online: dominada por casos no urgentes y de autocuidado, con muy pocas emergencias. Segundo, repetir cada consulta diez veces permitió medir algo que los estudios anteriores solían ignorar: la variabilidad del mismo modelo ante la misma pregunta.
ChatGPT te dice que vayas a urgencias pero no que te quedes en casa
En cuanto a las emergencias, los modelos funcionan bien. Prácticamente todos identificaron los dos casos de emergencia correctamente en casi todas las consultas. La detección de los casos más urgentes no es el problema.
El problema es la categoría de autocuidado. Decirle a alguien que sus síntomas no requieren atención médica, que puede quedarse en casa y observar la evolución, fue la tarea que peor resolvieron todos los modelos. En muchos casos, la probabilidad de recibir esa recomendación correcta era marginal, y el patrón dominante fue el opuesto: recomendar atención médica cuando la situación objetivamente no la requería. Los investigadores denominan esto sobrederivar, y es el error sistemático de todos los modelos analizados.
El mecanismo tiene sentido desde la perspectiva del diseño: los modelos aprenden que recomendar atención médica es la opción más "segura" ante la duda, porque las consecuencias de decirle a alguien con una emergencia que se quede en casa son peores que las de enviar innecesariamente a alguien al médico. Pero ese sesgo, llevado al extremo, produce un sistema que básicamente siempre dice "ve al médico", lo que elimina su utilidad práctica para quien precisamente necesita saber si puede evitar ese paso.
Los modelos más nuevos no son mejores
Uno de los hallazgos más llamativos es que la precisión global no mejoró con las versiones más recientes. Los modelos de razonamiento de última generación, incluyendo GPT-5.1 y GPT-5.2, no superaron sistemáticamente a modelos anteriores en la puntuación de precisión global. La trayectoria de mejora que los usuarios suelen asumir entre versiones sucesivas de un mismo modelo no se refleja en este caso concreto.
Donde sí se observó una mejora con el tiempo fue en la categoría de autocuidado: los modelos de razonamiento de cadena de pensamiento, que incluyen un proceso de reflexión antes de generar la respuesta, aumentaron su capacidad para recomendar correctamente quedarse en casa frente a los modelos anteriores. Pero esa mejora parte de un nivel tan bajo que, incluso con ella, la categoría de autocuidado sigue siendo la más débil de los tres tipos de casos.
La variabilidad como problema y como solución parcial
El hecho de que cada viñeta se consultara diez veces reveló otro problema. Muchos modelos dan respuestas distintas ante la misma pregunta formulada de forma idéntica. Un caso que en algunos intentos se clasifica como autocuidado en otros se clasifica como consulta médica no urgente. Esa variabilidad interna hace que confiar en una única consulta sea arriesgado.
Los investigadores probaron cuatro algoritmos para agregar las respuestas de múltiples consultas del mismo caso e identificaron uno que mejora la precisión de forma modesta pero consistente: seleccionar la recomendación de menor urgencia entre todas las consultas realizadas. La lógica es que si el modelo a veces dice "puede quedarse en casa", esa recomendación de menor urgencia debería priorizarse porque el modelo, cuando razona bien, tiende a esa conclusión. El resultado fue un aumento sustancial en la detección correcta de casos de autocuidado sin sacrificar demasiado la identificación de emergencias.
Los propios autores advierten que esta estrategia no está pensada para el usuario individual, porque si hay una emergencia genuina que en la mayoría de los intentos se clasifica correctamente pero en uno se clasifica como autocuidado, usar esa estrategia podría tener consecuencias graves. La recomendación es que sea una herramienta para desarrolladores que quieran mejorar la precisión de sus aplicaciones con validación de seguridad adicional.
Implicaciones para quien ya usa ChatGPT para sus síntomas
Los autores son directos en sus conclusiones prácticas. Para detectar si algo es una emergencia, los modelos actuales pueden ser útiles como referencia, siempre que ante la duda el usuario siga las pautas locales de emergencia y no se fíe exclusivamente del modelo. Para decidir si puede quedarse en casa con síntomas no urgentes, la mayoría de los modelos actuales no son fiables como herramienta autónoma.
Lo que el estudio también señala, y que es más amplio que el rendimiento técnico de ChatGPT, es que el uso de IA generalista para decisiones médicas crece más rápido que la regulación y la evaluación de esa IA. ChatGPT no está regulado como dispositivo médico cuando lo usan particulares para orientar su atención sanitaria. Las consecuencias de ese desfase, en términos de personas que podrían saturar urgencias innecesariamente o que podrían dejar de ir cuando deberían, son difíciles de cuantificar pero no difíciles de imaginar.
Referencia
Si quieres conocer otros artículos parecidos a ¿Acierta ChatGPT al decirte que tienes que ir a urgencias? A veces, pero falla en esto puedes visitar la categoría Uncategorized.
Continúa Leyendo