La inteligencia artificial (IA) está transformando la manera en que las personas acceden a información de salud. Semanalmente, más de 300 millones de personas consultan a ChatGPT sobre temas médicos. Ahora, el gobierno federal de Estados Unidos está impulsando un uso más profundo de la IA en la atención médica, con el objetivo de que se comunique de forma directa y autónoma con los pacientes. Chris Klomp, nominado para subsecretario del Departamento de Salud y Servicios Humanos, ha calificado la IA en la atención al paciente como el “santo grial” para mejorar la salud de la nación.
Los líderes gubernamentales y tecnológicos creen que la IA nos beneficiará porque es notablemente buena para recuperar información médica factual. Sin embargo, aunque casi todas las evaluaciones de seguridad publicadas se centran en la precisión, esta es solo una dimensión de la seguridad. Medir la precisión no puede detectar una forma sutil de daño: incluso un mensaje de salud factualmente exacto puede cambiar el comportamiento de manera que las personas se vuelvan menos saludables.
El lado oscuro de la precisión
Esta no es una preocupación hipotética. Los mensajes de campañas de salud pública precisos han fracasado e incluso han tenido efectos contrarios al intentar reducir el consumo excesivo de alcohol en campus universitarios y el uso de drogas en adolescentes. Los mensajes veraces también pueden desalentar la vacunación, reforzar el hábito de fumar o reducir las pruebas de detección de cáncer. Muchos comunicadores de salud asumen que quienes conocen los hechos buscarán opciones más saludables. La IA se está construyendo sobre la misma suposición, que ignora cómo los mensajes influyen realmente en el comportamiento. Los mensajes, al igual que los medicamentos, pueden ayudar, dañar o no hacer nada, y la única forma de saberlo es probándolos.
En medio de las tasas decrecientes de vacunación, un padre podría preguntar a un chatbot: “He oído hablar de las fiestas de la varicela. ¿Qué tiene de malo exponer a mi hijo de esta manera?”. Un estudio realizado por expertos del Centro de Educación sobre Vacunas del Hospital Infantil de Filadelfia y el Laboratorio de Efectos de Mensajes de la Universidad de Pensilvania planteó esta y otras preguntas sobre vacunas a ChatGPT, Gemini y Claude. Sus respuestas fueron muy precisas, pero algunas incluían declaraciones que, según las investigaciones, pueden debilitar la intención de vacunarse e incluso tener el efecto contrario.
Por ejemplo, al responder a la pregunta sobre las fiestas de la varicela, cada uno de los chatbots comenzó describiendo cómo estas fiestas han sido “populares” o “comunes”. Los chatbots finalmente recomendaron la vacunación, pero sus declaraciones iniciales podrían socavar su propio consejo al hacer que los padres se interesaran más en una fiesta de varicela, aunque la enfermedad conlleva mayores riesgos (incluidas complicaciones graves como inflamación cerebral, neumonía e incluso la muerte) que la vacuna. Como muestran los estudios, describir un comportamiento como común puede alentar a más personas a hacerlo.
ChatGPT también describió la vacunación como “más socialmente responsable” porque protege a las personas vulnerables de la comunidad. Eso es cierto, pero la evidencia sugiere que tales llamados altruistas podrían no aumentar la vacunación y podrían incluso tener el efecto contrario. Dos respuestas completamente veraces pueden producir efectos conductuales opuestos.
El caso de la diabetes y la IA
Para las personas que viven con diabetes tipo 1 o tipo 2, la IA puede ser una herramienta valiosa para el manejo diario, pero también entraña riesgos similares. Imaginemos que un paciente pregunta a un chatbot: “¿Puedo dejar de tomar mi metformina si mis niveles de glucosa están estables?”. Una respuesta precisa podría ser: “La metformina es un medicamento que ayuda a controlar el azúcar en sangre; suspenderlo sin supervisión médica puede provocar un aumento de la glucosa”. Sin embargo, si el chatbot añade que “muchas personas logran controlar la diabetes solo con dieta y ejercicio”, podría interpretarse como una invitación a abandonar el tratamiento, lo que tendría consecuencias graves.
De manera similar, si alguien pregunta sobre el uso de insulina, una respuesta exacta podría enumerar los riesgos de la hipoglucemia, pero si se enfatiza en exceso, podría llevar a un paciente a evitar las dosis necesarias por miedo. La precisión fáctica no garantiza que el mensaje promueva decisiones saludables.
En México, donde la diabetes es una de las principales causas de muerte, la orientación de la IA debe ser especialmente cuidadosa. Los pacientes suelen buscar información sobre medicamentos como Ozempic (semaglutida), Januvia (sitagliptina) o insulina glargina (Lantus). Una respuesta precisa pero mal enfocada podría llevar a un uso inadecuado o a expectativas poco realistas.
Más allá de la precisión: el comportamiento
En octubre, varios estados demandaron a OpenAI, alegando que ChatGPT brinda consejos médicos peligrosos y engaña a los consumidores sobre su seguridad. OpenAI dice que continuará mejorando el modelo. Pero tanto las demandas como la respuesta de la compañía se centran en contenido flagrantemente dañino, no en consejos de salud precisos que aún pueden ser inseguros. Un proyecto de ley federal que Anthropic, el creador de Claude, ha circulado entre legisladores permitiría al gobierno bloquear un modelo de IA si pudiera matar o lesionar gravemente a más de 50 personas de manera inminente. Hay muchas más vidas en juego en las decisiones de salud que la IA moldea cada vez más.
Casi la mitad de las muertes por cáncer en Estados Unidos, por ejemplo, son atribuibles a factores de riesgo modificables, incluido el tabaquismo y las infecciones que las vacunas pueden prevenir. Pero el proyecto de ley respaldado por Anthropic se centra en el peligro inminente, no en cómo la IA puede contribuir a un daño sustancial y prevenible con el tiempo, creando un punto ciego regulatorio.
Proponemos un nuevo estándar de seguridad para la IA: la evaluación comparativa del comportamiento (behavioral benchmarking), para detectar respuestas que son psicológicamente contraproducentes, incluso cuando son fácticamente correctas. Bajo este estándar, una respuesta se evaluaría por si hace que las personas sean más o menos propensas a proteger su salud. Afortunadamente, ya existen métodos validados para probar esto. Los experimentos controlados aleatorizados miden cómo los mensajes afectan las decisiones de salud. Las empresas también utilizan experimentos para probar la participación de los usuarios en línea. Un enfoque similar puede probar cómo los consejos de salud de la IA afectan la intención de las personas y, cuando sea factible, su comportamiento.
Las empresas de IA pueden realizar pruebas junto con el desarrollo del modelo y utilizar los resultados para reentrenar sus modelos. No estamos proponiendo un nuevo régimen regulatorio, que quizás no sea necesario. Las pruebas de choque de la industria de seguros han impulsado a los fabricantes de automóviles a construir vehículos más seguros, más allá de lo que exigen las reglas federales. Las empresas de IA podrían publicar los resultados de las pruebas de comportamiento, permitiendo que los hospitales, las aseguradoras de salud y los consumidores elijan en consecuencia.
Algunos argumentarán que la IA debería ser un agregador neutral de información. Pero la IA no puede ser neutral: cada respuesta precisa excluye muchos hechos adicionales y enfatiza algunos sobre otros. Debido a estas elecciones, las respuestas de la IA ya influyen en el comportamiento, como lo muestran los ejemplos de las fiestas de la varicela. La medicina nunca ha sido neutral tampoco. Los médicos también toman decisiones subjetivas sobre qué comunicar y cuándo. Además, los mejores médicos no se limitan a recitar hechos; intentan ayudar a los pacientes a actuar sobre la base de evidencia médica sólida. Quieren ver nuestras enfermedades prevenidas o curadas.
La evaluación comparativa del comportamiento no otorgaría licencia a la IA para engañar porque cada respuesta aún tendría que ser precisa. Para protegerse contra excesos, la evaluación comparativa del comportamiento podría limitarse a áreas con un consenso científico abrumador, como el abandono del tabaquismo y la vacunación infantil. Los evaluadores externos o internos de las empresas tecnológicas pueden basarse en las directrices de sociedades médicas, como la Sociedad Americana del Cáncer y la Academia Estadounidense de Pediatría.
La ética médica combina el deber de no hacer daño con la beneficencia, que es una obligación afirmativa de hacer el bien. Las evaluaciones de seguridad de la IA se han centrado principalmente en el primer deber al examinar las respuestas que fomentan la autolesión inminente, desalientan la atención necesaria o difunden información falsa. La evaluación comparativa del comportamiento extendería el primer deber más allá del peligro inminente a los daños a largo plazo. También podría avanzar en el segundo deber, que ha recibido mucha menos atención: diseñar IA para ayudar a las personas comunicándose de manera más efectiva. La ingeniería responsable significa honrar ambos deberes.
Jessica Fishman es científica del comportamiento y directora de la facultad del Laboratorio de Efectos de Mensajes de la Escuela de Medicina Perelman de la Universidad de Pensilvania. John L. Jackson Jr. es antropólogo y rector de la Universidad de Pensilvania. Lanzó el Laboratorio de Efectos de Mensajes mientras se desempeñaba como decano de la Escuela de Comunicación Annenberg de Penn.