Los chatbots basados en grandes modelos de lenguaje (large language models (LLM)) pueden ayudar a resolver dudas de los usuarios relacionadas con la vacunación del adulto. Sin embargo, la calidad de sus respuestas no ha sido suficientemente evaluada en este contexto.

A partir de 15 escenarios clínicos representativos de dudas frecuentes sobre vacunación del adulto se elaboraron 30 preguntas (15 en castellano y 15 en inglés). ChatGPT 5.3 y Gemini Flash generaron una respuesta para cada pregunta, en formato de interacción única, sin autenticación y sin contexto conversacional previo. Diez profesionales sanitarios expertos, agrupados en cinco parejas y ciegos al modelo utilizado, evaluaron las respuestas mediante la escala Quality Analysis of Medical Artificial Intelligence (QAMAI; 6 ítems; rango 6-30). Cada respuesta fue evaluada por cinco parejas de evaluadores. Las puntuaciones se resumieron mediante mediana (RIQ) y se compararon mediante modelos lineales de efectos mixtos.

Se obtuvieron 300 evaluaciones. La puntuación global fue de 25/30 (RIQ 1). Las respuestas fueron valoradas como altamente claras, relevantes y útiles (5/5; RIQ 1). La completitud y la exactitud también obtuvieron puntuaciones altas (4/5; RIQ 1). No obstante, se identificó información falsa o inexacta en 25 (41,7%) respuestas e información incompleta en 12 (20%). Además, solo 135 (45%) respuestas incluyeron fuentes o referencias, siendo este el dominio con menor puntuación (2/5; RIQ 2). Todas las respuestas de Gemini Flash en inglés incluyeron fuentes y referencias. Gemini Flash y las respuestas en inglés obtuvieron puntuaciones significativamente superiores.

Los LLM conversacionales de acceso libre pueden facilitar el acceso a información sobre vacunación del adulto, aunque presentan limitaciones relevantes en la trazabilidad y fiabilidad de las respuestas, con rendimiento variable según modelo e idioma. Su uso debería considerarse complementario a la información sanitaria basada en la evidencia, más que como una fuente independiente.