Miguel Jorge
EditorLa semana pasada, miles de personas descubrieron de la peor forma posible que ChatGPT está muy lejos de ser un verdadero confidente. Una filtración a través del buscador de Google dejó expuestas una cantidad indecente de chats y conversaciones privadas entre usuarios y el chatbot de OpenAI. Por si existía dudas de lo poco recomendable que puede ser para temas de la salud, el caso de un hombre con una enfermedad del siglo XIX entierra cualquier duda.
Un caso clínico insólito. Un hombre de 60 años desarrolló bromismo, una intoxicación por bromuro casi prácticamente desaparecida desde mediados del siglo XX, tras seguir un consejo obtenido de ChatGPT y sustituir completamente la sal de su dieta por bromuro de sodio. El paciente llegó a urgencias con deshidratación, delirios paranoides y alucinaciones auditivas y visuales, convencido de que su vecino lo envenenaba.
Una vez estabilizado, explicó que, buscando eliminar el cloruro de su alimentación, había consultado a la IA, que le sugirió que el ion cloruro podía sustituirse por otros haluros como el bromuro. Sin percatarse de que se trataba de un compuesto regulado y tóxico para consumo humano, lo adquirió por internet (producto usado como anticonvulsivo veterinario, limpiador de piscinas y pesticida) y lo ingirió durante tres meses, provocando su intoxicación progresiva.
La IA intoxicando. La reconstrucción del caso muestra que la IA no advirtió al usuario sobre el uso alimentario seguro de la sal ni el riesgo del bromuro, y que formuló la sugerencia sin indagar sobre el contexto exacto, algo que un profesional sanitario habría hecho. Aunque en interacciones posteriores la IA solicitó aclaraciones como “¿en qué contexto?” y propuso alternativas seguras (MSG, aminoácidos líquidos), no alertó explícitamente de la toxicidad del bromuro en la primera respuesta.
Los médicos que replicaron la consulta comprobaron que el sistema no ofrecía una advertencia preventiva clara. Este vacío llevó al paciente a envenenarse lentamente hasta presentar un cuadro psiquiátrico grave. El bromismo, común en el siglo XIX y principios del XX (hasta un 8% de los ingresos psiquiátricos en 1930), disminuyó drásticamente tras la regulación del bromuro en Estados Unidos entre 1975 y 1989.
Implicaciones a la asistencia sanitaria. El caso pone de relieve los riesgos de emplear modelos de lenguaje en cuestiones médicas sin supervisión profesional. Aunque existen evidencias de que la IA puede ser útil para interpretar resultados médicos o apoyar decisiones clínicas, a la vista queda que la ausencia de preguntas de seguimiento o advertencias críticas en consultas ambiguas puede derivar en consecuencias graves.
En este caso, la intoxicación fue fruto de la combinación de una interpretación literal del consejo, la disponibilidad de un producto regulado pero accesible, y la carencia de filtros específicos para uso humano en la respuesta.
Reacción de OpenAI. Coincidiendo con la publicación del caso, el CEO de OpenAI, Sam Altman, presentó durante el lanzamiento de ChatGPT 5 un sistema de “safe completions” destinado a intervenir en respuestas potencialmente dañinas o ambiguas en temas de salud. Altman lo calificó como “el mejor modelo para salud” y destacó que su objetivo es dar al usuario más control sobre su proceso asistencial.
En la presentación, un empleado de la compañía y su esposa (diagnosticada de cáncer) relataron cómo habían usado la IA para comprender informes diagnósticos, decidir sobre tratamientos como la radioterapia y participar activamente en la gestión de la enfermedad. Estos avances buscan prevenir incidentes como el del paciente con bromismo, aunque, obviamente, el caso evidencia que, sin un marco de supervisión y advertencias claras, el riesgo de malinterpretaciones peligrosas sigue siendo muy real.
Imagen | Pexels
En Xataka Móvil | Intuíamos que el móvil no era un confidente, pero ahora se ha confirmado: se han filtrado 100.000 preguntas incómodas a ChatGPT
En Xataka Móvil | La otra cara de ChatGPT en las escuelas y universidades: la IA es capaz de ahorrar hasta seis horas semanales de trabajo
Ver 0 comentarios