Validación de un modelo de inteligencia artificial para la predicción de la mortalidad del paciente con sepsis

Resumen

OBJETIVO: Validar un modelo de inteligencia artificial que pueda predecir el pronóstico de mortalidad del paciente hospitalizado con sepsis.

MATERIALES Y MÉTODOS: Estudio de cohorte ambispectivo observacional, en el que se analizaron expedientes electrónicos de pacientes adultos del Hospital Central del Estado de Chihuahua, México, de julio de 2018 a marzo de 2020 y de enero de 2021 a enero de 2022. Se analizaron tres modelos: redes neuronales, máquina de soporte de vectores y bosques aleatorios. Para la validación del modelo, el 80% de la muestra fue para adiestramiento y el 20% para la prueba. Del último grupo (20%) se implementó una validación cruzada de 10 pliegues para el cálculo de sensibilidad, especificidad, valor predictivo positivo y valor predictivo negativo.

RESULTADOS: Se analizaron 353 expedientes, de los que solo se eligieron 218. El mejor modelo fue el de redes neuronales; sin embargo, su puntaje del área bajo la curva (AUC) apenas alcanzó 0.80; por debajo de este valor estuvieron el algoritmo de bosques aleatorios (AUC 0.667) y el de máquina de soporte de vectores (AUC 0.641). De los 3 modelos, solo se hizo la validación cruzada con el de redes neuronales, del 20% de los datos de prueba se implementaron 10 validaciones. Los puntajes del área bajo la curva obtenidos en cada pliegue fueron de 0.771 a 0.830.

CONCLUSIONES: El modelo es bueno aun trabajando con pocos datos. Se pretende recolectar una mayor muestra para volver a adiestrar y validar el modelo con más datos y mejorar el aprendizaje y rendimiento para finalmente ser válido en pacientes.

PALABRAS CLAVE: Inteligencia artificial; pronóstico; mortalidad; sepsis; redes neuronales; máquina de soporte de vectores; bosques aleatorios.

Abstract

OBJECTIVE: To validate an artificial intelligence model that can predict the mortality prognosis of hospitalized patients with sepsis.

MATERIALS AND METHODS: An ambispective observational cohort study, which included electronic records of adult patients from the Central Hospital of the State of Chihuahua, Mexico, from July 2018 to March 2020 and January 2021 to January 2022. Three models were analyzed: neural networks, support vector machine and random forests. For model validation, the sample was divided into 80% for training and 20% for testing. For the last group (20%), a 10-fold cross-validation was implemented to calculate sensitivity, specificity, positive predictive value, and negative predictive value.

RESULTS: A total of 353 files were analyzed, of which only 218 were chosen. The best model was the neural networks; however, its area under the curve (AUC) score barely reached 0.80, the random forests algorithm (AUC 0.667) and the support vector machine algorithm (AUC 0.641) were below this value. Of the 3 models, only the cross-validation with the neural networks was done, of 20% of the test data, 10 validations were implemented. The AUC scores obtained in each fold ranged from 0.771 to 0.830.

CONCLUSIONS: The model is good, even working with few data. It is intended to collect a larger sample to retrain and validate the model with more data and improve learning and performance and finally be applicable to patients.

KEYWORDS: Artificial intelligence; Prognosis; Mortality; Sepsis; Neural networks; Support vector machine; Random forests.