Modificación de los índices psicométricos de los exámenes departamentales diseñados para la evaluación de los residentes de Medicina Interna del posgrado de la Facultad de Medicina, UNA M, en función

Antecedentes: el número de opciones se ha discutido ampliamente entre los partidarios de los ítems de opción múltiple. Se puede elegir la confiabilidad, validez o ambas como criterio para establecer un número de alternativas de respuesta. Objetivo: analizar si al disminuir de cinco a cuatro opciones de respuesta se modifican las propiedades psicométricas de los exámenes departamentales diseñados para la evaluación de los residentes de especialidades médicas y, por ende, la calidad del instrumento de evaluación. Material y método: estudio comparativo cuasiexperimental en el que se aplicó un examen con 300 preguntas de opción múltiple en dos versiones: cinco y cuatro opciones de respuesta a dos grupos de 117 residentes de Medicina Interna cada uno. Resultados: se obtuvo un coeficiente de correlación de 0.925 (p 0.05), el coeficiente de confiabilidad con IC a 95% para cinco opciones fue de 0.913 y para cuatro opciones fue de 0.905. El índice de dificultad para cinco opciones fue de 63 y para cuatro fue de 65; 54% de los reactivos tuvo mejor índice de dificultad en la versión de cinco opciones. La correlación punto biserial para cinco y cuatro opciones fue de 0.16 y 0.18, respectivamente. Conclusiones: en la versión con cuatro opciones, 54% de los reactivos los contestó un mayor número de residentes, incluidos los de bajo rendimiento, éstos los pudieron acertar al azar (20% de probabilidad), lo que permite que residentes limítrofes obtengan calificación aprobatoria. Al comparar ambas versiones, con cuatro opciones resulta 44% de reactivos con índice de discriminación menor, lo que indica que esa versión tiene menor capacidad de discriminar entre los residentes de puntuación alta y baja. Al observar estas modificaciones consideramos que cinco opciones son mejores que cuatro para la evaluación de los residentes de especialidades médicas.

Palabras clave: preguntas de opción múltiple, cinco y cuatro opciones de respuesta, índice de discriminación, índice de confiabilidad, índice de dificultad, índices psicométricos

Background: The number of options has been widely discussed among the supporters of the multiple-choice items. It is possible to choose the reliability, validity, or both as a criterion for establishing a number of possible answers. Objective: To analyze if reducing for five to four options of answer modifies psychometric properties of departmental exams designed to assess medical specialties residents and, thus, the quality of assessment instrument. Material and method: A comparative quasi-experimental study was done applying a test with 300 multiple choice questions in two versions: 5 and 4 possible answers to two groups of 117 internal medicine residents, each one. Results: We obtained a correlation coefficient of 0.925 (p 0.05), the coefficient of reliability with 95% CI for five answers was 0.913 and for four options was 0.905. The index of difficulty for five options was 63 and for four was 65, 54% of the items had a better index of difficulty in the version of five options. The point biserial correlation for five and four options was 0.16 and 0.18, respectively. Conclusions: In the version with four options, 54% of the items answered a greater number of residents, including low achievers; they could hit the random (20% probability), allowing bordering residents to obtain a passing grade. By comparing the two versions, with four options 44% were reactive with a lower discrimination index, which indicates that they were less able to discriminate between residents of high and low score. By observing these changes we believe that five options are better than four to assess medical specialties.

Keywords: multiple choice questions, five and four response options, discrimination index, reliability index, difficulty index, psychometric indexes