La nota final que da acceso a la formación sanitaria especializada se obtiene a partir del expediente académico y del resultado de una prueba específica de cada programa. Ésta consiste en un examen tipo test con cinco opciones de respuesta1. El aspirante puede escoger especialidad y centro en función del orden de su nota final. La plaza a la cual se aspira ha dado lugar al nombre «popular» de la prueba: MIR para medicina, FIR para farmacia y EIR para enfermería, entre otros.

La formación sanitaria especializada no ha recibido demasiada atención por parte de la literatura, y las pruebas que rigen su acceso aún menos, con la salvedad del MIR2. Se han realizado propuestas de reforma del acceso3, así como análisis de la validez del formato de respuesta múltiple respecto a otros también habituales en la docencia médica4. En otros países, exámenes análogos son estudiados y analizados profusamente; a modo de ejemplo, una búsqueda no exhaustiva en Medline arroja 270 referencias sobre el USMLE (United States Medical Licensing Examination).

Existen varias directrices con recomendaciones para redactar óptimamente preguntas de tipo test5,6, y se ha estudiado profundamente el efecto que tiene el no respetarlas, también en pruebas médicas7–9. Las guías indican que un aspecto importante a estudiar son las propiedades psicométricas de un examen, tanto más si éste se repite a lo largo del tiempo y su resultado tiene efectos sociales importantes. En una prueba de rendimiento, como es un examen, esto implica analizar la dificultad y la discriminación de cada una de las alternativas10. Además, es de interés estudiar cómo se relacionan las características de los individuos con su rendimiento. Este análisis permite no sólo conocer a los participantes sino corregir posibles sesgos de las pruebas.

En ninguna de las búsquedas realizadas en bases bibliográficas especializadas (Medline, Scielo, Cochrane Plus y Medes) hemos encontrado un análisis de las propiedades de las pruebas de acceso a la formación sanitaria especializada, y tampoco ningún trabajo que aporte datos sobre qué características de los aspirantes son predictoras de un buen resultado en las pruebas.

Este trabajo pretende cubrir este vacío, cuantificando dichos aspectos. Considerando la larga historia de las pruebas de acceso a la formación sanitaria especializada, esperamos encontrar que sus propiedades psicométricas sean adecuadas. En cuanto a las características de los participantes, no tenemos ninguna hipótesis, ya que no hay estudios previos sobre ellas.

Tras efectuar una petición, la Subdirección General de Ordenación Profesional del Ministerio de Sanidad, que es la encargada de gestionar las pruebas de formación sanitaria especializada, aceptó proporcionarnos datos relativos a las convocatorias de los años 2005 y 2006, que se realizaron en enero de 2006 y de 2007, respectivamente.

Las matrices contenían, para las convocatorias de MIR, FIR y EIR, datos individuales de cada aspirante presentado, obviamente, sin identificador personal alguno. De la convocatoria de EIR se trabajó sólo con la de 2005 porque los datos de la de 2006 estaban dañados y no podían recuperarse.

Las variables registradas de cada individuo pueden agruparse en tres bloques: por un lado, demográficos (sexo, edad y nacionalidad), por otro, relativas a su currículo académico (nota baremada de su licenciatura o diplomatura [rango teórico entre 1 y 4] y año en que la finalizó); y por último las relativas a la prueba que completó, es decir, la respuesta dada a cada ítem/pregunta del examen y su nota final. La tabla 1 muestra la descripción de estas variables para los 23.136 aspirantes estudiados.

Las pruebas de MIR y de FIR tienen 250 preguntas más 10 de reserva, que se usan para, por orden, sustituir a las que son eliminadas por su mal rendimiento o ambigüedad tras un proceso de análisis interno y de impugnación externa. El examen de EIR sigue el mismo esquema, con la salvedad de que usa 100 preguntas y 10 de reserva. Cada pregunta acertada suma tres puntos, cada una fallada resta uno y se obvian las preguntas no contestadas. El rango teórico de puntuaciones es entre –250 y 750 para MIR y FIR, y de –100 a 300 para EIR.

Para nuestro análisis hemos eliminado las preguntas que fueron anuladas y aquellos aspirantes que no contestaron ninguna. Dejaron su examen completamente en blanco, en las convocatorias de 2005 y de 2006, respectivamente, 1085 (12,1%) y 1359 (14,1%) en el MIR, 119 (12,5%) y 126 (12,9%) en el FIR y 1246 (21%) en el EIR.

En la primera parte de los resultados se presenta el análisis de ítems de cada convocatoria, que se basa en dos índices. Por un lado, la dificultad de una pregunta se entiende como la proporción de personas que la aciertan de entre los que la han contestado. En ítems de elección múltiple (esto es, no binarios) es habitual corregir esta proporción restándole la de errores (dividida entre el número de opciones de respuesta menos uno) para así sustraer del acierto aquella parte que se explica por puro azar11. Paradójicamente, un valor alto del índice indica baja dificultad. Por otro lado, se entiende como discriminación de un ítem su capacidad para distinguir entre los participantes con un alto frente a un bajo rendimiento12. Puede calcularse mediante la correlación entre la puntuación del ítem y la total de la prueba, o bien utilizando el índice D. Éste, que ha sido el utilizado en el presente trabajo, se calcula mediante la diferencia de proporciones de acertantes entre el grupo de personas con un rendimiento en la prueba superior al 73% del resto frente al grupo que ha obtenido un rendimiento inferior al 23%. Ebel13 propuso puntos de corte para evaluar el índice D, siendo menor de 0,2 inaceptable, menor de 0,3 revisable, menor de 0,4 aceptable pero mejorable, y mayor de 0,4 óptimo. Además, es deseable que la D sea muy semejante entre distractores de un mismo ítem, ya que sería indicador de que son iguales en atractivo14.

En la segunda parte del apartado de resultados se utilizan modelos de regresión lineal para explicar la puntuación total de la prueba a partir de las variables demográficas (sexo, edad, nacionalidad) y relativas a la licenciatura/diplomatura (años desde su finalización y puntuación del expediente baremada). Puesto que no se trata de datos muestrales sino poblacionales, no tiene sentido realizar pruebas de significación ni mostrar los errores estándar. Se utiliza esta técnica multivariada para valorar la contribución propia de cada predictor, ajustando su efecto por el resto, y evitar la confusión inherente a todo estudio no experimental15. Para poder comparar variables con distintas métricas, o la misma entre diferentes convocatorias, se muestran los coeficientes b y beta.

Se han incluido en las ecuaciones todas las variables predictoras, tanto demográficas como relativas al pasado académico del candidato, que estaban registradas. La variable «nacionalidad» sólo se ha incluido en las convocatorias de MIR por ser éstas las que presentan proporciones no anecdóticas de extranjeros presentados.

Para calcular los índices del análisis de ítems se han creado algoritmos ad hoc. Todos los cálculos se han efectuado con SPSS v.19.

A partir del análisis de las dificultades, los resultados muestran que algunas preguntas más podrían haber sido eliminadas del examen, al tener dificultades (corregidas) negativas. Es cierto que se trata de muy pocos ítems (4 o 5 por convocatoria) y que la afectación de no hacerlo en validez de la puntuación total es nula, pero habiendo aún preguntas de reserva no hay ningún motivo para mantenerlas.

Las pruebas presentan un buen escalado, que cubre de forma suficiente todas las zonas de dificultad. Ahora bien, y con la salvedad de EIR, un objetivo a lograr sería que las pendientes fueran algo más cercanas a los 45° que definen lo óptimo. Que las pendientes de la dificultad crezcan antes de llegar a los 50 ítems indica un ligero déficit de preguntas difíciles, que podría ser corregido. Un examen es un instrumento de medida y debe hacer su tarea para todo el continuo del rendimiento. Un déficit de preguntas difíciles produce una peor medida de los mejores aspirantes, que son justamente los que mejor se pretende ordenar para que su oportunidad de escoger las plazas más apetecibles sea lo más justa posible. Por otro lado, la semejanza entre las curvas de un mismo programa aporta evidencia sobre la equivalencia de las pruebas año tras año, garantizando así la equidad (al menos la temporal) en el acceso, que es un objetivo primario de las pruebas1.

Del análisis de las discriminaciones pueden extraerse varias conclusiones. La más importante de ellas es recomendar reducir las opciones de respuesta a tres, que es el valor aceptado como óptimo en la literatura16. En el gráfico se observa que los dos distractores menos discriminantes de cada pregunta aportan muy poco, pues sus alturas son semejantes, y tienen muchos puntos alejados por la parte superior, lo que indica una mala discriminación. Redactar más de dos distractores verosímiles es muy difícil y rara vez aportan algo sustantivo17, más allá de alargar innecesariamente la prueba.

Los valores de R2 de las regresiones lineales muestran que se puede predecir la nota en el examen con precisión suficiente a partir de las características del aspirante. Destaca la semejanza entre modelos del mismo programa, lo que indica que la relación entre el perfil del aspirante y su rendimiento es estable. Que esto no se diera no indicaría necesariamente algún problema en las pruebas, pero sí habría que estudiar por qué ocurre.

En las convocatorias de FIR y MIR llama la atención el peso negativo del sexo, esto es, que tras ajustar por el resto de las características, los hombres obtienen una mejor calificación que las mujeres. Aunque el peso del coeficiente beta es pequeño, el b indica una diferencia media de 20 puntos. Este dato invierte totalmente el ofrecido por las medias sin ajustar (10 puntos más para las mujeres, en MIR, y medias prácticamente iguales en FIR). Esta diferencia se explica por el efecto que tiene evitar la confusión ajustando un modelo multivariado. En el caso de los candidatos a FIR, el ajuste se explica por la variable «edad», ya que en términos medios los chicos que se presentan son mayores que las chicas. Al retirar el efecto de la edad, la igualdad entre sexos que sugería la media univariada se muestra como falsa. En el caso de la convocatoria MIR, la principal explicación del ajuste viene dada por la variable «nacionalidad»: buena parte de los extranjeros presentados son hombres. Sobre esta variable, en primer lugar, es evidente que tener un pasaporte u otro no puede incidir sobre el rendimiento de una prueba. Creemos que la nacionalidad es un indicador indirecto (porque seguro que algunos aspirantes españoles se licenciaron en otro país, y viceversa) del país en que el aspirante ha realizado sus estudios. En segundo lugar, el mejor rendimiento lo muestran los estudiantes españoles: en términos medios, entre 83 y 108 puntos, esto es, entre un cuarto y un tercio de las puntuaciones medias. Este dato se explica por dos efectos: por un lado, es un indicio de la calidad de nuestras facultades de medicina, y por otro muestra la focalización de los médicos españoles en la prueba MIR18. Conviene recordar la modificación de las condiciones de acceso al examen MIR en la convocatoria de enero de 2011, que establece un cupo máximo de plazas para los no comunitarios de un 10% del total, ampliable a un 15% en caso de haber plazas no cubiertas. Es probable que este cambio haya corregido el sesgo que hemos detectado.

Este estudio es el primero que analiza, con datos reales de las propias pruebas, tanto las preguntas como los aspirantes a la formación sanitaria especializada. En cuanto a las pruebas, los resultados confirman lo esperado, esto es, que son muy adecuadas en términos psicométricos, aunque algunos aspectos son mejorables.

Debe quedar patente que del estudio de la dificultad y de la discriminación de las preguntas de los exámenes no puede extraerse conclusión alguna sobre la bondad global del acceso a la formación sanitaria especializada. La evaluación del modelo debe hacerse a partir de qué habilidades y competencias queremos que posea el profesional sanitario especializado, y no desde la evaluación de las propiedades matemáticas de las preguntas que ahora se les realizan. Ahora bien, creemos necesario estudiar el examen que, aún a día de hoy, regula el acceso. Coincidimos con Gual y Pardell19 en que debería valorarse el nivel de competencia global del aspirante y no sólo sus conocimientos teóricos (como ahora ocurre), intentando medir el «currículo oculto», que aúna habilidades transversales, aspectos éticos y de profesionalidad (entre otros), que son de muy difícil cuantificación con preguntas tipo test.

En cuanto a los aspirantes, se aportan evidencias que permitirían predecir su rendimiento en las pruebas y aplicar políticas que hagan posible asegurar aún más, si cabe, su equidad. Finalmente, por la importancia de estas pruebas, creemos que deberían replicarse análisis análogos a éstos y ser publicados año tras año, para así poder mejorarlas.

A. Bonillo realizó los trámites para conseguir los datos, redactó el artículo y lo revisó.

Ninguna.

Ninguno.