Evaluación de las comunicaciones presentadas a la XX Reunión Científica de la Sociedad Española de Epidemiología
Barcelona, 12-14 de septiembre de 2002
Introducción
Como viene siendo habitual1-6, este año también se describe junto con el Programa Científico de la XX Reunión de la Sociedad Española de Epidemiología, el proceso de evaluación de las comunicaciones. Se añaden además algunas reflexiones que pretenden mejorar la organización de futuras reuniones, teniendo en cuenta que probablemente contarán cada vez con mayor número de participantes y con comunicaciones de mayor calidad.
Métodos
Información y recepción de comunicaciones
Las normas de presentación y criterios de valoración se dieron a conocer mediante una página WEB de la XX Reunión de Barcelona 2002 que ha estado operativa desde el 9 de enero. Se establecieron tres sistemas para el envío de las comunicaciones: correo ordinario, la página web de la reunión y vía e-mail a la secretaría técnica.
Evaluación
Este año se contó con un comité científico (CC) reducido, de ocho personas, y siete evaluadores externos. Antes de la revisión de los resúmenes, todos ellos seleccionaron de un listado de 28 áreas temáticas las tres en las que se sentían más capacitados. Las comunicaciones fueron agrupadas en áreas temáticas y distribuidas por correo electrónico a los miembros del comité científico y a los evaluadores externos, de modo que cada resumen fue evaluado a ciegas por dos personas. Cada evaluador externo fue siempre emparejado con un miembro del CC, lo que aseguraba que en la reunión del CC en la que se decidía la aceptación final de las comunicaciones hubiera siempre al menos un evaluador de cada comunicación.
Cada evaluador revisó entre 38 y 56 resúmenes. Para la evaluación se emplearon los criterios especificados en la Guía de la Organización de Reuniones Científicas de la SEE ligeramente modificados con el fin de adaptarlos a los resúmenes que no seguían el formato más habitual de comunicación, siguiendo las sugerencias del CC de la reunión del año anterior (tabla 1). A cada resumen se le asignó una puntuación entre 0 y 30.
Cada evaluador dispuso de quince días para la revisión de los resúmenes. Inicialmente se rechazaron las comunicaciones en que los dos evaluadores adjudicaban una puntuación igual o inferior a 15, punto medio del intervalo.
Se consideraron como evaluaciones discrepantes aquellas en las que uno de los evaluadores otorgaba 15 puntos o menos y el otro una puntuación superior. Cinco días antes de que tuviera lugar la reunión del CC para la aceptación definitiva de las comunicaciones y la elaboración del programa científico, todos los evaluadores fueron informados de las comunicaciones en las que se observaron discrepancias. Además se solicitó a los evaluadores externos que volviesen a revisar sus puntuaciones en estos casos, y enviaran su decisión final antes de la reunión del CC, de modo que se pudiese contar con su opinión en la toma de la decisión definitiva.
El CC se reunió durante dos días, el 21 y el 22 de mayo, para discutir las discrepancias por pares, asignar el tipo de presentación, proponer y distribuir las mesas de comunicaciones, así como evaluar las mesas espontáneas. Todas las comunicaciones enviadas habían sido ya evaluadas por pares y los miembros del CC habían reflexionado sobre las discrepancias.
Resultados
Aspectos formales
Se recibieron 356 comunicaciones libres y 36 formando parte de alguna de las ocho mesas espontáneas, lo que hace un total de 392. Sólo 9 resúmenes fueron remitidos por correo ordinario, el resto se enviaron en proporciones similares por correo electrónico o a través de la página web.
Origen geográfico y organismos de procedencia
En la tabla 2 se presenta la distribución de las comunicaciones libres enviadas según comunidad autónoma de procedencia. Catalunya y Madrid concentraban la mitad de las comunicaciones, seguidas por Andalucía (10,0%), País Valenciano (8,3%) y las comunicaciones procedentes del extranjero. El alto número de comunicaciones enviadas desde el extranjero, en comparación con años anteriores se debe a 16 resúmenes remitidos desde Portugal.
Casi la mitad de las comunicaciones procedían de servicios de epidemiología / salud pública de la administración (central/autonómica/local/delegaciones territoriales). Las agencias o institutos de salud pública ocuparon el segundo lugar, seguidos por los departamentos de universidad (tabla 3).
Evaluación
Los resultados de la primera revisión se describen en la tabla 4. El 14% de las comunicaciones obtuvieron puntuaciones discrepantes en las que una de las puntuaciones superaba el dintel de aceptación y la otra no. Entre las comunicaciones que superaban ese umbral sólo en el 2% de los casos se observaron grandes discrepancias en las puntuaciones otorgadas por ambos revisores, con diferencias entre ellos superiores a 9 puntos. Estos casos se resolvieron satisfactoriamente con una segunda lectura por parte de los revisores.
En la segunda vuelta se aceptaron 26 de las comunicaciones en las que se habían producido discrepancias (aproximadamente la mitad). En la tabla 5 se presentan los resultados definitivos de la evaluación. La valoración media fue 20,5 puntos, el 5% de las comunicaciones obtuvieron 26 puntos o más y, en el otro extremo, el 5%, tuvieron 14,5 puntos o menos.
Contenido temático y forma de presentación
Debido a la insuficiente capacidad de discriminación del umbral inicial, posteriormente el punto de corte se elevó a 16. Se rechazaron 35 comunicaciones libres (9,8%). En las tres últimas reuniones el porcentaje de no aceptadas fue 18,4% en Santiago de Compostela en 1999, 5,9% en Madrid en el año 2000 y 10,7% en Murcia en 2001. 101 resúmenes (31,8%) fueron aceptados como comunicación oral y 218 como carteles. En el 69% de las comunicaciones aceptadas, los autores habían solicitado la presentación oral, frente al 28% que se inclinaban por el cartel y el 3% que no seleccionaron ninguna opción. Esto significa que más de la mitad de las comunicaciones en que los autores habían preferido la presentación oral, fueron pasadas a cartel.
Sólo en el 2,2% de las comunicaciones no se indicó la primera palabra clave / área temática. Como en la reunión anterior, los términos más señalados fueron tuberculosis (10 menciones) y cáncer (10 menciones). La segunda palabra clave quedaba vacía en el 6,1% de los casos y la tercera en el 23,7%.
En la tabla 6 se presentan las comunicaciones aceptadas según el área temática asignada. Se ha presentado un mayor número de comunicaciones sobre servicios asistenciales que en ediciones anteriores. Llama la atención el escaso número de comunicaciones sobre desigualdades de género, a pesar del lema de la reunión.
Difusión
La mayoría de los autores (88%) autorizaron la difusión del resumen de comunicación; el 11% denegó la autorización y el 6% restante no respondieron este ítem.
Las mesas espontáneas
Sólo una mesa espontánea fue aceptada sin modificaciones, dos lo fueron con modificaciones menores y en el resto, de acuerdo con los resultados de las evaluaciones individualizadas de las comunicaciones de las mesas, y como consecuencia de las limitaciones de tiempo y espacio, el CC propuso a los autores la eliminación de alguna comunicación y fusiones, bien con otras mesas espontáneas de la misma temática, con otras comunicaciones libres o que formasen parte de otras sesiones de comunicaciones orales. Cuatro mesas espontáneas rechazaron los cambios propuestos por el CC y finalmente no forman parte del programa. Las comunicaciones aceptadas dentro de mesas espontáneas han sido 21.
Consideraciones para futuras reuniones de la SEE
1. Aumento de los resúmenes enviados
La XX reunión científica de la SEE ha registrado el mayor número de resúmenes recibidos, 392, superior a la reunión de Alicante de 1994 en la que se recibieron 361 resúmenes, o a la de Santiago de Compostela de 1999 con 358 resúmenes. Como ya se comentó el año anterior, cada vez resulta más difícil introducir tantas comunicaciones de calidad en unos espacios que se han mantenido estables a lo largo de los años, mientras aumentaba la producción científica de los socios de la SEE. Como consecuencia de este incremento en calidad y cantidad más de la mitad de las comunicaciones que los autores preferían presentar como orales han tenido que ser aceptadas como cartel. Además las sesiones de cartel en muchos casos han resultado sobrecargadas. Debe pensarse en la posibilidad de aumentar la duración del congreso o reducir las sesiones plenarias, sustituyéndolas por otras de comunicaciones libres o de mesas espontáneas. Ampliar el número de sesiones paralelas no es una buena solución pues la presentación de un estudio en una sala con pocos asistentes resulta poco útil.
2. Mesas espontáneas
Como consecuencia de la progresiva madurez científica de nuestra Sociedad, el número de propuestas de Mesas Espontáneas ha ido aumentando en las últimas ediciones. Este año se han recibido ocho propuestas de mesas espontáneas y además se han recibido más de 350 comunicaciones libres, mientras se mantenían los mismos espacios de presentación que en ediciones anteriores. Este hecho ha supuesto un enriquecimiento en los contenidos y calidad de nuestras Reuniones, pero a su vez plantea problemas nuevos de tipo organizativo - estas propuestas compiten en tiempo y en espacio con las comunicaciones libres, ya de por sí numerosas y de gran calidad -, y también a la hora de unificar criterios para la evaluación y priorización de las Mesas ya que no todas las propuestas pueden ser admitidas. La evaluación individualizada de las intervenciones que componen una Mesa crea además problemas añadidos. La no aceptación de uno o varios de los resúmenes presentados, siguiendo criterios de calidad acordes con las exigencias que se aplican a las comunicaciones libres, puede crear desequilibrios internos dentro de las propuestas que resten coherencia a sus contenidos y/o desemboquen en la retirada de la propuesta por parte de los propios coordinadores.
El CC discutió largamente la fórmula para conseguir que el mayor número de autores tuviera la oportunidad de compartir sus trabajos con el resto de la comunidad científica. Por esta razón, se sugirieron modificaciones en la mayoría de las mesas espontáneas que consistieron fundamentalmente en su combinación con comunicaciones libres o en la fusión de mesas de similar contenido temático.
En el futuro será importante garantizar que no entren en competencia con las sesiones de comunicaciones libres. Para ello una posible medida sería prefijar el número de mesas espontáneas en función de los espacios disponibles. Por otro lado, la experiencia de este año nos lleva a recomendar que todas las mesas espontáneas sean evaluadas por un solo par de revisores, con el fin de que se pueda tener una visión global de los contenidos de las mismas. Como norma, las sesiones deberían tener, además del moderador, un mínimo de tres ponentes. Si el CC no aceptase un mínimo de tres resúmenes, la sesión quedaría suspendida.
3. Correo electrónico: la importancia del acuse de recibo
El correo electrónico ha sido el sistema más habitual para el envío de resúmenes, pero es un sistema no exento de fallos y errores. Debe insistirse en próximas ediciones en la importancia del acuse de recibo una vez remitida la comunicación y solicitar a los autores que en el caso de no haber recibido dicha confirmación en el plazo, por ejemplo, de una semana, se pongan en contacto con la Secretaría Técnica del congreso.
4. Evaluadores externos
La experiencia de los evaluadores externos previamente seleccionados ha resultado absolutamente positiva. Con menos miembros, el CC ha podido tener una relación más fluida que ha facilitado el proceso de toma de decisiones. Los evaluadores externos han cumplido puntualmente con las revisiones encomendadas, en número similar a los miembros del CC, y además han tenido la oportunidad de revisar sus puntuaciones en caso de existir discrepancias, enviando sus comentarios a tiempo para poder ser tenidos en cuenta en la reunión del CC.
Esperamos que estas consideraciones sean útiles para la Junta Directiva de la SEE y que las integre en la medida que estime conveniente en la Guía de Organización de Reuniones de la SEE.
Elaborar el programa científico de una reunión de la SEE es un trabajo duro pero también gratificante que nos ha permitido comprobar el interés y la calidad científica de los trabajos de los epidemiólogos y epidemiólogas. Agradecemos a los autores que nos han remitido sus resúmenes su participación y su colaboración. Como Comité Científico desde aquí les enviamos nuestro reconocimiento y esperamos que se vean recompensados con una reunión que responda a sus expectativas, tanto científicas como lúdicas.
El Comité Científico de la XIX Reunión Científica de la SEE
