Murcia, 17-19 de octubre de 2001

Introducción

Es ya una tradición, al menos desde la XII Reunión Científica de la SEE en Alicante1-7, que junto, a la publicación del Programa Científico, la distribución de comunicaciones por sesiones y el texto de los resúmenes aceptados, el Comité Científico elabore un informe de evaluación sobre las comunicaciones recibidas.

Con este informe pretendemos dar a conocer los aspectos que consideramos relevantes en la estructura, proceso y resultados de la evaluación, con la esperanza, de que, además, pueda contribuir a la mejora de la organización de los futuros congresos de nuestra Sociedad.

Metodología

Información y proceso de recepción de las comunicaciones

Las normas de presentación y criterios de valoración se dieron a conocer a los socios/as e interesados/as mediante correo postal y una página web de la Reunión de Murcia 2001(8). Se diseñó un sistema para el envío telemático de comunicaciones al Congreso a través de una página en la web.

Los datos de los resúmenes de las comunicaciones se almacenaron en una base de datos en Acces. Los datos tabulados en las tablas hacen referencia a las comunicaciones aceptadas.

Evaluación

Todas las comunicaciones se agruparon por áreas temáticas y se distribuyeron entre los 13 componentes del Comité Científico según las áreas en las que se sentían más capacitados. Cada evaluador revisó entre 47 y 54 comunicaciones. Además se contó con la colaboración de dos revisores externos que evaluaron 7 y 10 comunicaciones respectivamente. Cada comunicación fue evaluada a ciegas por dos miembros del Comité Científico, y no siempre el par de revisores era el mismo. Para la evaluación se emplearon criterios uniformes y preestablecidos, los mismos empleados en anteriores reuniones de la SEE y que están especificados en la Guía de la Organización de Reuniones Científicas de la SEE9 (tabla 1).

A los evaluadores les fueron remitidas las correspondientes comunicaciones anonimizadas por correo electrónico y dispusieron de diez días para evaluarlas y remitir la base de datos a la Secretaría Técnica. Algunos resúmenes fueron intercambiados a petición del evaluador por existir alguna razón (por ejemplo, relación directa con el trabajo presentado o con los autores) que hacía inadecuada la evaluación. A cada comunicación le fue asignado un resultado cuantitativo con un intervalo de valores posible de 0 a 31 puntos. Algunas de las comunicaciones respondían a una estructura menos habitual por lo que los criterios de evaluación no se podían aplicar adecuadamente. Se decidió que si el evaluador no se veía capaz de evaluar la comunicación con los criterios establecidos, pospusiera su calificación hasta la Reunión del Comité Científico.

Cada propuesta de mesa espontánea se evaluó de manera conjunta, incluyendo la propuesta de los coordinadores y las comunicaciones, por dos evaluadores, distintos en cada caso. Cada par de evaluadores elaboró un informe sobre la mesa correspondiente, teniendo en cuenta la presentación, el contenido de las comunicaciones, su oportunidad y relevancia.

Se decidió considerar como criterio para la aceptación de las comunicaciones, el alcanzar al menos 15,5 puntos (punto medio del intervalo teórico) en sus dos revisiones, y como no aceptadas si ambas calificaciones fueran menores de 15,5. Se consideró evaluación discrepante cuando uno de los revisores otorgó menos de 15,5 y el otro igual o más de esta cifra, o cuando ambas puntuaciones sobrepasaban el dintel, pero existían 9 o más puntos de diferencia.

El Comité Científico se reunió durante dos jornadas (31 de mayo y 1 de junio en Murcia) con los siguientes objetivos: revisar las comunicaciones no evaluadas, las comunicaciones no aceptadas y las discrepancias por pares; asignar el tipo de presentación, proponer y distribuir las mesas de comunicaciones, así como evaluar las mesas espontáneas propuestas. Por otro lado, también se comentaron algunos nombres para la moderación de las mesas o para la presentación de conferenciantes. De manera más informal, supuso una oportunidad de intercambio directo entre las personas que habíamos trabajado estrechamente por vía electrónica durante meses.

Resultados

Aspectos formales

Se recibieron 348 resúmenes, de los cuales dos se excluyeron por presentarse fuera de plazo. Hubo innumerables defectos de forma, de los que se solicitó su enmienda y que, principalmente, se debieron a signos o a la escritura del texto en el formato de la web. El correo electrónico fue la forma absolutamente hegemónica de transmisión, frente a 4 envíos postales con disquete. Entre las comunicaciones admitidas, sólo en un 3,9% no constaba el correo electrónico del autor/a de contacto.

Evaluación

Entre las comunicaciones admitidas se aceptaron 309 (89,3%), y 37 (10,7%) no alcanzaron el dintel exigido. En las dos últimas Reuniones, el porcentaje de comunicaciones no aceptadas ha sido del 5,9%, en Madrid en el año 2000, y del 18,4%, en Santiago en el 1999.

En una primera vuelta se evaluaron por pares 322 comunicaciones y 24 quedaron pendientes por evaluar de forma total o parcial. En la tabla 2 se resumen los descriptivos tanto de la puntuación media como de la diferencia entre evaluadores. Destaca la valoración del nivel científico de los trabajos, con una media de 21,2 puntos y un percentil 5 de 14,79 puntos. De igual forma, la diferencia media entre evaluadores se ajustó bastante al valor teórico cero (diferencia media: 0,14 puntos; IC 95%: -0,57 ­ 0,84).

Siguiendo los criterios de aceptación, previamente descritos, los resultados finales en esta primera revisión se describen en la tabla 3.

Contenido temático y forma de presentación

Tras la segunda revisión, 37 comunicaciones fueron finalmente rechazadas, se aceptaron 292 comunicaciones libres, de las que 100 fueron asignadas como presentación oral y 192 como cartel. Adicionalmente, 17 comunicaciones, correspondientes a tres mesas espontáneas, fueron aceptadas en sus respectivas mesas para su presentación oral. Hubo dos mesas espontáneas que se consideró no respondían, como conjunto, a los criterios establecidos. Sin embargo, dado su interés, se decidió aceptar dos comunicaciones de cada una de ellas como comunicaciones para otras mesas.

Los autores siguen prefiriendo la presentación oral (49,8%) en sus propuestas, frente a la modalidad del cartel (25,4%), mientras que al 29,9% les es indistinto. Un 3,9% los autores no se pronunciaron.

Un 5,2% no indicó la primera palabra clave / área temática de su comunicación. El término tuberculosis es el más señalado, con un total de 10 menciones, seguido de cáncer con 9. La segunda palabra clave resta vacía en un 13,4% y un 33,6% en la tercera ­número máximo de opciones-.

En la tabla 4 se distribuyen las comunicaciones admitidas según la mesa temática asignada. Se observa un gran predominio de ítems relacionados con la vigilancia epidemiológica, el estudio de los brotes y la epidemiología de la tuberculosis y del Sida; así como a los temas de estilos de vida o del cáncer.

En las figuras 1 y 2 se muestran, respectivamente, las distribuciones de la puntuación media y de la diferencia de puntuación entre evaluadores de las comunicaciones aceptadas. Ambas distribuciones se mostraron independientes del área temática asignada, no existiendo diferencias estadísticamente significativas entre ellas.

Figura 1. Comunicaciones aceptadas.

Figura 2. Comunicaciones aceptadas.

Finalmente, se analizó la variabilidad en la calificación entre pares de evaluadores. Para ello se estimó, con sus intervalos de confianza, la diferencia media de las puntuaciones de las comunicaciones evaluadas por cada uno de ellos, en relación al par correspondiente. La figura 3 resume este análisis. En ella se observa que, de los 13 evaluadores, cinco alcanzaron un buen grado de acuerdo con las puntuaciones del par correspondiente (la diferencia media entre evaluadores fue menor de un punto en valor absoluto). Cuatro destacaron por evaluar al alta, respecto a su par y otros cuatro lo hicieron a la baja.

Figura 3. Evaluación por pares: Estimación de la diferencia de puntuaciones por evaluadores.

Origen geográfico

El mayor número de comunicaciones aceptadas procede de la Comunidad de Madrid (30,3%), seguida de Cataluña (22,5%), a continuación se sitúan Andalucía (13,3%) y Valencia (11,7%) (tabla 5). La suma acumulada de las CC.AA. antes citadas representa el 77,3% del total de comunicaciones. Los porcentajes hacen referencia a la dirección de la institución del autor de contacto, por lo que se deben tomar con cautela dado el número de grupos en colaboración.

Los organismos y dispositivos de la administración (central/autonómica/local/delegaciones territoriales) de salud pública con actividades de epidemiología, agrupan la principal producción de comunicaciones. Los institutos de salud pública, también vinculados a la administración sanitaria pública, son las entidades en el segundo nivel de generación de resúmenes. En una destacable tercera posición encontramos a los departamentos universitarios de medicina preventiva y salud pública. Requiere una mención especial el Programa de Epidemiología Aplicada de Campo (PEAC) con relación a los centros de formación (tabla 6). Estos resultados son sólo orientativos, dada la gran profusión de instituciones en colaboración en los trabajos presentados.

Difusión

Una mayoría (80,5%) de los autores dieron su consentimiento a que se diera a conocer el resumen de la comunicación. Un 14% no lo considera pertinente y un 5,5% se inhibe.

Sesiones

El programa científico constará de 30 mesas temáticas, 15 de las sesiones serán de presentación oral y otras 15 en formato cartel. De las presentaciones orales, 3 se corresponden a las mesas espontáneas propuestas.

Como ya viene siendo habitual en los últimos años, se ha programado sesiones de comunicaciones cartel, además de su exposición permanente durante la Reunión. Con ello se pretende que exista una fluida interacción entre los autores y las personas interesadas. Estas sesiones, que se ha procurado que no cuenten con más de 15 comunicaciones, se celebrarán en las mismas salas que las comunicaciones orales, contando con un moderador para facilitar una sesión de discusión ágil.

Comentarios

La experiencia de las Reuniones Científicas anteriores, el disponer de las normas para los autores incorporadas en la información sobre la Reunión y la consolidación de los grupos de trabajo, han contribuido a que la presentación formal, y también la calidad, de las comunicaciones presentadas sea muy correcta.

Para el desarrollo de nuestro trabajo, ha sido de gran importancia contar con la experiencia de los Comités Científicos anteriores, y en especial, disponer de la Guía de Organización de Reuniones de la SEE9. Al mismo tiempo la estrecha colaboración del Comité Organizador ha facilitado nuestra tarea enormemente.

La Reunión Científica de Murcia ha tenido una alta acogida a tenor del número de resúmenes enviados, que está próxima a las cotas máximas de las Reuniones de Alicante en 1994 (361 resúmenes) o de Santiago de Compostela en 1999 (358 resúmenes), registrando mayor número de comunicaciones aceptadas. El elevado número de comunicaciones aceptadas, así como su alta calidad científica, es un buen indicador del trabajo de los epidemiólogos en España. Este hecho, sin embargo, plantea algún problema. El principal es que obliga a concentrar en poco tiempo (unas cuantas horas) un volumen de información importante. Por ello se ha tenido que organizar hasta cinco escenarios simultáneos de presentación de las comunicaciones, por lo que las personas que participamos en la Reunión deberemos elegir entre diversas opciones que nos pueden interesar. Si esta circunstancia se mantiene en las próximas Reuniones Científicas se debería abrir una reflexión sobre la idoneidad de ampliar el tiempo de la Reunión, limitar el número de comunicaciones u organizar las sesiones de otra forma.

La búsqueda de una mayor calidad formal hace necesario que en posteriores Reuniones la página web permita modificar fácilmente el texto del resumen, así como la incorporación de signos matemáticos. La web y el correo electrónico se están convirtiendo en el principal medio de comunicación entre los posibles congresistas, los Comités y la Secretaría Técnica antes de la celebración de la Reunión Científica. Es de sumo interés disponer de una doble recepción de resúmenes (por ejemplo, una en la Secretaría Técnica y otra en el Comité Organizador) con una única dirección de correo. Es recomendable validar su funcionamiento con correo instantáneo y masivo.

En nuestro caso la participación de los revisores externos voluntarios ha sido escasa. Estimamos que es un complemento a la evaluación del Comité Científico, que se debe mantener y estimular en aras de la transparencia y de la participación por parte de los asociados; a la vez que se les reconoce nominalmente su actividad.

Seguimos con la tendencia de dar más protagonismo a la presentación de las comunicaciones en sesiones cartel, en aproximación a las sesiones orales. Habría que sopesar esta voluntad de los Comités Científicos, con la de aquellos autores que prefieren una participación menos activa en las sesiones cartel.

La participación en proyectos multicéntricos está aumentando en nuestro país, tanto en estudios nacionales como internacionales. Este hecho está contribuyendo a una mejora de la calidad y relevancia de los trabajos que se presentan. Como consecuencia menor de lo anterior, en algunos casos, el número de autores de las comunicaciones es elevado. El seguimiento de las normas de autoría, promocionando el uso de acrónimos de los grupos de investigación junto a los autores que los representan en cada caso, ayudaría a evitar un excesivo número de autores en las comunicaciones.

La evaluación de las mesas espontáneas plantea una complejidad sobreañadida a los estándares de revisión por pares, en unas Reuniones Científicas sin restricciones en las áreas temáticas. En nuestro caso hemos realizado una evaluación global de la mesa y otra individual por comunicación. En algunos casos el Comité Científico ha desestimado la mesa, pero no alguna de sus comunicaciones, y en determinados resúmenes ha promovido su fusión, rectificación o mejora. Es importante dar a conocer estas disposiciones para que los coordinadores y los autores se ajusten a los necesarios plazos de la edición del Libro de Comunicaciones.

Una parte importante de las comunicaciones con discrepancias entre los revisores o sin evaluar, se debe a la dificultad de aplicar los criterios de valoración definidos en los resúmenes con estructura menos habitual. Los informes de evaluación de comunicaciones de anteriores reuniones comentan sobre la oportunidad de su reforma6,7. Quizá hemos observado en esta Reunión un número más elevado de comunicaciones 'diferentes' en relación al propio lema de la Reunión Científica, sin disponer de criterios estandarizados para su evaluación. Si pretendemos avanzar en el camino de una mayor apertura a otros campos y disciplinas científicas, así como a distintas sensibilidades sociales deberíamos reflexionar si debemos habilitarnos de los instrumentos idóneos para su evaluación y dedicarles un tiempo y un espacio en nuestras Reuniones.

Es importante la clasificación de las comunicaciones por áreas temáticas. La falta de estandarización de los temas plantea dificultades en la asignación de mesas. Este Comité Científico recomendaría el uso de un listado previo a la celebración del congreso ­como hemos realizado para la presente Reunión- con las áreas temáticas objeto de interés, como referente y sugerencia a los posibles autores del resumen de la comunicación.

También esperamos poder trasladar la experiencia acumulada por los actuales Comités Científico y Organizador en la mejora y ampliación de la Guía de Organización de la Reuniones Científicas9. A tal fin el Comité Científico cree haber contribuido con la elaboración de las normas del 'Decálogo del Buen Moderador' y con las 'Recomendaciones para la legibilidad de diapositivas/transparencias'8. Consideramos positivo que existan miembros del Comité Científico que a la vez pertenezcan a la Junta Directiva, ya que así se acumulan posibilidades de coordinación.

No queremos concluir sin agradecer a todos los que han remitido sus comunicaciones, su participación, que deseamos se vea recompensada con un Programa Científico de la XIX Reunión de la SEE que mantenga sus/vuestras expectativas.

El Comité Científico de la XIX Reunión Científica de la SEE