Introducción
Es ya una obligación establecida en reuniones anteriores la presentación en estas páginas, junto con el Programa Científico, de un informe que describa el proceso de evaluación de las comunicaciones. En nuestro caso, aceptamos gustosos esta obligación por dos motivos: En primer lugar nos parece fundamental que se haga público el proceso que concluye con la elaboración del programa que aquí se presenta y, por otro lado, creemos importante señalar las diferencias que este encuentro internacional conlleva respecto a las reuniones de años anteriores. El hecho de celebrar una reunión conjunta de la Sociedad Española de Epidemiología y la Federación Europea de la Asociación Internacional de Epidemiología ha complicado un poco el proceso respecto a años anteriores, ya que nos ha obligado a trabajar, leer resúmenes, escribir y organizar la reunión en dos idiomas, español e inglés. Pero desde nuestro punto de vista, la experiencia ha sido sin duda enriquecedora. Así la reunión anual se transforma esta vez en una puerta de entrada para los compañeros europeos, y algunos de fuera del continente, que han presentado gran cantidad de comunicaciones y que van a ser oyentes y lectores de nuestros trabajos.
Métodos
Información y recepción de comunicaciones
Por vez primera se ha intentado que todo el sistema funcionara en exclusiva a través de internet, haciéndose públicos tanto las normas de presentación como los criterios de evaluación mediante la página web de la XXI Reunión, y fijando este sistema como prioritario para el envío de las comunicaciones. Por ello, se renunció al envío postal de la información a los socios de la Sociedad Española de Epidemiología. Sin embargo, en una carta remitida a los socios de la Federación Europea de la Asociación Internacional de Epidemiología se les informaba de que en aquellos casos en los que no se dispusiera de los sistemas informáticos necesarios, se les mandaría por correo postal, previa petición, las normas de presentación y un impreso para la remisión del resumen.
En el formulario de remisión de los resúmenes, se solicitaba al autor que eligiera al menos un área temática donde se encuadrara su trabajo, si bien se permitía elegir hasta un máximo de tres. También se les daba la posibilidad de elegir el idioma en que llevar a cabo la exposición, que podía no ser el mismo que el idioma en que se presentaba el resumen.
Evaluación
Los 10 miembros del Comité Científico han participado en la evaluación de los resúmenes junto con evaluadores externos propuestos para participar como tales. Una importante innovación que se ha llevado a cabo en esta reunión ha sido la llamada a la colaboración como evaluador externo, a través de la página web, donde estuvo disponible un formulario para inscribirse como tal. Esta iniciativa tuvo gran aceptación, y permitió que el Comité Científico dispusiese además de un total de 74 evaluadores externos. Cada evaluador debía señalar si deseaba recibir resúmenes sólo en español, solo en inglés o en ambos idiomas y era obligado señalar entre una y tres áreas en que se considerase experto.
Se realizó una adjudicación de cada comunicación a dos evaluadores teniendo en cuenta las áreas temáticas, el idioma, que el evaluador elegido no perteneciera a la misma institución de trabajo que los autores y, por supuesto, que no estuviera entre los mismos.
Por correo electrónico cada evaluador recibía las comunicaciones que se le habían adjudicado, sin el nombre de los autores ni las instituciones en que trabajan. Se le solicitaba que, en primer lugar, leyera los títulos de las comunicaciones para, en caso de reconocer alguna de ellas, o detectar algún error en áreas temáticas o idioma, lo comunicase al Comité Científico, para readjudicar la comunicación a otro evaluador. Se le enviaba también un fichero Excel para que reflejara las puntuaciones. Se le daba un plazo de 15 días y se le solicitaba que reenviara el fichero con sus puntuaciones una vez completado el proceso de evaluación.
La evaluación se hacía en base a 5 criterios, modificando en parte los criterios especificados en la Guía de la Organización de Reuniones Científicas de la SEE1, por decisión del Comité Científico, de tal manera que la nota máxima era 10 y la mínima 0.
Se consideró que existía discrepancia en la evaluación de un abstract cuando la diferencia entre los dos evaluadores correspondientes fuera igual o mayor a cuatro puntos, en cuyo caso se establecería un método para la reevaluación de esa comunicación.
Se procedió al envío de comunicaciones para su evaluación el día 1 de abril y se daba de plazo hasta el 14 del mismo mes. En 16 comunicaciones hubo que reasignar evaluador por responder el evaluador que no podía llevar a cabo la valoración de la misma por conocer la comunicación o formar parte del equipo de autores. Un evaluador comunicó su decisión de no actuar como tal. La mayoría de las evaluaciones se recibieron dentro del plazo.
De un total de 507 comunicaciones recibidas y evaluadas, se detectaron un total de 56 discrepancias. Tres miembros del comité científico reevaluaron las comunicaciones adjudicándoles una puntuación según los mismos criterios.
Como puntuación final de cada comunicación se consideró la media entre ambas puntuaciones excepto para aquellas que precisaron una tercera valoración. En este caso, se consideró la mediana de las tres puntuaciones como valor final. La elección de la mediana vino motivada por la observación de la distribución de las puntuaciones obtenidas: con frecuencia, en los casos discrepantes, el tercer evaluador estaba de acuerdo con uno de los evaluadores previos y en desacuerdo con el otro.
El Comité Científico se reunió los días 9 y 10 de mayo. Durante esta reunión se hizo la selección de comunicaciones que se consideraban aceptadas. Se estableció una calificación mínima para la aceptación de los trabajos en cualquiera de las formas de exposición de 4,5. Por otra parte, se aceptó como comunicación oral aquellas que habiendo solicitado esta forma de presentación tenían una puntuación mínima de 6. Las comunicaciones que habían elegido esta forma y quedaban con una puntuación entre 4,5 y 6, eran aceptadas como póster. Cuando se daba la circunstancia de que determinadas comunicaciones orales eran muy similares en cuanto a metodología, población de estudio, etc. se decidió pasar a tipo póster aquella que tuviera menos puntuación, siguiendo los comentarios de los evaluadores externos y tras comprobar esta similitud.
Resultados
Aspectos formales de las comunicaciones
Se recibieron un total de 507 resúmenes. El 100% de las comunicaciones llegaron por vía Internet, aunque algunos autores hicieron un doble envío remitiendo sus comunicaciones por e-mail o fax, además de la vía Internet.
Según el idioma de presentación, 220 de los resúmenes eligieron hacerlo en español (43,39% del total de resúmenes recibidos) y 287 en inglés. La distribución según idioma y forma de presentación se presenta en la Tabla 2.
En la Tabla 3 se presenta la distribución de las comunicaciones por país de procedencia, considerando como tal el de la Institución del autor que figura como contacto.
Casi la totalidad de las comunicaciones (91,12%) proceden de Europa, como era de esperar. Es destacable que más del 50% han sido enviadas desde España, lo que significa que en 66 de estas comunicaciones se ha elegido el inglés como idioma de presentación. Después de España es Alemania el país que más comunicaciones ha enviado (6,71%), seguido de Polonia (5,33%), Portugal (3,94%) y Reino Unido (3,35%). Resulta curioso el haber recibido comunicaciones desde puntos tan lejanos como Japón, Filipinas y Taiwan entre otros.
En relación a España, en términos absolutos el número de comunicaciones enviadas (286) es inferior a las remitidas en los años anteriores (356 y 346 en los años 2002 y 2001 respectivamente)2,3. Aunque es difícil determinar las razones de este descenso, podría estar relacionado con el carácter internacional de la reunión.
En la Tabla 4 presentamos la distribución de las comunicaciones enviadas desde España, por Comunidades Autónomas. También se ha tenido en cuenta la Institución del primer autor para hacer esta clasificación. Madrid y Cataluña siguen siendo las CCAA con un mayor peso; las comunicaciones procedentes de estas dos regiones suponen el 50% del total. Les siguen en orden de frecuencia Valencia (15,03%) y Andalucía (14,69%). No se ha recibido ninguna comunicación de Canarias, Cantabria, La Rioja ni de Ceuta o Melilla.
Por otra parte, queríamos presentar la distribución según el tipo de institución en que trabaja el primer autor, pero hemos tenido dificultades a la hora de hacer la clasificación. Por ello, solo hemos diferenciado entre tres categorías: Organismos oficiales, Universidades y Escuelas de Salud Pública y hospitales. Esta última categoría se atribuía siempre que figurara el nombre de un hospital, aunque fuera universitario. Los datos se presentan en la Tabla 5. Respecto a otros años se observa un incremento en el porcentaje de comunicaciones enviadas desde Universidades y Escuelas de Salud pública, y una disminución de las procedentes de Organismos oficiales. Estas diferencias se deben probablemente a la inclusión de las comunicaciones procedentes de otros países.
Evaluación
Los resultados de la primera revisión se muestran en la Tabla 6. Se detectaron un total de 56 discrepancias, que hubo que revisar, de las que 7 se rechazaron y 49 se aceptaron en la revisión posterior. A pesar de las dificultades de comparación con años anteriores, es interesante constatar que la inclusión de un mayor número de evaluadores no ha supuesto en ningún caso una mayor heterogeneidad en los resultados de la evaluación, como lo revela el escaso porcentaje de discrepancias observadas.
Entre ambas revisiones, se rechazaron un total 41 comunicaciones, el 8,63% (19) de las que habían elegido la presentación en español y el 7,67% (22) de las que deseaban exponerse en inglés. Los porcentajes de rechazo de las reuniones anteriores fueron de 9,8% en Barcelona en el año 2002, 10,7% en Murcia en el 2001 y 5,9% en Madrid en el año 2000. La presentación definitiva según idioma y elección primera de los autores se presenta en la Tabla 7.
En la Tabla 8 se presentan los resultados descriptivos de las puntuaciones medias y de las diferencias entre evaluadores. Como vemos, el nivel científico de la totalidad de los trabajos enviados puede considerarse alto, con una media de 7 y un percentil 5 de 4.
En la Tabla 9 se muestran las comunicaciones aceptadas clasificadas por grandes áreas temáticas e idioma de presentación. No se ha podido hacer una agrupación por temas coincidente con las mesas en las que se va a trabajar porque éstas son diferentes en cada uno de los idiomas, obligados fundamentalmente por la cantidad de comunicaciones de distintos temas en cada una de las lenguas. En general, las áreas de "Vigilancia epidemiológica" y "brotes" siguen suponiendo un 20% del total, mientras que el cáncer se mantiene en torno al 10%, porcentaje similar a años anteriores2,3. Por otra parte llama la atención el gran aumento de comunicaciones referentes a "enfermedades cardiovasculares", y en menor medida las asignadas a las áreas de "género y salud", "salud reproductiva" y "salud infantil". La mayor parte de las comunicaciones en español tratan acerca de enfermedades infecciosas. Así, las tres principales áreas en este idioma, Vigilancia Epidemiológica, Brotes y Tuberculosis y VIH comprenden casi el 50% de las comunicaciones aceptadas (46,27%). Por el contrario, las tres primeras áreas de comunicaciones presentadas en inglés son Enfermedades Cardiovasculares y Otras Crónicas, Cáncer y Salud Infantil y Reproductiva, llegando al 42,64%.
Evaluadores externos
De los 74 evaluadores externos que se inscribieron como tales en la página web, desde el 24 de octubre de 2002 al 17 de marzo de 2003, sólo uno no actuó como tal, comunicando su decisión cuando le fueron remitidos los resúmenes. 43 de los evaluadores son varones (59%) y la edad media es de 44,5 años, con un rango entre 29 y 72 años. Hay que destacar que, utilizando la misma clasificación que se ha utilizado con anterioridad en cuanto a la institución en que trabaja el evaluador, más de la mitad, 40 evaluadores, trabajan en organismos oficiales, seguido en frecuencia de 27 evaluadores que trabajan en la Universidad y Escuelas de Salud Pública. Destacan tres evaluadores que trabajan en compañías privadas y una persona que está jubilada. Cincuenta y dos evaluadores (71%) son socios de la sociedad de epidemiología de su país. En cuanto a los idiomas en que querían evaluar, solo 5 evaluadores señalaron como único idioma el español mientras que 47 pudieron evaluar en ambos idiomas. En la Tabla 10 se muestran los países de las instituciones señaladas por los evaluadores. Más del 50% de los evaluadores trabajan en España. De éstos, 16, el 40% de los españoles, son de Cataluña, seguidos de 10, el 25%, que proceden de Madrid.
Mesas temáticas
De la misma manera, a través de la página web de la Reunión, aunque en formulario y con un plazo diferente, se disponía de la posibilidad de enviar la propuesta de mesas temáticas.
Los miembros del Comité Científico llevaron a cabo la evaluación de los resúmenes de las mesas temáticas. Se recibieron un total de 9 propuestas de mesas dentro del plazo, 7 de ellas en inglés y dos en español. Cada una de estas mesas era evaluada por 4 personas asignando una puntuación entre 0 que significaba "Sesión que no debe ser incluida en el programa bajo ninguna circunstancia" y 5, que indicaba "Sesión muy relevante: debe estar en el programa". Solo hubo un caso de discrepancia entre dos de los evaluadores de una de las mesas, que se resolvió con una segunda lectura por parte de ambos.
Se aceptaron un total de 7 mesas temáticas, las que superaban la puntuación de 3 ("Sesión con suficiente interés y contenido como para ser incluida en el programa"). A las dos que no fueron aceptadas, se les ofreció la posibilidad de que, de manera independiente, se presentasen cada una de las sesiones como comunicación oral, para ser evaluadas como el resto.
Comentarios
En primer lugar creemos que hay que volver a hablar de las dificultades que ha entrañado la realización de una reunión conjunta con la Federación Europea, no tanto a la hora de valorar los resúmenes sino más bien a la hora de organizar el programa. Somos conscientes de que la división en dos idiomas puede dificultar a algunos españoles y a muchos extranjeros el acceso a algunas comunicaciones que podrían ser de su interés. Por ello hemos intentado que se traten todos los temas en ambos idiomas y que, de esta forma, todos los participantes tuvieran posibilidad de encontrar comunicaciones a las que asistir.
Por razones obvias, no se puede comparar el número de comunicaciones recibidas con las de otros años. Creemos que la fecha límite de envío de comunicaciones, muy adelantada en comparación con lo habitual en las Reuniones de la Sociedad Española de Epidemiología, ha podido influir en que algunos compañeros no hayan llegado a tiempo a la hora de enviarnos sus trabajos. Esto vino motivado por satisfacer una petición de la Federación Europea de la Asociación Internacional de Epidemiología, para dar respuesta sobre la aceptación o rechazo de las comunicaciones a los participantes extranjeros con mucha más antelación de lo que es necesario dentro del mismo país, con el fin de tramitar los permisos, gastos y viajes.
Todo el proceso de remisión de las comunicaciones y de intercambio de información con los autores se ha llevado a cabo por medios informáticos, en exclusiva, y queremos manifestar que, aun a pesar de algunos problemas de los que somos conscientes, ha funcionado muy bien y se ha logrado una inmediatez en el intercambio de información, desde puntos en ocasiones muy lejanos, algo impensable hace algunos años. Si en un primer momento planteamos la posibilidad del uso de la comunicación en papel y por correo ordinario para aquellos que no dispusieran de los medios necesarios, tenemos que decir que no ha sido solicitado por nadie.
Una experiencia importante y que si ha supuesto una novedad en la forma de trabajar ha sido la apertura de la reunión a evaluadores externos. Nos parece muy interesante esta manera de trabajar y la respuesta de aquellos que se comprometieron a enviar sus evaluaciones en un plazo no demasiado largo, ha sido en su mayoría excelente. Si es verdad que esto ha dificultado el reenvío de las comunicaciones en las que había discrepancias y se optó por un tercer evaluador, miembro del Comité Científico. Se podría esperar un mayor número de discrepancias dado una mayor heterogeneidad entre los evaluadores y, sin embargo, un porcentaje del 11% nos parece aceptable.
En la organización del programa se tomó la decisión de hacer que no coincidieran las mesas temáticas con las de comunicaciones orales, para favorecer la asistencia a éstas, dado el interés que, suponemos, pueden despertar. Por otra parte se tomó la decisión de que las sesiones de póster se realizaran con la asignación de un tiempo para que el autor estuviera frente al póster y de esta forma dar información o recibir comentarios. El alto número de comunicaciones en póster y el bilingüismo de la reunión hacía imposible hacer sesiones específicas de presentación de carteles o un recorrido guiado que, por otra parte, no siempre son bien aceptados.
En resumen, aquí os hemos expuesto los "entresijos" del proceso que ha llevado a confeccionar el programa que tenéis en vuestras manos. Desde estas páginas queremos agradecer el esfuerzo de todos los que habéis hecho posible este programa. Gracias por compartir vuestra experiencia y vuestro trabajo con todos los asistentes. Esperamos que Toledo no os defraude y que estos días nos enriquezcan y sirvan para establecer lazos dentro y fuera de España.
Referencias
1. Aibar C, Pérez de Agenda JPA, Borrell C, Fernández S, Benavides FG, Hervada X, Porta M, et al. Guía de Organización de las Reuniones Científicas de la Sociedad Española de Epidemiología. Versión 2. Enero 2000. http://www.websee.org
2. XIX Reunión Científica de la Sociedad española de Epidemiología. Comunicaciones. Gaceta Sanitaria 2001: 15 (Supl 2).
3. XX Reunión Científica de la Sociedad española de Epidemiología. Comunicaciones. Gaceta Sanitaria 2002: 16 (Supl 1).
