Los cuestionarios en línea (on line) consiguen resultados con rapidez y bajo coste, pero la participación es habitualmente baja. Este trabajo estudia las tasas de respuesta en tres estudios de opinión dirigidos a profesionales sanitarios de la Comunidad de Madrid y analiza los factores asociados a ellas. Los cuestionarios diferían por los destinatarios, su extensión y el tema abordado. Se gestionaron mediante una empresa vía Internet. Se utilizaron direcciones de correo electrónico institucionales de diferentes colectivos de profesionales. Las mayores tasas de respuesta se alcanzaron en hospitales (hasta el 63%) y en la administración central, y las más bajas en atención primaria (menos del 33%). La participación en atención primaria se relacionó significativamente con la edad, pero no con el sexo ni con la categoría profesional. En ningún estudio analizado se alcanzó el 60% de participación. Se observan diferencias según el ámbito de trabajo, el hábito de utilizar Internet y el interés por el tema.
The main advantages of online questionnaires are the speed of data collection and cost savings, but response rates are usually low. This study analyzed response rates and associated factors among health professionals in three opinion surveys in the autonomous region of Madrid. The participants, length of the questionnaire and topic differed among the three surveys. The surveys were conducted by using paid Internet software. The institutional e-mail addresses of distinct groups of health professionals were used. Response rates were highest in hospitals (up to 63%) and administrative services and were lowest in primary care (less than 33%). The differences in response rates were analyzed in primary care professionals according to age, sex and professional category and only the association with age was statistically significant. None of the surveys achieved a response rate of 60%. Differences were observed according to workplace, patterns of Internet usage, and interest in the subject.
Igual que el uso de Internet está en constante aumento1, el de los cuestionarios en línea (on line) es cada vez más frecuente, sobre todo en el mundo anglosajón2–5.
Sus principales ventajas son la rapidez en conseguir resultados y su bajo coste2-5, pero la tasa de respuesta es habitualmente baja. Resultados de metaanálisis muestran medias que oscilan entre el 32,7% y el 39,6%, con una gran desviación estándar del 19,6%5. Esta variación también se ha descrito en el ámbito sanitario, y en un análisis de 17 estudios dirigidos a profesionales sanitarios en Reino Unido, Estados Unidos y Canadá, entre 1999 y 2002, se encontraron tasas de respuesta del 9% al 94%6. Otro estudio realizado en 2005-2006 en Barcelona, mediante cuestionarios en línea dirigidos a profesionales de medicina y enfermería colegiados, alcanzó tasas de respuesta del 13,30% y del 8,61%, respectivamente1.
Esta situación ha suscitado el estudio de los motivos que subyacen a esta falta de respuesta. Los motivos descritos pueden agruparse en cuatro tipos relacionados con 1) las características de la población destinataria (edad, sexo, especialización, categoría profesional)1,4-6, 2) el diseño del estudio (calidad del listado de direcciones de correo electrónico, personalización de la invitación a participar, comodidad en el uso de la tecnología, cuestionario corto, envío paralelo del cuestionario en papel, uso de incentivos, envío de recordatorios)3,4,5,7,8, 3) el interés del tema abordado2,8, y 4) la manera de usar Internet del destinatario (frecuencia de uso, diferencias de uso según lugar de trabajo, tratamiento del correo no deseado)1,5,6,9.
En nuestro medio son escasos los estudios que hayan analizado esta metodología, por lo que este trabajo pretende analizar las tasas de respuesta de tres estudios realizados en el ámbito sanitario, utilizando la metodología de referencia, y valorar qué factores pueden haber influido en ellas.
Exposición del métodoLos tres estudios considerados (tabla 1), en los cuales se utilizó un sistema en línea, se realizaron en la Consejería de Sanidad de la Comunidad de Madrid entre mayo de 2010 y febrero de 2011.
El procedimiento utilizado en los tres casos fue similar: se envió un mensaje por correo electrónico invitando a los profesionales seleccionados, que sirvió también para validar las direcciones de correo electrónico empleadas; posteriormente se envió un mensaje con el enlace al cuestionario, y finalmente recordatorios (tres en los estudios 1 y 2, dos en el estudio 3) entre la primera y la segunda semanas, quedando abierta la posibilidad de contestar al cuestionario en 28 días para el estudio 1, 14 para el estudio 2 y 16 para el estudio 3.
Se contrató una empresa vía Internet que proporcionó la herramienta para la elaboración del cuestionario, el envío del mensaje con enlace al cuestionario, la recogida de las respuestas, su seguimiento, el envío de recordatorios a los participantes que no habían contestado y la tabulación de las respuestas en ficheros Excel.
Las direcciones de correo electrónico utilizadas fueron las de la red de informadores clave de la pandemia de gripe A(H1N1) 2009 en el estudio 1. Para el muestreo de profesionales de atención primaria de los estudios 2 y 3 se dispuso del listado institucional de direcciones de correo electrónico de los centros de salud, donde se observó la falta de asignación en un 21,66% de los profesionales, por lo que el muestreo se efectuó sobre el listado de personas que disponían de correo electrónico. Para las muestras oportunistas, las direcciones de correo electrónico de los profesionales se obtuvieron de los miembros de la comisión responsable del estudio en el estudio 2, y en el estudio 3 se solicitaron por escrito a los jefes de departamento.
En el estudio 2, los representantes de la citada comisión fueron incentivando la participación mediante contactos personales a los profesionales, mientras que en el estudio 3 se mandaron cartas a los responsables (directores de centros de salud, gerentes de atención primaria y de hospitales, directores generales) informando del estudio y solicitando su colaboración para estimular a los profesionales a contestar el cuestionario.
Los tres estudios diferían en el tema abordado, el número de preguntas y la población destinataria, incluyendo solamente profesionales sanitarios del ámbito público. Se han calculado las tasas de respuesta según la población destinataria, y en la no respuesta se ha diferenciado el número de mensajes de correo electrónico no abiertos de los que fueron abiertos y no contestados. Se describe un aumento de la respuesta tras el envío de recordatorios.
En el estudio 3, la muestra de los centros de salud fue aleatoria y se disponía de información sobre la edad y el sexo de las personas incluidas en ella, y se dirigió a un número limitado de cuatro categorías profesionales, frente a las 12 del estudio 2 y a las muestras oportunistas del estudio 1. Por ello, en este estudio se ha estimado el efecto de la edad, el sexo y la categoría profesional en la tasa de respuesta, mediante el cálculo de odds ratio con intervalos de confianza del 95%.
Aplicación prácticaNo se produjeron incidencias notables en relación con la vigencia y la exactitud de las direcciones de correo electrónico empleadas, gracias a la calidad de los listados y a la revisión previa que se realizó al enviar la invitación. La mayoría de los cuestionarios no cumplimentados fueron entregados, pero no llegaron a ser abiertos (tabla 1). Un porcentaje mucho menor fueron abiertos y no contestados.
Características de los estudios analizados en los que se han utilizado cuestionarios on-line
Tema | N.° de preguntas | Población destinataria | Número de cuestionarios | Tasa de respuesta (%) | |||
Enviados | Entregados sin abrir | Abiertos sin contestar | Contestados | ||||
Estudio 1Evaluación de actividades de salud pública durante la pandemia de gripe | 10+1 de clasificación | Red de informadores de la pandemia de gripe: atención primaria, hospitales y SUMMA 112a (incluyendo gestores y profesionales), y salud pública (jefes de servicio) | 278b | 74 | 52 | 152 | 54,68 |
Estudio 2Sondeo de opinión sobre comunicación interna | 12+5 de clasificación | Muestra aleatoria de profesionales de centros de salud (todas las categorías profesionales) | 844 | 551 | 19 | 274 | 32,46 |
Muestra oportunista de profesionales de la administración central (incluyendo las gerencias de atención primaria) | 206 | 110 | 11 | 85 | 41,26 | ||
Total | 1.050 | 661 | 30 | 359 | 34,19 | ||
Estudio 3Estudio sobre servicios de promoción de la salud y prevención | 4+3 de clasificación | Muestra aleatoria de profesionales de centros de salud (médicos, pediatras, enfermeras/os, matronas, trabajadores sociales) | 700 | 465 | 60 | 175 | 25,00 |
Muestra oportunista de profesionales de la administración central (incluyendo las gerencias de atención primaria) | 180 | 53 | 21 | 106 | 58,89 | ||
Muestra oportunista de hospitales públicos (gerencias y jefes de servicio) | 336 | 77 | 47 | 212 | 63,10 | ||
Muestra oportunista del SUMMA 112 | 66 | 39 | 12 | 15 | 22,73 | ||
Total | 1.282 | 634 | 140 | 508 | 39,63 |
Las tasas globales de respuesta fueron del 54,68% en el estudio 1, del 34,19% en el estudio 2 y del 39,63% en el estudio 3 (tabla 1). La submuestra de ámbito hospitalario del estudio 3 alcanzó una tasa de respuesta del 63,10%, y las submuestras del ámbito asistencial de atención primaria de los estudios 2 y 3 obtuvieron tasas del 32,46% y del 25%, respectivamente. La mayor parte de las respuestas se produjo en los primeros 3 días (estudio 1: 75,84%; estudio 2: 57,94%; estudio 3: 65,94%), el primer recordatorio aumentó la participación entre un 15% y un 16% (estudio 1: 15,17%: estudio 2: 16,16%; estudio 3: 16,34%), y los recordatorios 2 y 3 (r2 y r3) tuvieron un efecto muy desigual (estudio 1: r2 del 14,04% y r3 del 2,25%; estudio 2: r2 del 2,23% y r3 del 1,95%; estudio 3: r2 del 1,77%).
Se observó una asociación estadísticamente significativa con la edad, con una mayor participación de los menores de 50 años (tabla 2).
Diferencias de participación de los profesionales de los centros de salud de atención primaria (N=700) en el estudio 3
Contestaron al cuestionario | n (%) | OR (IC95%) | p |
Edada | < 0,001 | ||
20 a 39 años | 32 (27,8) | 1,68 (1,62-3,53) | |
40 a 49 años | 78 (35,4) | 2,40 (1,03-2,75) | |
50 a 79 años | 63 (18,6) | 1 | |
Sexo | |||
Hombres | 38 (23,3) | 1 --- | 0,55 |
Mujeres | 137 (25,6) | 1,13 (0,75-1,71) | |
Categoría profesional | 0,98 | ||
Enfermería/Matronas | 79 (25,2) | 1 --- | |
Medicina de familia | 75 (24,9) | 0,99 (0,68-1,42) | |
Pediatría | 18 (24,7) | 0,97 (0,54-1,76) | |
Trabajo social | 3 (30,0) | 1,27 (0,32-5,05) |
OR: odds ratio; IC95%: intervalo de confianza del 95%.
Con ninguno de los estudios las tasas de respuesta alcanzaron el 60% del estándar citado por Fincham10, y son cercanas a las medias habituales en los cuestionarios en línea5.
Las diferencias entre las tasas de respuesta en los hospitales y los centros de salud se asemejan a la utilización de Internet como fuente de información, más frecuente entre los profesionales de hospitales que en los de otro tipo de centros1,9. En los centros de salud analizados se encontró una relación significativa con la edad de los profesionales, pero no con el sexo, de manera similar al estudio catalán ya citado1, aunque a diferencia de los resultados de dicho estudio tampoco se encontraron diferencias en función de la categoría profesional.
En los resultados obtenidos se observa que hubo un aumento de las respuestas tras enviar los recordatorios, en particular el primero, efecto valorado como considerable en algunos estudios5,6.
Así como en una revisión Cochrane se estima que el interés del tema para los destinatarios puede duplicar la tasa de respuesta8, en el estudio 1 este factor explica probablemente el mejor resultado obtenido. Además, el medio de comunicación habitual de aquella red de informadores era precisamente el correo electrónico.
Con esta baja participación subsiste actualmente, en nuestro medio, un posible sesgo debido a la baja utilización del correo electrónico, porque no se tiene o porque no se usa, que merma la posibilidad de generalizar los resultados a la población a estudiar9.
Debería estudiarse la posibilidad de mejorar las tasas de respuesta ofreciendo incentivos, no necesariamente económicos, a los participantes, o utilizando métodos mixtos con el envío en formato papel de los cuestionarios a las personas que no han contestado al cuestionario en línea. Con todo, en nuestra opinión, la rapidez del método y la posibilidad de enviar el cuestionario a muchos profesionales sin repercusión sobre los costes del estudio siguen haciendo útil esta metodología, siempre que en la interpretación de los resultados se valore la existencia de posibles sesgos en la respuesta.
Contribuciones de autoríaN. Aerny Perreten y M.F. Domínguez-Berjón concibieron y diseñaron el trabajo, y N. Aerny redactó el original; ellas, junto con J. Astray Mochales, M. Esteban Vasallo, L.M. Blanco Ancos y M.A. Lópaz Pérez, participaron en el análisis y la interpretación de los datos. M.F. Domínguez-Berjón y J. Astray Mochales contribuyeron de manera importante mediante la revisión crítica del artículo. Todos los autores aportaron ideas, revisaron los borradores del original y aprobaron su versión final.
FinanciaciónNinguna.
Conflicto de interesesM.F. Domínguez-Berjón forma parte del equipo editorial de Gaceta Sanitaria y durante el proceso editorial de este artículo no ha podido acceder a ninguna información sobre el estado del manuscrito (editor/a encargado/a, revisores/as asignados/as).