El uso de estudios basados en encuestas online se ha extendido de manera notable. A pesar de tener tasas de respuesta especialmente pequeñas, permiten obtener con facilidad un gran tamaño de muestra. Sin embargo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados. Se comparan los resultados de dos encuestas sobre la regulación de la eutanasia y el suicidio asistido, una online con muestra autoseleccionada y la otra con muestreo aleatorio, realizadas en 2018 entre los/las colegiados/as del Colegio de Médicos de Bizkaia. Las tasas de respuesta fueron del 10,4% (encuesta online) y del 87,8% (encuesta aleatoria). No se encontraron diferencias en las características sociodemográficas, aunque sí en las de opinión, de manera que el porcentaje de personas contrarias a la regulación de la eutanasia estaba sobrestimado. Los resultados de este estudio muestran que dicha estrategia de muestreo genera sesgos en los resultados, alguno de ellos difícilmente detectable y reparable.
The use of studies based on online surveys has expanded significantly. Despite having particularly small response rates, they allow a large sample size to be easily obtained. However, this strategy may entail a selection bias that significantly compromises the results. The results of two surveys on the regulation of euthanasia and assisted suicide are compared. One is an online survey with a self-selected sample and the other a survey with random sampling, conducted in 2018 among the members of the Medical Association of Bizkaia. The response rates were 10.4% (online survey) and 87.8% (random survey). No differences were found in sociodemographic characteristics, although there were differences in the opinion variables, so that the percentage of people who opposed euthanasia regulation was overestimated. The results of this study show that this sampling strategy generates biases in the results, some of which are difficult both to detect and to repair.
Los cambios tecnológicos y la amplia penetración de tecnologías como Internet han conllevado una profunda transformación social que también ha impactado notablemente en las formas y las metodologías de la investigación. En el caso de los estudios basados en encuestas, los cuestionarios online hacen posible obtener un amplio número de respuestas con un coste relativamente bajo, ya que permiten el envío masivo de cuestionarios a través de anuncios en páginas web o listas de direcciones electrónicas que en ocasiones pueden cubrir a toda la población objeto de estudio1,2. Así, su uso se ha popularizado porque, a pesar de tener tasas de respuesta especialmente pequeñas3, permiten obtener un tamaño de muestra elevado4. En ocasiones, este último aspecto es el único considerado para evaluar la calidad y la representatividad de los datos obtenidos. Sin embargo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados obtenidos.
El objetivo del presente estudio es analizar los resultados de una encuesta realizada siguiendo esta estrategia frente a los resultados utilizando un muestreo aleatorio.
MétodoSe comparan los resultados de dos encuestas realizadas entre octubre y noviembre de 2018 entre los/las colegiados/as del Colegio de Médicos de Bizkaia (N=7754). Las dos personas autoras del presente artículo colaboraron en el diseño del muestreo, pero no realizaron el trabajo de campo (que llevó a cabo el Colegio de Médicos de Bizkaia) ni tuvieron acceso a datos personales. En la primera encuesta, a toda la población objeto de estudio de la que se disponía de dirección (90%) se envió un correo electrónico invitando a participar en el estudio a través de un link, y las respuestas fueron recogidas a través de una página web. Se obtuvo una muestra de n=709 colegiados/as. En la segunda, se seleccionó mediante muestreo aleatorio simple una muestra de individuos, n=382, pertenecientes a la población objeto de estudio, con los que se contactó telefónicamente para realizar la encuesta. El error muestral fue de±5,0% (suponiendo p=q=0,5) y un margen de confianza del 95%. El cuestionario podía ser cumplimentado en la misma llamada telefónica u online. Ambos cuestionarios eran idénticos y el tema era la opinión sobre la eutanasia y el suicidio asistido y su regulación. Las variables de interés se han descrito a partir de la frecuencia absoluta y relativa (n, %), y según el tipo de encuesta. Los resultados se han comparado mediante la prueba estadística de ji al cuadrado, con un nivel de significación de 0,05, y a partir del análisis de los residuos ajustados estandarizados.
ResultadosLas tasas de respuesta fueron del 10,4% en la encuesta online y del 87,8% en la encuesta aleatoria. Las características sociodemográficas de ambas encuestas se presentan en la tabla 1. No hay apenas diferencias entre las dos encuestas en las variables sociodemográficas; únicamente en la edad hay menos proporción de mayores de 71 años en la encuesta online, aunque las diferencias en esta variable no fueron estadísticamente significativas.
Características sociodemográficas según el tipo de encuesta
Encuesta con muestreo aleatorio | Encuesta online | p | |||
---|---|---|---|---|---|
n | % | n | % | ||
Sexo | |||||
Hombre | 171 | 44,8 | 311 | 44,1 | 0,821 |
Mujer | 211 | 55,2 | 395 | 55,9 | |
Edad | |||||
Hasta 30 años | 37 | 9,7 | 70 | 9,9 | 0,051 |
De 31 a 40 años | 71 | 18,6 | 118 | 16,6 | |
De 41 a 50 años | 72 | 18,8 | 115 | 16,2 | |
De 51 a 60 años | 89 | 23,3 | 201 | 28,3 | |
De 61 a 70 años | 90 | 23,6 | 185 | 26,1 | |
71 años o más | 23 | 6 | 20 | 2,8 | |
Ámbito profesional | |||||
Atención hospitalaria | 168 | 44 | 281 | 39,6 | 0,322 |
Atención primaria | 120 | 31,4 | 248 | 35 | |
Jubilado/a | 47 | 12,3 | 72 | 10,2 | |
Otros (mutualidades, medicina del trabajo) | 43 | 11,3 | 100 | 14,1 | |
Universidad | 4 | 1 | 8 | 1,1 |
En la tabla 2 se presenta la distribución de respuestas a las preguntas sobre la posible regulación de la eutanasia y del suicidio asistido. En este caso sí se encuentran diferencias significativas entre ambas estrategias muestrales, tanto si la pregunta se categoriza en cinco categorías como si se agrupa en tres. La estrategia online describe un mayor porcentaje en contra de la regulación de la eutanasia, en concreto 4,8 puntos mayor (un 47,5% más), así como un menor porcentaje que no se posiciona o no tiene una opinión definida en el caso del suicidio asistido. En el muestreo aleatorio, el 5,4% manifiesta no saber o no tener una opinión definida, frente al 1,9% en el caso del muestreo online. Además, aunque de manera no significativa, se detecta una mayor tendencia dentro del muestro online a las opiniones más extremas; en todos los casos, el porcentaje que manifestaba una opinión extrema (sí o no) era mayor en el muestro online, sobre todo a favor del suicidio asistido y en contra de la regulación de la eutanasia, donde la diferencia roza la significación estadística.
Regulación de la eutanasia y el suicidio asistido según tipo de encuesta y residuos ajustados estandarizados
Encuesta muestreo aleatorio | Encuesta online | Encuesta muestreo aleatorio | Encuesta online | ||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
n | % (residuo) | n | % (residuo) | p | n | % (residuo) | n | % (residuo) | p | ||
Regulación eutanasia | |||||||||||
Sí | 256 | 67,7 (-0,5) | 486 | 69,1 (0,5) | 0,038 | Sí | 330 | 87,3 (1,7) | 587 | 83,5 (−1,7) | 0,042 |
Sí, pero no estoy seguro/a | 74 | 19,6 (2,2) | 101 | 14,4 (−2,2) | |||||||
No, pero no estoy seguro/a | 14 | 3,7 (−1,2) | 37 | 5,3 (1,2) | No | 38 | 10,1 (−2,3) | 105 | 14,9 (2,3) | ||
No | 24 | 6,3 (−1,9) | 68 | 9,7 (1,9) | |||||||
No lo sé, ni sí, ni no | 10 | 2,6 (1,2) | 11 | 1,6 (−1,2) | No lo sé, ni sí, ni no | 10 | 2,6 (1,2) | 11 | 1,6 (−1,2) | ||
Regulación suicidio | |||||||||||
Sí | 189 | 51,4 (−1,6) | 395 | 56,3 (1,6) | 0,001 | Sí | 272 | 73,9 (0,3) | 512 | 73,0 (−0,3) | 0,002 |
Sí, pero no estoy seguro/a | 83 | 22,6 (2,3) | 117 | 16,7 (−2,3) | |||||||
No, pero no estoy seguro/a | 27 | 7,3 (−1,6) | 72 | 10,3 (1,6) | No | 76 | 20,7 (−1,6) | 176 | 25,1 (1,6) | ||
No | 49 | 13,3 (−0,7) | 104 | 14,8 (0,7) | |||||||
No lo sé, ni sí, ni no | 20 | 5,4 (3,2) | 13 | 1,9 (−3,2) | No lo sé, ni sí, ni no | 20 | 5,4 (3,2) | 13 | 1,9 (−3,2) |
El envío online masivo de cuestionarios ayuda a obtener una muestra amplia con pocos recursos. Sin embargo, los resultados de este estudio muestran que esta estrategia de muestreo genera sesgos en los resultados. En concreto, en nuestro caso, sobrestima el porcentaje de personas contrarias a la regulación de la eutanasia, así como el de personas con opiniones extremas. Por el contrario, infraestima el peso de las personas indecisas o con opiniones más intermedias. Este hecho puede atribuirse a que las personas con opiniones más definidas y extremas pueden mostrarse más proclives a contestar una encuesta que las personas con opiniones menos extremas o menos definidas, a las que el cuestionario puede generar menos interés.
Nuestros resultados coinciden con los señalados por otros autores2 y tienen importantes implicaciones para la investigación debido a varios aspectos; en primer lugar, por la magnitud de las diferencias en los resultados de una y otra estrategia. En este punto hay que tener en cuenta que una de las principales limitaciones del estudio es trabajar con una muestra aleatoria pequeña, pero que a pesar de ello presenta diferencias significativas. Segundo, el hecho de que estos resultados se produzcan en una población muy homogénea en la que existe un acceso y un uso generalizado de las tecnologías. Así, las diferencias de magnitud podrían ser mayores en otras poblaciones en las que se uniría el sesgo provocado por errores de cobertura derivados del acceso a las tecnologías. Tercero, las diferencias en las variables resultado se producen a pesar de no haber obtenido diferencias en las variables socioeconómicas. Esto supone que sea un sesgo difícilmente detectable y también difícilmente reparable. Y es que si se comparan las características socioeconómicas de la muestra autoseleccionada con las de la población objeto de estudio no se perciben diferencias, lo que puede llevar a pensar que la muestra es representativa. Además, es difícilmente reparable, ya que la estrategia clásica de ponderación de la muestra según variables socioeconómicas para alcanzar la estructura de la población no solucionaría el sesgo en la distribución de las variables resultado.
Por último, se trata de un error poco considerado al diseñar la investigación y evaluar los posibles sesgos de la estrategia. A pesar de que los estudios por encuesta conllevan varios tipos de error5,6, son los errores de muestreo, y en concreto los derivados de utilizar un determinado tamaño de muestra, los que se tienen más en cuenta, hasta el punto de ser considerada en ocasiones la única fuente de error7. Por ello, al evaluar un estudio que sigue este tipo de estrategia de muestreo, a pesar del tamaño de la muestra, es necesario considerar otro tipo de errores.
Editor responsable del artículoCarlos Álvarez-Dardet.
Contribuciones de autoríaU. Martin concibió la idea inicial y el diseño del trabajo. El análisis de los datos fue realizado por M. Utzet. U. Martin y M. Utzet participaron en la discusión sobre los resultados y conclusiones del análisis, revisaron la redacción del manuscrito, realizaron importantes contribuciones para su mejora y aprobaron la versión final para su publicación.
AgradecimientosAl Colegio de Médicos de Bizkaia por haber facilitado la realización del presente estudio.
FinanciaciónEl Colegio de Médicos de Bizkaia ha financiado y realizado las encuestas que son origen de este estudio.
Conflictos de interesesNinguno.