Una buena y precisa revisión de la literatura es un elemento clave de las revisiones sistemáticas y de los metaanálisis, pues deben basarse en estudios originales de alta calidad y lógicamente nunca retractados. El objetivo de la presente nota metodológica es proporcionar un sistema rápido, reproducible y fiable de detección de literatura retractada incluida en revisiones sistemáticas y metaanálisis, que permite verificar la consistencia de los resultados y habilita la posibilidad de poder comunicar la potencial presencia de errores a las revistas implicadas mediante un proceso de revisión posterior a la publicación (post peer review). La aplicación sistemática del método SCRUTATIOm permitiría saber si en nuestra área de trabajo se ha publicado un determinado estudio que puede no aportar evidencia consistente al cuerpo del conocimiento.
A good and accurate literature review is a key element of systematic reviews and meta-analyses and always needs to be based on high quality original studies and logically never retracted. The aim of this methodological note is to provide a fast, reproducible and reliable system for detecting retracted literature included in systematic reviews and meta-analyses, allowing the consistency of the results of these to be verified and enabling the possibility of being able to communicate the potential presence of errors to the journals involved by means of a post-publication or post-peer review process. The SCRUTATIOm method, apply routinely, allows us to know if a certain study has been published in our field of study, which may not provide consistent evidence to the body of knowledge.
Es necesario que la evidencia científica disponible esté dotada de la máxima calidad y rigor. Sin embargo, la incorporación de literatura científica retractada a revisiones sistemáticas y metaanálisis pone en riesgo esta cualidad, ya que en tal caso las conclusiones de estos carecerán de fiabilidad.
El problema de la incorporación de literatura retractada en revisiones sistemáticas y metaanálisis radica en la posibilidad de considerar datos que no deberían incluirse y que pueden cambiar el sentido de los resultados. Esto se observa claramente en el artículo de Avenell et al.1, en el que se describe que 12 ensayos clínicos retractados por fraude científico habían sido incorporados en un total de 1158 publicaciones, de las cuales 23 eran revisiones sistemáticas y metaanálisis2, y se encontró que en ocho de esos trabajos las conclusiones cambiaban completamente, en siete se veían matizadas y en los ocho restantes se mantenían.
Atendiendo a lo anterior, parece claro que esta situación es competencia de toda la comunidad científica, y que resulta imprescindible que, ante la detección de un error de este tipo, se comunique a través de cartas al editor o comentarios a la revista responsable de su publicación para que pueda subsanarse.
La citación de literatura retractada se lleva estudiando desde hace más de una década y se ha tratado de explicar las causas señalando, entre otras, el acceso limitado de los/las autores/as a las cartas de retractación, o el hecho de que muchos/as autores/as descargan la copia del formato digital del artículo que necesitan y no vuelven a consultar la fuente original. Por esto se recomienda que las personas autoras y revisoras verifiquen antes de la publicación de un manuscrito si entre las referencias utilizadas y citadas hay artículos retractados. Para facilitar esta labor existen algunos sistemas de actualización CrossMark, que permiten detectar en tiempo real cualquier cambio en el documento, como correcciones, erratas o retractaciones3.
El objetivo de la presente nota metodológica es mostrar un proceso de trabajo denominado SCRUTATIOm, que puede ser utilizado por quienes desean tanto verificar las referencias de sus trabajos como desarrollar el post peer review, gracias al cual puede detectarse la literatura retractada, incluida en revisiones sistemáticas y metaanálisis, de forma reproducible, fiable y rápida.
MétodoSe propone un sistema de detección de literatura retractada citada en revisiones sistemáticas y metaanálisis mediante el uso combinado de la base de datos Scopus y del gestor de referencias bibliográficas Zotero.
Scopus es considerada la mayor base de datos de citas y resúmenes de literatura revisada por pares, incluyendo revistas científicas, libros y actas de conferencias. Actualmente cuenta con más de 38.000 revistas científicas4.
Zotero es un programa gratuito de gestión de referencias bibliográficas que tiene la capacidad de avisar a las personas investigadoras si seleccionan un artículo retractado, gracias a que está vinculado con Retraction Watch, que mantiene la mayor base de datos de retractaciones online5.
ProcedimientoEl método se desarrolla a través de cinco pasos (fig. 1). Para una mejor comprensión, se ejemplifica con una búsqueda real.
Se comienza con una búsqueda usando los términos de interés en la base de datos Scopus. Para el ejemplo desarrollado utilizaremos los términos genéricos “nursing” y “medicine”, siendo la secuencia de búsqueda introducida “nursing or medicine” y limitando a título, resumen o palabras clave (article title, abstract, keywords).
Este último paso no es necesario y se pueden introducir todas las variaciones que se deseen, cuyo resultado serán búsquedas más o menos extensas en función de los límites impuestos.
El resultado de la búsqueda ofrece 2.314.169 documentos (21/01/2020). Esta búsqueda puede refinarse utilizando la limitación de “subject area”, donde se puede limitar por “medicine” o “nursing”.
Limitar por “document type: retracted”En este paso aplicaremos el límite para obtener solo artículos indexados como «retractados». Puede ocurrir que literatura retractada no haya sido aún clasificada como tal por la base de datos, y lo sea en el futuro.
Al limitar por “document type: retracted” se obtienen 30 documentos que figuran como retractados en la base de datos Scopus.
Buscar artículos que han citado esa literatura retractadaA continuación usaremos la capacidad de encontrar literatura que cita un artículo determinado. Para ello seleccionamos todos los artículos (marcamos “all”) y pulsamos la opción del menú “view cited by”, es decir, ver qué artículos han citado esta literatura retractada.
Como resultado de este procedimiento se obtienen 330 artículos.
Filtrar por metaanálisis y revisiones sistemáticasPara seleccionar las revisiones sistemáticas y metaanálisis que han citado estudios retractados debemos incluir en la barra de búsqueda “search within results…” la cadena “TITLE (meta-analysis OR systematic review)”. El resultado es que 12 revisiones sistemáticas o metaanálisis incluyen literatura retractada.
Tras el análisis presentado observamos que el primer artículo en orden de publicación es Breast and complementary feeding in Ethiopia: new national evidence from systematic review and meta-analyses of studies in the past 10 years, publicado en European Journal of Nutrition6.
Detectar el estudio retractado con ZoteroFinalmente procedemos a abrir la ficha del artículo de interés, pulsamos en “view references” y a continuación en “all” para proceder a seleccionar todas las referencias. Pulsando “RIS export” generaremos un fichero RIS con toda la literatura que puede ser importado directamente en Zotero.
Al importar las referencias bibliográficas a Zotero automáticamente obtenemos un aviso de que las referencias incluidas incluyen un estudio retractado, dándonos la opción de «ver elemento».
El estudio en cuestión es el de Gultie y Sebsibie7, publicado en International Breasfeeding Journal y retractado en 2018 por plagio8.
Un rápido análisis del metaanálisis6 que incluye este estudio retractado nos permite observar que fue incorporado como literatura válida al análisis estadístico presentado, lo cual nunca debió suceder y debió ser identificado durante el proceso de revisión por pares. Desconocemos si en este caso particular la retirada del citado artículo del análisis no altera sus conclusiones, pero su inclusión debe ser comunicada a la revista9, permitiendo la discusión académica con los autores del trabajo con el fin de que justifiquen por qué lo incluyeron en su análisis.
LimitacionesEste procedimiento detecta el estudio que contiene la literatura retractada, pero no olvidemos que: a) puede estar correctamente citada (indicando que el estudio fue retractado), y b) se indica que no se incluyó en el análisis final al estar retractado.
La literatura retractada debe estar identificada como tal por la base de datos Scopus, de forma que puedan establecerse limitaciones por este campo. Incluir puntualmente en la cadena de búsqueda del paso 1 “retracted” puede aumentar de manera significativa los resultados de búsqueda, pero baja enormemente la precisión y la capacidad de reproducibilidad del método. Otra limitación de este método es el uso exclusivo de Scopus y Zotero, pues existen otras herramientas para buscar literatura retractada1.
ConclusiónSCRUTATIOm permite detectar de forma rápida, reproducible y fiable la literatura retractada citada en revisiones sistemáticas y metaanálisis. La retractación de publicaciones está presente en revistas tanto de alto como de bajo factor de impacto10, y la aplicación de este método de manera sistemática nos permitiría saber si en nuestro campo de estudio se han publicado trabajos que pueden no aportar evidencia de calidad.
En concreto, la aplicación del punto 5 del procedimiento nos permite saber si la literatura citada en un determinado estudio de interés contiene referencias que han sido retractadas.
Editora responsable del artículoClara Bermúdez-Tamayo.
Contribuciones de autoríaJosé M. Morán ideó el método descrito y revisó el manuscrito; Azucena Santillán-García e Iván Herrera-Peco elaboraron el manuscrito. Todos han revisado y aprobado el texto final.
FinanciaciónAyuda a la publicación de la Fundación Universidad Alfonso X el Sabio y la Universidad Alfonso X el Sabio.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
