Examinar el apoyo a las guías de publicación para estudios de evaluación económica, como la declaración CHEERS (Consolidated Health Economic Evaluation Reporting Standards), por parte de las revistas biomédicas españolas.
MétodoAnálisis transversal de las normas de autoría de las revistas biomédicas españolas incluidas en Journal Citation Reports 2017. Dos autores examinaron y extrajeron la siguiente información: mención de alguna guía de publicación, declaración CHEERS, recomendaciones del International Committee of Medical Journal Editors (ICMJE) e iniciativa Enhancing the QUAlity and Transparency Of health Research (EQUATOR).
ResultadosDe las 28 revistas incluidas, 23 (82,1%; intervalo de confianza del 95% [IC95%]: 63,1-93,9%) mencionaron alguna guía. Una única revista mencionó la declaración CHEERS para estudios de evaluación económica. Veinticuatro revistas (85,7%; IC95%: 67,3-96,0%) mencionaron las recomendaciones del ICMJE y 8 (28,6%; IC95%: 13,2-48,7%) la red EQUATOR. La declaración CONSORT (Consolidated Standards of Reporting Trials) para ensayos clínicos fue la guía más mencionada (n=21; 75,0%; IC95%: 55,1-89,3%).
DiscusiónLa mayoría de las normas de autoría no incorporan información sobre cómo presentar evaluaciones económicas. Las revistas deberían apoyar el cumplimiento de las guías de publicación por parte de las personas autoras y revisoras.
To examine the endorsement of reporting guidelines for economic evaluation studies, such as the CHEERS (Consolidated Health Economic Evaluation Reporting Standards) statement, by Spanish biomedical journals.
MethodCross-sectional analysis of the instructions to authors of Spanish biomedical journals included in the Journal Citation Reports 2017. Two authors examined and extracted the following information: mention of any reporting guideline, the CHEERS statement, the recommendations of the International Committee of Medical Journal Directors (ICMJE) and the Enhancing the QUAlity and Transparency Of health Research (EQUATOR) network.
ResultsOf the 28 journals included, 23 (82.1%; 95% confidence interval [95%CI]: 63.1-93.9%) mentioned at least one reporting guideline in the instructions to authors. Only one journal mentioned the CHEERS statement for health economic evaluations. Twenty-four journals (85.7%; 95%CI: 67.3-96.0%) mentioned the ICMJE recommendations and 8 (28.6%; 95%CI: 13.2-48.7%) mentioned the EQUATOR network. The CONSORT (Consolidated Standards of Reporting Trials) statement for clinical trials was the most- mentioned reporting guideline (n=21; 75.0%; 95%CI: 55.1-89.3%).
DiscussionMost of the instructions to authors do not provide guidance on how to report economic evaluations. Journals should support compliance with reporting guidelines by authors and peer-reviewers.
Los estudios de evaluación económica deben servir para informar la asignación de recursos, ya que permiten comparar diversas alternativas de actuación en términos de costes y efectos sobre la salud1. Sin embargo, diversos trabajos2–4 han demostrado que la calidad de los estudios de evaluación económica publicados es mejorable, y cuando menos, heterogénea.
Las guías de publicación pretenden fomentar la claridad y la transparencia de los trabajos publicados. Generalmente, estas guías especifican en forma de listas de comprobación los elementos necesarios para presentar la información relativa a los métodos y resultados de la investigación5. La aplicación de estas guías puede contribuir a aumentar la calidad de los artículos6,7. Una de las más conocidas es la declaración CONSORT (Consolidated Standards of Reporting Trials) para ensayos clínicos, aunque existen guías para diversos diseños. Las evaluaciones económicas, en comparación con otras investigaciones, requieren la presentación de elementos adicionales, como son los costes y el uso de recursos, la información relacionada con la efectividad comparada, las preferencias (utilidades) y los resultados de la relación coste-efectividad8–10. Siguiendo el formato establecido en otras guías, la declaración CHEERS (Consolidated Health Economic Evaluation Reporting Standards)10 se ha consolidado como la principal guía para presentar de manera transparente la información relativa a una evaluación económica. Sin embargo, el apoyo a estas guías por parte de las revistas es desconocido. Estudios previos han caracterizado el apoyo a algunas guías (como CONSORT) examinando las normas de autoría de revistas internacionales con alto factor de impacto11, pero ningún trabajo hasta la fecha ha evaluado el apoyo a las guías por parte de las revistas españolas. Conocer esta información es importante, pues en las revistas españolas se publica un número importante de trabajos de evaluación económica llevados a cabo en el ámbito nacional, autonómico o local4,12.
El presente estudio tiene como objetivo principal examinar el apoyo a las guías de publicación para estudios de evaluación económica8–10, como la declaración CHEERS10, por parte de las revistas biomédicas españolas incluidas en el Journal Citation Reports (JCR) en 2017. Como objetivo secundario se pretende explorar la mención a las principales recomendaciones y guías de publicación más conocidas.
MétodoAnálisis transversal de las normas de autoría de las revistas biomédicas españolas incluidas en el JCR de 2017 (Clarivate Analytics, Filadelfia, EE.UU.), publicado en junio de 2018.
Selección de las revistasCon ayuda de un experto en recuperación de información y búsquedas (A. Alonso-Arroyo), dos investigadores (M. Ridao y F. Catalá-López) seleccionaron una muestra de revistas biomédicas editadas en España que cumplieran los criterios de elegibilidad. Para ello, las revistas debían estar incluidas en el JCR de 2017 y publicar trabajos originales relacionados con cualquier aspecto de la investigación clínica, la investigación en servicios de salud, la economía de la salud, la epidemiología, la salud pública o cualquier área relacionada. Fueron excluidas aquellas revistas que indicaran explícitamente que no publicaban evaluaciones económicas o se comprobara que no publicaban este tipo de estudios a partir de la información de una revisión previa4 y de una búsqueda complementaria en PubMed cuando no se estaba familiarizado con el tema de la revista (para más detalles del proceso de selección de revistas véase el Apéndice online).
Identificación y extracción de la informaciónDos investigadores (M. Ridao y F. Catalá-López), de manera independiente, examinaron las normas para autores/as disponibles en la página web de cada revista y extrajeron la información de interés, entre agosto y septiembre de 2018. Específicamente se obtuvo el nombre de la revista, el factor de impacto y la posición (cuartil) en la categoría temática (JCR 2017), la disponibilidad de normas de autoría y su formato (p. ej., documento en PDF, página web o ambos), si se mencionaban guías para la publicación de diseños específicos de investigación y cuáles, si la declaración CHEERS (o cualquier otra guía de publicación de estudios de evaluación económica8,9) se mencionaba en las normas de publicación como «requisito» (p. ej., «se requiere», «se deberá seguir» o «se tendrá en cuenta») o como «recomendación» (p. ej., «se recomienda seguir»), y qué documento CHEERS se referenciaba (página web, documento de la declaración, documento explicativo, la lista de comprobación u otro). Si la revista requiere la declaración CHEERS como condición para el envío de trabajos, se comprobó si era un requisito explícito presentar una lista de comprobación cumplimentada por los/las autores/as. Para contextualizar los resultados, se buscó y extrajo cualquier información o mención a las recomendaciones del International Committee of Medical Journal Editors (ICMJE), la iniciativa EQUATOR (http://www.equator-network.org/) o las guías de publicación más conocidas. Por último, también se buscó la identificación de la entidad editora de las revistas incluidas en el estudio.
Análisis y acceso a los datosSe llevó a cabo un análisis descriptivo mediante recuento de frecuencias y porcentajes (con sus intervalos de confianza del 95% [IC95%]). Todos los cálculos se realizaron utilizando Stata versión 15 (StataCorp LP, College Station, Texas, EE.UU.). Los datos utilizados están disponibles en Open Science Framework (https://osf.io/xsa5r/).
ResultadosSe analizaron las normas de autoría de 28 revistas publicadas por 12 grupos editoriales distintos. En su mayoría, las revistas tenían un factor de impacto situado en el tercer (35,7%; IC95%: 18,6-55,9%; [10/28]) y cuarto (46,4%; IC95%: 24,5-62,8%; [13/28]) cuartiles de su categoría temática.
De las 28 revistas, 23 (82,1%; IC95%: 63,1-93,9%) mencionaban alguna guía en sus normas de autoría (tabla 1). Solo una revista (3,6%; IC95%: 0,1-18,3%; [1/28]) mencionaba alguna guía para estudios de evaluación económica, explícitamente la declaración CHEERS, como requisito en sus normas. Sin embargo, no se requería la presentación de la lista de comprobación CHEERS. Por el contrario, CONSORT (75,0%; IC95%: 55,1-89,3%; [21/28]) resultó ser la guía más mencionada (véase el Apéndice online).
Normas de autoría y mención de recomendaciones de publicación
| Característica | Número (%) |
|---|---|
| Disponibilidad de normas de autoría de la revista | 28 (100) |
| Página web | 6 (21,4) |
| Documento descargable (p. ej., formato PDF) | 7 (25,0) |
| Ambos | 15 (53,6) |
| Mención explícita a la declaración CHEERS | 1 (3,6) |
| Requisito | 1 (3,6) |
| Recomendación | - |
| Dudoso | - |
| Mención explícita a cualquier guía de publicación | 23 (82,1) |
| Requisito | 21 (75,0) |
| Recomendación | 2 (7,1) |
| Dudoso | — |
| Mención explícita a las recomendaciones del ICMJE | 24 (85,7) |
| Página web | 24 (85,7) |
| Otros | — |
| Mención explícita a la iniciativa EQUATOR | 8 (28,6) |
| Página web | 8 (28,6) |
| Otros | — |
CHEERS: Consolidated Health Economic Evaluation Reporting Standards; EQUATOR: Enhancing the QUAlity and Transparency Of health Research; ICMJE: International Committee of Medical Journal Editors.
Veinticuatro revistas (85,7%; IC95%: 67,3-96,0%) mencionaron las recomendaciones del ICMJE en sus normas, y solo ocho (28,6%; IC95%: 13,2-48,7%) mencionaban la iniciativa EQUATOR.
DiscusiónEl apoyo que reciben algunas guías y recomendaciones (como la declaración CONSORT y las recomendaciones del ICMJE) por parte de las revistas analizadas resulta alentador. Sin embargo, esto contrasta con el escaso apoyo que reciben otras guías e iniciativas, pues solo una revista mencionó en sus normas la declaración CHEERS para estudios de evaluación económica.
Con el creciente número de evaluaciones económicas publicadas4,12, la transparencia y la claridad en la presentación de los trabajos son importantes. La declaración CHEERS10 se desarrolló para ayudar a mejorar la calidad de las evaluaciones económicas. Incorporarla a las normas de las principales revistas es un paso imprescindible, pero no suficiente. Es muy probable que normas de autoría ambiguas sean menos efectivas que aquellas que incorporan acciones concretas. En el nivel más básico, la implantación efectiva implicaría pedir a los autores (en el momento del envío) que rellenen la lista de comprobación de la guía (véase un ejemplo en el Apéndice online). Algunos editores pueden percibir este requisito como una barrera para recibir nuevos trabajos, pero no existen datos para apoyar esta percepción.
El presente estudio tiene algunas limitaciones. Solo se incluyó un número reducido de revistas biomédicas españolas (las incluidas en el JCR de 2017), por lo que las estimaciones pueden ser imprecisas (intervalos de confianza amplios) y no totalmente generalizables a otras revistas sin factor de impacto4,12. Por otro lado, no contactamos con los/las editores/as para ampliar la información disponible públicamente en las normas de autoría.
En las situaciones en que por falta de claridad o por ausencia de reporte se omiten aspectos importantes de la investigación, efectuar cualquier valoración sobre la validez de las conclusiones del estudio se ve seriamente dificultado. Las personas editoras, revisoras y autoras deberían apoyar (e implantar) las principales guías de publicación, como la declaración CHEERS, para mejorar la integridad y la transparencia de las evaluaciones económicas (véase una propuesta en la tabla 2). Además, esto podría contribuir a aumentar el valor de la investigación que publican13–15.
La declaración CHEERS, publicada en 2013, es una lista de comprobación con 24 elementos mínimos para presentar de manera transparente y completa la información de los estudios de evaluación económica. Diversas revistas biomédicas internacionales (The BMJ, BMC Medicine, Pharmacoeconomics, International Journal of Technology Assessment in Health Care y Value in Health, entre otras) han incorporado la declaración CHEERS a sus normas de autoría. Hasta la fecha no hay una estimación confiable del apoyo que reciben las guías de estudios de evaluación económica por parte de las revistas biomédicas españolas.
¿Qué añade el estudio realizado a la literatura?En 2018, la mayoría de las revistas analizadas incorpora alguna guía de publicación en sus normas de autoría. Sin embargo, solo un 3% (1/28) incluye alguna guía para estudios de evaluación económica. Las revistas deberían ser más explícitas en sus normas de autoría y apoyar el cumplimiento de estas guías por parte de las personas autoras y revisoras.
Propuesta de texto para incluir en las normas de autoría de las revistas
| [Nombre de la revista] requiere una lista de comprobación completa de la declaración CHEERS como condición para el envío de trabajos que presenten los resultados de un estudio de evaluación económica. La plantilla puede encontrarse en la página web de la red EQUATOR (Enhancing the Quality and Transparency Of health Research), donde se proporciona información exhaustiva sobre guías de publicación: http://www.equator-network.org/. Como mínimo, su artículo deberá presentar el contenido de cada elemento propuesto en la lista de comprobación CHEERS. El cumplimiento de estos requisitos básicos de presentación ayudará a mejorar en gran medida el valor de su estudio, pudiendo facilitar o mejorar el proceso de revisión por pares, y aumentar las posibilidades de publicación final de su artículo. |
David Epstein.
Declaración de transparenciaEl autor principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.
Contribuciones de autoríaF. Catalá-López y M. Ridao diseñaron el estudio y obtuvieron los datos. F. Catalá-López supervisó el estudio y realizó los análisis. F. Catalá-López, M. Ridao, E. Bernal-Delgado, D. Moher y J.R. Repullo participaron en la interpretación de los resultados. F. Catalá-López escribió la primera versión del manuscrito. M. Ridao, E. Bernal-Delgado, D. Moher y J.R. Repullo realizaron comentarios, revisiones críticas a las diferentes versiones del texto y editaron la versión final. Todos los autores han leído y aprobado la versión final.
AgradecimientosA Adolfo Alonso-Arroyo, por su ayuda con las búsquedas de revistas españolas incluidas en Journal Citation Reports.
FinanciaciónM. Ridao y E. Bernal-Delgado han recibido financiación parcial del Instituto de Salud Carlos III, a través de la beca RD16/0001/0007, de la Red de Investigación en Servicios de Salud en Enfermedades Crónicas (REDISSEC). D. Moher ha recibido financiación parcial de la Cátedra de Investigación de la Universidad de Ottawa, Canadá. La Fundación Instituto de Investigación en Servicios de Salud, Valencia, se ha hecho cargo de los gastos de publicación que permiten el acceso abierto a este artículo.
Conflictos de interesesNinguno.
