Journal Information
Vol. 20. Issue 5.
Pages 368-373 (September - October 2006)
Vol. 20. Issue 5.
Pages 368-373 (September - October 2006)
Originales
Open Access
Evaluation of the research methodology in genetic, molecular and proteomic tests
Valoración de la metodología de la investigación en pruebas de genética, molecular y proteómica
Visits
1036
Blanca Lumbreras
Corresponding author
blumbreras@umh.es

Correspondence: Dra. Blanca Lumbreras. Departamento de Salud Pública, Historia de la Ciencia y Ginecología. Campus de San Juan. Facultad de Medicina. Universidad Miguel Hernández. Ctra. de Valencia, km 8,7. 03550 San Juan de Alicante. España.
, Inmaculada Jarrín, Ildefonso Hernández Aguado
Department of Public Health, History of Science and Gynaecology. Universidad Miguel Hernández, Alicante, Spain
This item has received

Under a Creative Commons license
Article information
Abstract
Introduction

Advances in genomic analysis technologies have led to the development of new diagnostic tests with clinical application.Therefore, as in other diagnostic fields, awareness of the methodological limitations of genetic investigation will facilitate the application of the results.

Methods

44 articles which studied the diagnostic accuracy of genetic, molecular and proteomic tests, and published in JAMA, Lancet, New England Journal of Medicine, Cancer Research y Clinical Cancer Research from 2002 to June 2005 were analysed. 24 methodological criteria of the STARD guide (Standards for Reporting of Diagnostic Accuracy) were applied.

Results

The mean number of methodological criteria satisfied was 9.8 (95%, CI 8.8-10.6), with the greatest deficiencies observed in the aspects related to the description of patient selection, 9 (20%), the treatment of indeterminate results, 5 (11%), and the determination of the technique's reproducibility, 6 (13%). In contrast, a high frequency was observed in the description of the reference standard, 39 (87%), and the method used, 28 (62%).

Discussion

The articles evaluated fail to fulfil many of the quality requirements laid out in the STARD proposal, with the methodological quality being lower than in other diagnostic fields. The aspects most in need of improvement are those related to the description of patient selection and the determination of reproducibility. Research and progress in new genetic-molecular technologies require improved fulfilment of the epidemiological and clinical standards which are already applied by other diagnostic fields.

Key words:
Genetic tests
Methodology
Sensitivity and specificity
Resumen
Introducción

El avance en las tecnologías del análisis genómico ha supuesto el desarrollo de nuevas pruebas diagnósticas con potencial aplicación clínica. Así como ha sucedido en otros campos del diagnóstico, conocer las limitaciones metodológicas de la investigación en genética facilitará la aplicación de sus resultados.

Métodos

Se analizaron 44 artículos publicados en JAMA, Lancet, New England Journal of Medicine, Cancer Research y Clinical Cancer Research, de 2002 a junio de 2005, que estudiaban la exactitud diagnóstica de pruebas genéticas, moleculares y de proteómica. Se aplicaron 24 criterios metodológicos de la guía STARD (Standards for Reporting of Diagnostic Accuracy).

Resultados

La media de cumplimiento de los criterios aplicados fue de 9,8 (intervalo de confianza [IC] del 95%, 8,8-10,6), y las mayores deficiencias se observaron en los aspectos relacionados con la descripción de la selección de los pacientes (9; 20%), el tratamiento de los resultados indeterminados (5;11%) y la determinación de la reproducibilidad de la técnica (6; 13%). En cambio, sí se observó una alta frecuencia en la descripción del patrón de referencia (39; 87%) y del método usado (28; 62%).

Discusión

Los artículos evaluados incumplen gran parte de los requisitos de calidad recogidos en la propuesta STARD, observándose una peor calidad metodológica que en otros campos diagnósticos. Los aspectos que más necesitan mejorar son los relacionados con la descripción de la selección de los pacientes y la determinación de la reproducibilidad. La investigación y el avance en nuevas tecnologías genético-moleculares requieren un mejor cumplimiento de los estándares epidemiológicos y clínicos que ya se aplican a otros campos diagnósticos.

Palabras clave:
Pruebas genéticas
Metodología
Sensibilidad y especificidad
Full text is only aviable in PDF
Bibliografía
[1.]
M.K. Schwartz.
Genetic testing and the clinical laboratory improvement amendments of 1988: present and future.
Clin Chem, 45 (1999), pp. 739-745
[2.]
M.K. Higashi, D.L. Veenstra.
Managed care in the genomics era: assessing the cost effectiveness of genetic tests.
Am J Manag Care, 9 (2003), pp. 493-500
[3.]
A. Milunsky.
Commercialization of clinical genetic laboratory services: in whose best interest?.
Obstet Gynecol, 81 (1993), pp. 627-629
[4.]
B.R. Korf.
Advances in molecular diagnosis.
Curr Opin Obstet Gynecol, 8 (1996), pp. 130-134
[5.]
J. Rueda, E. Briones.
Servicios de diagnóstico genético para las enfermedades hereditarias en España. EUR 20516 EN.
Institute for Prospective Technological Studies, (2002),
[6.]
Márquez S, Briones E. Marco para la evaluación de las pruebas genéticas en el Sistema Sanitario Público de Andalucía. Informe 2/2005.
[7.]
M.C. Reid, M.S. Lachs, A.R. Feinstein.
Use of methodological standards in diagnostic test research. Getting better but still not good.
JAMA, 274 (1995), pp. 645-651
[8.]
J.G. Lijmer, B.W. Mol, S. Heisterkamp, G.J. Bonsel, M.H. Prins, J.H. Van der Meulen, et al.
Empirical evidence of design-related bias in studies of diagnostic tests.
JAMA, 282 (1999), pp. 1061-1066
[9.]
J.M. Ramos Rincón, I. Hernández Aguado.
Investigación en pruebas diagnósticas en Medicina Clínica. Una evaluación de la metodología.
Med Clin (Barc), 111 (1998), pp. 129-134
[10.]
J.M. Ramos, I. Hernández.
Métodos para evaluar pruebas diagnósticas en enfermedades infecciosas y microbiología clínica.
Enferm Infecc Microbiol Clin, 16 (1998), pp. 179-184
[11.]
B. Lumbreras-Lacarra, J.M. Ramos-Rincón, I. Hernández-Aguado.
Methodology in diagnostic laboratory test research in clinical chemistry and clinical chemistry and laboratory medicine.
Clin Chem, 50 (2004), pp. 530-536
[12.]
B. Lumbreras Lacarra, J.M. Ramos Rincón, I. Hernández Aguado.
Evaluación de la investigación metodológica en pruebas diagnósticas de laboratorio en Revista Clínica Española y Medicina Clínica.
Rev Clin Esp, 204 (2004), pp. 472-476
[13.]
S.T. Bogardus Jr, J. Concato, A.R. Feinstein.
Clinical epidemiological quality in molecular genetic research: the need for methodological standards.
JAMA, 281 (1999), pp. 1919-1926
[14.]
P.M. Bossuyt, J.B. Reitsma, D.E. Bruns, C.A. Gatsonis, P.P. Glasziou, L.M. Irwig, et al.
Standards for Reporting of Diagnostic Accuracy. Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative. Standards for Reporting of Diagnostic Accuracy.
Clin Chem, 49 (2003), pp. 1-6
[15.]
J. Little, L. Bradley, M.S. Bray, M. Clyne, J. Dorman, D.L. Ellsworth, et al.
Reporting, appraising, and integrating data on genotype prevalence and gene-disease associations.
Am J Epidemiol, 156 (2002), pp. 300-310
[16.]
W.L. Deville, P.D. Bezemer, L.M. Bouter.
Publications on diagnostic test evaluation in family medicine journals: an optimal search strategy.
J Clin Epidemiol, 53 (2000), pp. 65-69
[17.]
D. Rennie.
Improving reports of studies of diagnostic tests: the STARD initiative.
JAMA, 289 (2003), pp. 89-90
[18.]
P.M. Bossuyt, J.B. Reitsma.
Standards for Reporting of Diagnostic Accuracy. The STARD initiative.
Lancet, 361 (2003), pp. 71
[19.]
D.F. Ransohoff.
Rules of evidence for cancer molecular-marker discovery and validation.
Nat Rev Cancer, 4 (2004), pp. 309-314
[20.]
D.F. Ransohoff.
Lessons from controversy: ovarian cancer screening and serum proteomics.
J Natl Cancer Ins.t, 97 (2005), pp. 315-319
[21.]
W. Burke.
Genetic testing.
N Engl J Med, 347 (2002), pp. 1867-1875
[22.]
M. Porta, E. Fernández, J. Alguacil.
Semiology, proteomics and the early detection of symptomatic cancer.
J Clin Epidemiol, 56 (2003), pp. 815-819
Copyright © 2006. Sociedad Española de Salud Pública y Administración Sanitaria
Download PDF
Idiomas
Gaceta Sanitaria
Article options
Tools
es en

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?