La rápida incorporación de nuevas tecnologías, el aumento en la demanda de servicios y la ausencia de evidencia científica de calidad, entre otros factores, han llevado a un aumento de la variabilidad en los criterios para la utilización de determinados procedimientos1,2. Esta variabilidad puede provocar una sobreutilización de dichos procedimientos en algunos lugares, así como su infrautilización en otros. Además, el aumento de la frecuencia de determinadas intervenciones y de la incidencia de ciertas dolencias o enfermedades, dan lugar a listas de espera y costes económicos difíciles de gestionar3,4.

Todos estos hechos generan dudas sobre la calidad de la asistencia que se dispensa a los pacientes, y suscitan la necesidad de buscar estrategias y métodos para desarrollar criterios consensuados que ayuden en la toma de decisiones sobre la utilización de determinados procedimientos en la práctica clínica2,5,6. Entre tales estrategias se encuentran los métodos de consenso, que combinan la opinión de expertos junto con la síntesis de la evidencia7. Una de las técnicas más utilizadas es el método RAND/UCLA, desarrollado por la Corporación RAND y la Universidad de California en Los Ángeles, pensado para la evaluación del uso apropiado de las tecnologías médicas8. Este método fue desarrollado en los años ochenta y se ha empleado en diversos países para la evaluación de distintos tipos de procedimientos9,10,11,12,13,14,15.

El método RAND tiene varias fases: revisión crítica de la bibliografía sobre el tema, creación de escenarios comprensibles y mutuamente excluyentes basados en las principales variables que participan en la toma de decisiones, selección de los expertos nacionales (de diversas especialidades si es factible), que formarán parte del panel, y puntuación de los escenarios en dos rondas, una de forma individual y otra presencial, siguiendo un proceso Delphi modificado.

Tanto el RAND como otros métodos de evaluación del uso apropiado pretenden, entre otras cosas, aportar herramientas aplicables en la práctica asistencial. En este contexto surgió hace 5 años la RedIRYSS (Red de Investigación en Resultados y Servicios Sanitarios), compuesta por 9 líneas de investigación, de las cuales una tiene como objetivo principal analizar el uso apropiado de las tecnologías médicas.

Una de las primeras actividades planteadas en esta línea de investigación consistió en realizar una revisión de la bibliografía para conocer otras experiencias de evaluación del uso apropiado con el método RAND, con el fin de obtener información de los tipos de procedimientos evaluados, los resultados obtenidos y las aplicaciones metodológicas. Anteriormente, investigadores de RAND Europe y otros grupos asociados ya habían realizado una revisión de lo publicado hasta junio de 199916, y en esta ocasión se ha completado dicha revisión desde esa fecha hasta diciembre de 2004. Se pretendía identificar los procedimientos estudiados en este período, la metodología empleada y las mejoras introducidas en ella, así como los criterios desarrollados. También se evaluó la aplicabilidad de esta técnica y su relevancia actual para la evaluación de la calidad asistencial.

En el presente artículo se describen los métodos y los resultados de la revisión, que tenía como objetivo identificar y describir las características de las experiencias de evaluación del uso apropiado de la indicación de procedimientos, en las cuales se hubiese empleado el método RAND/UCLA.

Se realizó una revisión de la bibliografía sobre la utilización del método RAND, que incluyó una búsqueda bibliográfica sistemática, una selección de los estudios basada en criterios predefinidos y una descripción de éstos basada en una serie de variables asociadas con el tipo de estudio, el tipo de tecnología y algunos aspectos relacionados con la revista en que se publicaron.

La búsqueda bibliográfica se realizó entre febrero y abril de 2005, consultando las bases de datos OVID-Medline, ISI Web of Knowledge, IME (Índice Médico Español) y Highwire de la Universidad de California. En dicha búsqueda se incluyó cualquier artículo que hubiese sido publicado entre junio de 1999 y diciembre de 2004.

Las palabras clave empleadas fueron «appropriateness», «utilization review» y «physician practice patterns», como texto libre en el título o el resumen, o bien como palabras clave (MeSH Major Topic). Para búsquedas más específicas se acotó con los términos «RAND Appropriateness Method» y «Modified Delphi Technique». Los resultados de la búsqueda se completaron con los proporcionados por el profesor Hermann Stoevelaar, provenientes de bases de datos que se habían ido completando desde que el Grupo RAND Europe iniciara la revisión.

Se incluyeron en la revisión todos los estudios que hubiesen aplicado el método RAND, que versasen sobre la evaluación del uso apropiado de una tecnología, el desarrollo o la validación de un instrumento de medida (método RAND) de la adecuación de una tecnología, o el desarrollo metodológico del método RAND y su aplicación práctica. Se empleó un concepto amplio del término «evaluación» de tecnología, que incluía la valoración de fármacos, procedimientos quirúrgicos, pruebas diagnósticas, dispositivos asistenciales, atención médica en general, servicios sanitarios, etc.

Se excluyeron los estudios en que se aplicasen métodos diferentes del RAND/UCLA, así como aquellos cuya metodología no estuviese suficientemente explicada y pudiera identificarse de forma inequívoca como la que se emplea en el método RAND. Los elementos necesarios para identificar la metodología RAND de uso apropiado incluían la realización de una revisión bibliográfica, la configuración de un panel de expertos y la puntuación de unos escenarios en una o más rondas, empleando un algoritmo similar al del RAND en cuanto a la definición de acuerdo y uso apropiado8.

Para poder decidir qué artículos se incluirían en el informe, sus resúmenes fueron revisados por cuatro personas, por pares, y las discordancias se evaluaron de nuevo conjuntamente y se consensuaron. Cuando el resumen no tenía información suficiente para valorar los criterios de inclusión y exclusión, se accedió al texto completo.

Los artículos seleccionados se clasificaron en 4 grandes clases: a) artículos teóricos y metodológicos; b) estudios en que se hubiese aplicado la metodología RAND para la evaluación de tecnologías o procedimientos concretos; c) comparaciones de estudios que emplearan el método RAND para la evaluación de un mismo procedimiento, y d) estudios sobre nuevas aplicaciones del método RAND más allá de la evaluación de la indicación de uso apropiado, como son la elaboración de indicadores de calidad o la evaluación de los procesos de cuidados. También se recogió información sobre el tipo de procedimiento estudiado, el país de origen de los autores, el año de publicación, el tipo de revista, su factor de impacto y el número de veces que el artículo había sido citado. El tipo de procedimiento fue clasificado en médico, quirúrgico, diagnóstico, elaboración de indicadores de calidad, evaluación de proceso de cuidados, y otros (en esta última categoría se incluían todos los procedimientos que no podían clasificarse en las anteriores). La variable «tipo de revista» fue categorizada teniendo en cuenta el criterio empleado en la base de datos ISI Web of Knowledge, que clasifica las revistas en distintos grupos en función del contenido, y de esa misma base de datos se extrajo el factor de impacto de las revistas.

Los artículos identificados se introdujeron en una base de datos del programa Reference Manager v.1117. Con el fin de obtener datos descriptivos de los artículos incluidos en la revisión, se creó una base de datos en el programa SPSS18.

Como indicadores descriptivos de los datos se calcularon las frecuencias y los porcentajes para las variables cualitativas, y las medias y la desviación estándar (DE) para las cuantitativas. Además, en algunos casos se utilizó la prueba de la χ2 para analizar la homogeneidad de la distribución entre las distintas categorías.

Por último, para determinar la relación entre algunas de las variables cualitativas se utilizó la prueba χ2. En todos los casos se consideró significación estadística un valor de p<0,05.

La revisión bibliográfica aquí presentada se ha centrado en los estudios publicados desde 1999, dado que la Corporación RAND ya había realizado su propia revisión desde que se creó el método, en los años ochenta, hasta mediados de 199916. Se identificaron 5.092 referencias, de las cuales se seleccionaron 205 (4%) que cumplían los criterios de inclusión. En el período anterior, hasta 1999, se habían incluido 211 referencias. En ambos períodos se encontró un número importante de estudios que reflexionan sobre el método o bien lo emplean para desarrollar criterios aplicables en la práctica clínica. Se puede observar que desde que se creó el método hasta el final de la primera revisión se recopiló un número similar de estudios a los incluidos en la siguiente revisión, lo que indica que se trata de un método que se sigue empleando. En la primera revisión, muchos de los artículos se centraron en el estudio del uso apropiado de procedimientos cardiovasculares, mientras que en la que aquí se presenta parece haber una mayor dispersión en el tipo de procedimiento. El listado completo de las referencias incluidas en la presente revisión, así como un informe más extenso, pueden solicitarse a los autores del artículo.

Los artículos se clasificaron según su contenido. Así, 47 de los estudios trataban aspectos teóricos y metodológicos del RAND, 100 aplicaban criterios de uso adecuado en la evaluación de tecnologías o procedimientos, 16 llevaban a cabo una comparación de los resultados obtenidos por distintos paneles en un mismo procedimiento, y los 42 restantes fueron clasificados como «nuevas aplicaciones del método», como la elaboración de indicadores de calidad19,20 y la evaluación de los procesos de cuidados21,22.

Los procedimientos medicoquirúrgicos constituyeron el objeto de análisis de más de la mitad de los artículos (56,1%), mientras que en el otro extremo nos encontramos con un 2,4% de estudios centrados en la evaluación de los procesos de cuidados. Además, el 10,7% de las referencias no pudieron clasificarse dentro de los grupos establecidos, por tratarse de discusiones metodológicas sobre el RAND o por no centrarse en un único procedimiento (tabla 1, tabla 2). Se encontraron diferencias estadísticamente significativas entre el tipo de procedimiento y el tipo de estudio, que se explicaban porque el 81% de los estudios clasificados como «nuevas aplicaciones» analizaban procedimientos médicos y de creación de indicadores de calidad, y porque más del 60% de los que comparaban criterios desarrollados por distintos paneles estaban centrados en procedimientos quirúrgicos (tabla 3).

Tabla 1. Procedimientos estudiados en los artículos

Tabla 2. Procedimientos evaluados en cada categoría de la variable «tipo de procedimiento»

Tabla 3. Resultados del análisis del tipo de procedimiento según el tipo de estudio

También se analizaron las diferencias entre el tipo de procedimiento y la clase de revista en que había sido publicado el estudio. Se encontraron diferencias determinadas por el hecho de que la mayoría de los estudios centrados en procedimientos quirúrgicos se publicaron en revistas de salud pública y servicios de salud, y los centrados en diagnósticos aparecían en revistas relacionadas con la gastroenterología, pues los procedimientos diagnósticos más estudiados con el método RAND durante este período fueron la gastroscopia y la colonoscopia (tabla 4). El hecho de que la mayoría de los estudios sobre procedimientos quirúrgicos se hubieran publicado en revistas de salud pública y servicios de salud podría estar motivado por la relación entre el desarrollo de criterios de uso apropiado y la evaluación de la calidad asistencial, así como por la menor disposición de revistas de especialidades médicas para publicar artículos sobre el desarrollo de criterios explícitos, como los del RAND.

Tabla 4. Diferencias en el tipo de procedimiento según el tipo de revista

a Se han agrupado las categorías «calidad» y «proceso de cuidados», dado que tratan temas similares y tienen pocas referencias.

Estados Unidos, país donde se desarrolló el método, ya presentaba un gran volumen de estudios en los que se empleaba el RAND23,24,25, y continúa siendo el lugar que más producción científica tiene, con 92 referencias identificadas (tabla 5). Sin embargo, Europa ha ido adquiriendo importancia en el empleo de este método. Así, el Reino Unido26,27, Suiza28,29, España30,31, los Países Bajos32,33 e Italia34,35 engloban casi el 50% de las referencias incluidas en la presente revisión, lo que indica que la línea de investigación sobre el uso apropiado de este método se va consolidando en Europa. Por tanto, en el período comprendido entre los años 1999 y 2004 no hay diferencias entre Estados Unidos y Europa en cuanto al volumen de estudios publicados en los cuales se haya empleado el método RAND.

Tabla 5. Datos generales de los artículos

En el caso concreto de España, 18 (8,8%) de los artículos incluidos en la revisión habían sido redactados por autores españoles, y la mayoría (77,8%) trataba sobre el uso apropiado de procedimientos quirúrgicos. El 78% de los estudios de autores españoles se publicó entre los años 2000 y 2002. Más del 60% apareció en revistas del ámbito de la salud pública y los servicios de salud, y el 77% se publicó en revistas internacionales. Por último, el factor de impacto de las revistas en que aparecieron estos artículos oscilaba entre 0 y 4,102, con una media de 1,322 y una mediana de 1,05.

Respecto al número de artículos por año de publicación, 52 de las referencias aparecieron en el año 1999, mientras que las demás se distribuyeron de forma homogénea en el resto de los años (tabla 5). No se hallaron diferencias estadísticamente significativas en cuanto al tipo de procedimiento estudiado en función del año de publicación. Estos datos reflejan la actualidad del método, puesto que se sigue empleando en la evaluación de distintos tipos de procedimientos.

Más de la mitad de los artículos se publicaron en revistas del ámbito de la salud pública y los servicios de salud (27,3%), medicina general (18%), y gastroenterología y hepatología (12,2%). El resto de las referencias aparecieron en revistas de otro tipo de especialidades médicas, de cirugía o en formatos distintos al artículo científico, como informes o monografías36,37,38. Las revistas en que más artículos se publicaron fueron Endoscopy, Medical Care y Quality & Safety in Health Care. Su factor de impacto oscilaba entre 0 y 38,75, con una media de 4,07 y una mediana de 2,21. Una vez categorizada esta variable, en un extremo se encontraron 45 artículos de revistas que no tenían factor de impacto, mientras que en el extremo opuesto se identificaron 76 (12,2%) cuyo factor de impacto se situó por encima de 7 (tabla 6).

Tabla 6. Datos de las revistas en que se han publicado los artículos

Se revisaron también las veces que cada artículo había sido citado por otros autores. El número de citas oscilaba entre 0 y 377, con una media (DE) de 14,25 (34,71).

La revisión bibliográfica aquí descrita presenta algunas limitaciones que hay que tener en cuenta al interpretar sus resultados. En primer lugar, es posible que haya un sesgo en la identificación de las referencias, pues aunque se han consultado las bases de datos más empleadas en medicina, algunos estudios no se publican en revistas indexadas en estas bases. Sin embargo, se ha tratado de completar la búsqueda comparando los resultados de nuestra revisión con la realizada en los últimos años por el grupo RAND Europe.

Algunos autores estiman que la carga de trabajo que supone para los panelistas es excesiva, no está clara la unión entre la evidencia científica y las puntuaciones de los panelistas, la composición de los paneles puede condicionar los resultados de las puntuaciones, y se trata de un método que presenta dificultades cuando se consideran múltiples tratamientos posibles para una misma enfermedad1. Kahan y Van het Loo1 llevaron a cabo una acción concertada a escala europea para diseminar el método, con la cual trataron de minimizar estas dificultades.

Además, hay dudas acerca de la validez y la fiabilidad del método39,40,41,42. Algunos estudios han analizado estos problemas43,44, tratando de buscar soluciones. Así, Shekelle et al45 afirman que, si bien es cierto que el método podría mejorarse en varios aspectos, el resto de las técnicas de consenso no son mejores46. Los mismos investigadores que desarrollaron el método han publicado una serie de recomendaciones para mejorarlo y lograr que sea más aplicable en la práctica clínica y la gestión de los servicios sanitarios47.

El método RAND, como técnica que combina la evidencia científica disponible y la opinión de expertos, se sigue utilizando ampliamente, a juzgar por el número de estudios publicados en los últimos 5 años. Tradicionalmente se ha empleado en la evaluación del uso apropiado de procedimientos médicos10,15,48, quirúrgicos6,30,34,49,50 y diagnósticos14,51,52,53. Sin embargo, en los últimos años se han realizado estudios que utilizan el RAND con otros objetivos, como la elaboración de indicadores de calidad38,39 o la evaluación de los procesos de cuidados40,41.

El desarrollo de criterios explícitos para la toma de decisiones aplicadas a los procedimientos medicoquirúrgicos es el área más estudiada con este método, aunque las nuevas aplicaciones mencionadas van cobrando mayor importancia en los estudios incluidos en la revisión. En cuanto a los procedimientos diagnósticos, los artículos identificados tratan los que tienen relación con la gastroenterología, analizando el uso apropiado de ciertas técnicas, como la endoscopia y la gastroscopia, pero se han encontrado estudios sobre otros tipos de procedimientos diagnósticos, lo que señala una probable área de desarrollo para los estudios de uso adecuado. La mayor frecuencia de artículos sobre procedimientos médicos, quirúrgicos y diagnósticos está relacionada con el tipo de revistas en que se han publicado, sobre todo en las de medicina general, gastroenterología y hepatología, y de salud pública y servicios de salud.

Las perspectivas de uso del método RAND vendrán condicionadas en parte por la confianza en él de los profesionales, y por las mejoras que se vayan haciendo para superar sus limitaciones. Los criterios explícitos de uso apropiado creados con el método RAND tienen en su aplicabilidad uno de sus grandes potenciales, dado que pueden emplearse para las revisiones sobre la utilización de un determinado procedimiento, como base para la elaboración de guías de práctica clínica y apoyo a la toma de decisiones por parte de los clínicos, los gestores y los proveedores sanitarios. En cualquier caso, se trata de herramientas que han de someterse a continuas revisiones con el fin de mejorarlas, e incluso se deben investigar nuevas aplicaciones, de manera que sea posible obtener resultados cada vez más válidos y fiables.

Agradecimientos

Los autores desean agradecer a Hermann Stoevelaar, del Grupo RAND Europe, su colaboración en la presente revisión al aportar referencias a las cuales nos habría sido imposible acceder. Asimismo, es de agradecer el trabajo realizado por las personas participantes en la Línea 2.2 de Uso Apropiado de la Red IRYSS, tanto en las revisiones bibliográficas como en el resto de las actividades llevadas a cabo, que además de los autores del artículo han sido las siguientes: Eduardo Aguayo, Elena Andradas, Marisa Baré, José M. Beguiristain, Juan Antonio Blasco, Belén Elizalde, Antonio Escobar, Susana García, Gemma Navarro, Emilio Perea y Jesús Martínez Tapias.

Financiación

La revisión bibliográfica cuyos resultados se presentan en este artículo se realizó dentro de un estudio más amplio, que fue financiado por la Subdirección General de Redes del Fondo de Investigación Sanitaria (G03/202).

Recibido 27 Diciembre 2006

Aceptado 5 Junio 2007

Autor para correspondencia. nerea.gonzalezhernandez@osakidetza.net