La evaluación de políticas públicas se entiende como el proceso de observación, medida, análisis e interpretación, orientado al conocimiento del funcionamiento de una determinada intervención pública, con el objeto de alcanzar un juicio valorativo sobre su utilidad social1.

Las políticas públicas intentan resolver problemas sociales buscando la satisfacción de los destinatarios de dichas políticas. Para ello, los decisores públicos impulsan actuaciones que suelen tomar la forma de planes (suma de programas con objetivos comunes), programas (orden de las actividades) o proyectos (actividades para lograr unos objetivos). A la hora de llevar a la práctica estos planes, programas y proyectos, se cuenta con instrumentos políticos (programa presentado por una determinada administración), jurídicos (normativa que regula una política pública concreta), económicos (cuando las políticas públicas se articulan mediante un presupuesto), y sociales y culturales (medidas que afectan a los hábitos sociales de la población). Toda política pretende incidir en la sociedad actuando sobre las necesidades y los problemas detectados, con el fin de provocar un efecto o cambio en esa realidad.

El propósito de la evaluación es analizar las distintas etapas, desde que se decide intervenir hasta que se manifiestan los impactos, comprobando la validez, tanto interna como externa, de las hipótesis que justifican la intervención. La evaluación de políticas públicas requiere evidencias respecto a su diseño, puesta en práctica, efectos, resultados e impactos2. La evaluación es una actividad específica y con identidad propia, claramente diferenciada de otras como el control interno, la auditoría financiera, la auditoría de gestión o el control presupuestario, pero con las cuales mantiene una estrecha relación de complementariedad. El objetivo último de la evaluación de políticas es obtener información para tomar decisiones. En general, la evaluación puede servir para determinar el grado de consecución de los objetivos propuestos, mejorar la implementación de las políticas, rendir cuentas ante la ciudadanía, aumentar el apoyo comunitario y contribuir a la base científica de las políticas3.

Dentro de lo que se consideran políticas públicas, las políticas de salud ocupan un lugar muy destacado4, bien sea por su relación directa con el bienestar de la sociedad, por sus características políticas y sociales, o por el importante peso que impone el sector sanitario a la actividad económica de los países. En España, el gasto sanitario público alcanzaba el 6,1% del producto interior bruto (PIB) en el año 2007 (último año disponible en OECD Health Data 2009).

La evolución del gasto sanitario y su financiación se han convertido en los últimos años en uno de los ejes principales del debate político. En momentos en que los cambios demográficos y socioeconómicos están afectando a las bases de la sostenibilidad financiera del estado del bienestar, el control del gasto y, por tanto, la perspectiva económica de cualquier política de salud, resultan imprescindibles5.

Desde una perspectiva económica, las políticas de salud han de pretender que la producción de salud no sea más costosa de lo necesario, que la salud que se produzca no se valore menos de lo que cuesta, y finalmente, conseguir la perfecta traducción de los planes de salud en políticas gubernamentales y planes de servicios6. Traducir objetivos de salud en servicios sanitarios constituye una tarea difícil, pero importante si no quiere perderse de vista la principal razón de ser de los servicios sanitarios. Sin embargo, tal como veremos en algunos de los ejemplos utilizados en este artículo, resultan muy frecuentes la vulneración o el olvido de alguna o incluso de todas estas cuestiones.

Analicemos el caso de la inclusión de la vacuna del virus del papiloma humano (VPH) en el calendario del sistema nacional de salud. En relación a su coste, la disponibilidad de una nueva vacuna siempre plantea una situación comprometida a los que deciden las políticas de vacunación, debido principalmente a la falta de datos para conseguir que las incertidumbres sean pocas y poco importantes. A partir del último trimestre de 2008, la vacuna del VPH se incluyó en el calendario español, y por tanto con cargo al sistema sanitario público. Esta decisión se ha tomado a pesar del alto precio de las dosis y de las dudas sobre su posible efectividad para prevenir la mortalidad por cáncer de cérvix, en comparación con las actuales prácticas preventivas7. Si desconocemos el impacto sobre la reducción de la carga de enfermedad, resulta imposible cuantificar la eficiencia relativa de dicha actuación sanitaria, y no podemos evitar que la producción de salud pueda ser más costosa de lo necesario.

Otra cuestión clave es la valoración de los resultados de la política. Una valoración de los beneficios en términos de salud por debajo del coste de las políticas para conseguirlos conlleva un despilfarro de recursos8. Hablamos, por ejemplo, del encarnizamiento u obstinación terapéutica en enfermos terminales. El consumo de servicios sanitarios resulta excesivo si los servicios sanitarios no son efectivos (sin efectividad no hay eficiencia), si son efectivos pero cuestan más de lo necesario, o si se valoran, en términos de utilidad, menos de lo que cuestan.

La respuesta respecto a qué acción acometer, además de valorar el consumo de recursos, debe contemplar los conflictos entre equidad y eficiencia que el establecimiento de cualquier política comporta. La Ley General de Sanidad española (Ley 14/1986) tiene como uno de sus más importantes principios la equidad: «el acceso y las prestaciones sanitarias se realizarán en condiciones de igualdad efectiva». Desde este punto de vista, la equidad se conseguiría igualando el acceso entre aquellos con igual necesidad sanitaria o facilitando un mayor acceso a aquellos con mayor necesidad sanitaria. El nuevo programa de salud bucodental infantil de 2008 se inscribe dentro del conjunto de actuaciones del Ministerio de Sanidad para impulsar la igualdad y garantizar la equidad en el acceso de todos los ciudadanos a las prestaciones sanitarias. Sin embargo, la evidencia de eficacia y efectividad actual de este programa está muy por debajo de lo que sería deseable, y esto tiene muchas implicaciones (en la investigación, en los mercados, en la regulación, en el coste de los conciertos con dentistas privados, etc.). Teniendo en cuenta que el gasto creciente en los servicios de atención bucodental tradicionales tiene apenas un efecto marginal en el estado de salud de la población infantil9, tenemos un ejemplo claro de cómo el conflicto entre equidad y eficiencia no debe olvidarse en la evaluación de políticas públicas.

En la literatura hay numerosas definiciones y clasificaciones de la evaluación de políticas públicas en general, y de políticas de salud en particular. Hay diferentes clasificaciones: según la perspectiva, la finalidad y el nivel de evaluación10–12. La tabla 1, adaptada de Nebot et al13, resume los distintos tipos de evaluación, así como los objetivos que se persiguen.

Los diseños evaluativos se suelen clasificar en tres grupos principales11: 1) los diseños experimentales, con asignación aleatoria de los individuos al grupo de intervención o al grupo control (grupos equivalentes); 2) los diseños cuasiexperimentales, que incluyen los ensayos comunitarios, los diseños pretest-postest con grupo control no equivalente y las series temporales múltiples, y 3) los diseños no experimentales, que incluyen las series temporales y los diseños pretest-postest sin grupo control.

Sin embargo, el gran handicap de la evaluación de políticas públicas es que en muchos casos no es posible utilizar diseños experimentales, con lo cual la validez interna de los estudios se ve amenazada14. Las principales limitaciones en los diseños evaluativos pueden deberse a la falta de un grupo control equivalente, a la complejidad de la política y a las limitaciones de los indicadores de medida de los efectos. A pesar de sus limitaciones, el diseño cuasiexperimental es muy común en la evaluación de intervenciones en salud pública, ya que en muchas ocasiones es el único posible. Un ejemplo interesante en este caso sería la evaluación de las leyes y normativas de regulación del tabaquismo15,16.

En particular, las limitaciones en los indicadores finales están relacionadas con la dificultad de observar o de definir de forma operativa los resultados, ya que éstos son múltiples o sólo visibles a largo plazo. En ocasiones es habitual que se utilicen los resultados a corto plazo por razones de inmediatez y visibilidad social, quedando la evaluación definitiva, basada en resultados a largo plazo, postergada u olvidada. Un ejemplo reciente lo tenemos en la política de actuación frente a la pandemia de la gripe A (H1N1) por parte de los gobiernos de muchos países. Como medida preventiva se optó por una política sanitaria defensiva, cortoplacista, favorecida por la fuerte presión que impusieron las campañas de opinión pública. España adquirió 37 millones de dosis de vacunas, si bien, gracias a una cláusula firmada con los laboratorios fabricantes, posteriormente el Ministerio ha podido deshacerse de 24 millones de dosis que resultaron innecesarias. La evaluación de políticas públicas a corto plazo puede dejar de lado máximas como la seguridad, la evidencia científica o el coste-oportunidad.

Merece una mención especial la utilización de indicadores cuando se realizan evaluaciones de proceso y de impacto. En estos casos, las evaluaciones se realizan mediante la definición de indicadores que hacen referencia a las características operacionales de la política y a la consecución de los objetivos establecidos. Sin embargo, hay varias limitaciones. La primera sería la importancia de la definición de los indicadores, ya que según como se definan pueden reflejar valores o puntos de vista particulares. En segundo lugar, se puede pasar por alto el valor de los objetivos en sí mismos, y el hecho de no tener en cuenta el contexto en que se hace la evaluación. Otra limitación podría ser la falta de un componente realmente evaluativo, y el hecho de promover una aproximación burocrática, miope e inflexible a la evaluación. Un caso parecido son las políticas de pago por calidad, con limitaciones muy parecidas en el uso de indicadores17. Lamentablemente, la evaluación de proceso se hace mucho menos de lo que se pretende creer. En la realidad, muchas evaluaciones quedan en valoraciones de productos finales o outputs, sin llegar a evaluar los mecanismos de funcionamiento de las políticas desarrolladas.

Antes de que una administración decida aumentar el gasto en una nueva política debería evaluar cómo se está gastando el dinero en la actualidad. Si pensamos en igualar el porcentaje de PIB que, por ejemplo, el Reino Unido dedica a su sistema nacional de salud, sería mejor preguntarnos antes por qué no logramos mayores grados de eficiencia con el gasto actual. En presencia de una productividad marginal decreciente, variable según el tipo de servicios sanitarios y en muchas ocasiones desconocida, evaluar previamente qué políticas sanitarias acometer resulta una cuestión primordial. En algunas políticas habrá que gastar más dinero público y en otras también privado, pero en muchas se podría ahorrar dinero, público y privado, si se revisaran los objetivos que se persiguen, el diseño de las instituciones que van a administrar el gasto y las normas reguladoras.

En España, la mayoría de los planes de salud no encuentran su traducción en planes de servicios. Si no traducimos los objetivos sobre indicadores de salud y factores de riesgo al lenguaje de los proveedores sanitarios, los planes de salud se quedan en buenas intenciones. Ésta es su dificultad mayor y la que explica que el crecimiento de la organización sanitaria, con financiación fundamentalmente pública, haya comportado el desarrollo de una compleja oferta de servicios que, a pesar de poderlos considerar como instrumentos para alcanzar objetivos de salud, parecen gozar de notable autonomía respecto a sus consecuencias sanitarias6.

La orientación futura de las políticas de salud deberá cambiar porque el cambio demográfico y socioeconómico hará variar igualmente las bases de la sostenibilidad financiera del estado del bienestar5. Además de la correcta definición del marco de actuación y la política a realizar, es imprescindible llevar a cabo una evaluación posterior a su puesta en marcha, porque la evaluación ex post rigurosa constituye un elemento fundamental de disciplina del gasto y de transparencia, y una guía de gran valor para mejorar el diseño de las políticas públicas. En la actualidad, la noción más extendida de la evaluación de impacto precisa de la obtención de evidencia contrafáctica acerca de qué habría ocurrido si el programa no se hubiera implantado. A su vez, para que esta evidencia contrafactual sea válida, se requiere aislar los efectos del medio social para poder identificar con precisión los efectos de las intervenciones26.

En España, nuevas agencias e instituciones incluyen la evaluación de políticas públicas entre sus actividades. Recientemente se ha creado la Agencia de Evaluación y Calidad (AEVAL), dependiente del Ministerio de la Presidencia; en el ámbito autonómico, en Cataluña se ha creado el Instituto Catalán de Evaluación de Políticas públicas (IVALUA). La aparición de organismos de evaluación territoriales resulta muy interesante porque el estado de las autonomías posibilita la puesta en marcha de distintas políticas públicas en diferentes territorios, lo cual facilita la realización de ensayos naturales. No obstante, aún es pronto para valorar el impacto y el protagonismo de estas nuevas agencias.

Aunque la autoevaluación gubernamental resulta crucial para que las instituciones se impliquen en el proceso, en ocasiones puede ser conveniente contar con la colaboración de evaluadores externos en algunas de las fases del proyecto o política a desarrollar, como pueden ser el diseño y la validación. La independencia y la cualificación de los evaluadores externos resulta vital para asegurar la credibilidad de los resultados. Hay que evitar, por tanto, contratar a participantes en el propio programa o a beneficiarios de él. En ocasiones esta colaboración, bien de equipos universitarios, bien de consultores privados, se realiza por parte de “amigos” del programa, con lo cual los resultados resultan sesgados y carentes de validez.

Las administraciones públicas pueden hacer sus evaluaciones ellas mismas, contratarlas a agentes externos o limitarse a proporcionar la información para que los investigadores las lleven a cabo. Haría falta que se recogiera, en las encuestas que periódicamente se llevan a cabo (Encuesta de Población Activa, Encuesta Nacional de Salud, etc.), información sobre la participación de los ciudadanos en los programas públicos, así como otorgar el derecho de acceso a estas bases de datos. España ha avanzado mucho en los últimos años y actualmente es posible acceder a los microdatos de muchas encuestas en los portales web de las administraciones públicas.

Es necesario tener en cuenta los resultados de los estudios de evaluación económica. La insistencia sobre que en España hacen falta más estudios de evaluación económica para empezar a tomar decisiones teniendo en cuenta criterios de eficiencia, parece una excusa para evitar abordar decididamente cuál es el problema. La producción de la comunidad científica española no es nada desdeñable, y cada vez tiene mayor calidad y reflejo en las revistas internacionales27,28, aunque con algunas lagunas, principalmente en lo que respecta a las intervenciones de salud pública29. Esta producción viene reforzada con una guía para la evaluación económica aplicada a las tecnologías sanitarias realizada recientemente por encargo del Ministerio de Sanidad30. También la Asociación de Economía de la Salud se ha posicionado sobre el uso de los resultados de los estudios de evaluación económica, proponiendo una agenda de trabajo específica31. La experiencia de Reino Unido con el NICE puede servir como ejemplo de su factibilidad y compromiso político.

Para mejorar la investigación sobre políticas de salud se debe buscar una formación más sólida y rigurosa de profesionales, decisores y estudiantes en la lógica de los diseños. Las futuras políticas públicas tendrán diseños más complejos, buscando controlar la influencia de múltiples variables externas, lo cual hará más difícil recopilar la información necesaria para su análisis. La evaluación debe considerar los efectos del tiempo y, en la medida de lo posible, basarse en estudios longitudinales. Las buenas intervenciones sociales son las que pueden demostrar efectos duraderos en el tiempo, no aquellas en que los sujetos, una vez abandonan el programa, pierden lo que ganaron con su permanencia32.

Al igual que en otros muchos países, en España hay una necesidad imperiosa de resultados de evaluaciones de políticas públicas. Una mejor política de salud precisa una mejor política a secas: rendición de cuentas y libre expresión, estabilidad política y ausencia de violencia (muchas leyes se utilizan para enfrentar a partidos políticos), y efectividad gubernamental. Una sociedad moderna y democrática debe exigir a los políticos y a las administraciones que rindan cuentas, lo que impone un proceso transparente de toma de decisiones en relación a la asignación de recursos públicos.

Ambos autores han contribuido por igual al diseño y la redacción del manuscrito.

Ninguna.

Los autores declaran no tener ningún conflicto de interés.