Describir los resultados de la aplicación del European Quality Instrument for Health Promotion (EQUIHP) en el Programa MIH salud y la percepción de su utilidad por el equipo ejecutor de este.
MétodoEstudio de evaluación aplicando EQUIHP a un programa de promoción de la salud. Autocumplimentación de EQUIHP por ocho mujeres y dos hombres del equipo MIH salud, y realización de dos entrevistas grupales con este equipo sobre la percepción de su utilidad.
ResultadosEl programa ha obtenido una puntuación global de calidad de 6,5 sobre 10. EQUIPH ha permitido identificar los aspectos más débiles dentro del programa, como la falta de un plan de comunicación y las propias evaluabilidad y sostenibilidad; y los más fuertes, como la inclusión de principios de promoción de la salud. Se considera que EQUIPH es un instrumento útil que facilita una valoración exhaustiva de los componentes de un programa desde la práctica profesional de la promoción de salud.
ConclusiónLa aplicación de EQUIHP ha permitido evaluar la calidad del programa y formular recomendaciones para su mejora. Asimismo, es aplicable a otros programas e intervenciones.
To describe the results of applying the European Quality Instrument for Health Promotion (EQUIHP) tool in the MIHsalud programme and to discuss its perceived utility by the programme's team members.
MethodEvaluation study applying EQUIHP to a health promotion programme. A total of ten MIHsalud staff (eight women and two men) completed the EQUIHP and participated in two group interviews to discuss its perceived utility.
ResultsThe programme obtained a total score of 6.5 points out of 10 in quality. The use of EQUIHP enabled the programme's weaknesses to be identified, such as lack of a communication plan, evaluability and sustainability; as well as its strengths, such as the inclusion of health promotion principles. The MIHsalud team believes that the EQUIHP is a useful tool which can facilitate a comprehensive evaluation of the programme in terms of a health promotion initiative.
ConclusionThe use of the EQUIHP has made it possible to evaluate the quality of the programme and to make recommendations for its improvement, and it could be applied to other programmes and activities.
La promoción de la salud es el proceso que permite a las personas incrementar el control sobre los determinantes de la salud para poder mejorarla1. La evaluación de este «proceso», del grado de «control» de la población sobre estos determinantes y la constatación de la «mejora» de la salud como resultado de una intervención, es necesaria y compleja y requiere métodos mixtos y enfoques integrales2. Ante la dificultad de disponer de resultados a corto plazo, en promoción de la salud cobra especial relevancia la evaluación de la calidad de la intervención para incorporar mejoras y progresivamente, evaluar su impacto3.
Existen diferentes instrumentos que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia: IDM Best Practices4, European Quality Instrument for Health Promotion (EQUIHP)5, Quint-essenz6, Guide d’autoévaluation «Comment améliorer la qualité de vos actions en promotion de la santé?»7 y Preffi 2.08. Es necesario traducir, adaptar y aplicar este tipo de instrumentos en programas en activo para comprobar su utilidad y aportar conocimiento, tal como plantea el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9.
En España, el desarrollo de la Red de Actividades Comunitarias10 y la Red Aragonesa de Proyectos de Promoción de la Salud11,12, entre otras, ha posibilitado el establecimiento de estándares de calidad, optando por modelos coherentes con los principios de promoción de la salud y estableciendo criterios13, métodos e indicadores. Los aspectos para asegurar la calidad son: «1) construir instrumentos de garantía de calidad; 2) acordar estándares de calidad sobre qué indicadores y criterios serán utilizados en el seguimiento y la evaluación; 3) considerar la naturaleza y características específicas de la promoción de la salud; por ejemplo, la orientación hacia procesos dinámicos y la habilidad de responder de manera flexible como criterio de calidad»13,14.
El Programa MIH salud se inició en 2007 en el Centro de Salud Pública de Valencia como un programa de movilización comunitaria y alta difusión en entornos urbanos, cuyo objetivo es promover la salud y la convivencia en poblaciones en situación de vulnerabilidad de la ciudad, favoreciendo el acceso adecuado a los servicios sanitarios a través de la mediación intercultural15, el trabajo en red con asociaciones16, la formación-acción de agentes de salud17 y la acción comunitaria en distintos territorios18. Esta se consigue mediante la dinamización de mapas de activos, el contacto con líderes comunitarios, la apertura de puntos informativos, conversaciones y talleres llevados a cabo por agentes de salud de base comunitaria18.
En 2015, con el objetivo de incorporar criterios de calidad de promoción de la salud a la evaluación continua de MIH salud, se realizó una revisión de los instrumentos disponibles en el ámbito internacional4–8. Se eligió EQUIHP por ser resultado del proyecto Getting Evidence into Practice19,20, consistente en consensuar criterios de calidad en promoción de la salud partiendo de instrumentos similares en varios países europeos21. EQUIHP consta de un listado de preguntas en cuatro áreas: principios de promoción de la salud, desarrollo e implementación, gestión y sostenibilidad (véase el Apéndice online).
El objetivo de este artículo es, por un lado, describir el proceso de traducción y aplicación del instrumento EQUIHP para identificar fortalezas y debilidades del Programa MIH salud, y formular recomendaciones para su mejora continua; por otro, describir la percepción del equipo ejecutor del programa acerca de la aplicabilidad de EQUIHP.
MétodoEs un estudio de evaluación mediante traducción y autocumplimentación de EQUIHP por parte del equipo del Programa MIH salud, y la realización de dos entrevistas grupales con todos los componentes de este equipo sobre la percepción de la aplicabilidad del instrumento.
Los diez miembros del equipo que participaron fueron el médico y la enfermera responsables de la coordinación del programa, dos enfermeras especializadas en enfermería familiar y comunitaria, y dos enfermeras residentes de la misma especialidad, dos mujeres y un hombre agentes de salud de base comunitaria, y una técnica de la Asociación de Cooperación entre Comunidades, que colabora en la ejecución del programa. Todos/as dieron su consentimiento para participar. Aunque no todas las personas participantes tenían la misma responsabilidad en el programa, se decidió, por parte de los investigadores y coordinadores de este, que participaran en su totalidad porque, en el momento de realizar el estudio, todas estaban involucradas directamente en su ejecución.
EQUIHP consta de 13 criterios en los que se agrupan 97 indicadores o ítems en un formulario check list con tres opciones de respuesta («sí», «no» y «en parte») sobre si cada indicador ha sido alcanzado por el programa, y un manual de usuario21 (véase el Apéndice online). El objetivo de EQUIPH es ayudar a identificar aquellos aspectos de mejora en las iniciativas de promoción de la salud. Los 13 criterios se distribuyen en cuatro apartados (fig. 1).
Para aplicar el instrumento se realizó una traducción del inglés al español por parte de los/las autores/as del estudio, revisada y corregida por una persona bilingüe, y se convocó una primera reunión con el equipo del programa. Se realizó una presentación de EQUIHP, se repartió una copia de la traducción y se cumplimentó individualmente. Se recogieron las respuestas y a continuación, se planteó una entrevista grupal para conocer la opinión acerca de la aplicabilidad de EQUIHP mediante una serie de preguntas elaboradas ad hoc (tabla 1). Se grabaron en audio todas las intervenciones, se anotó toda la información relevante por parte de dos de los investigadores y se concretó una cita para la exposición de los resultados. Transcurridos 2 meses se llevó a cabo una segunda reunión, en la que se expusieron las puntuaciones otorgadas a EQUIHP por las personas del equipo en forma de tablas resumen, y en una segunda parte, como entrevista grupal, se plantearon varias cuestiones sobre su aplicabilidad (tabla 1). Esta reunión también fue grabada en audio tras solicitar permiso a los asistentes. La duración de cada sesión fue de 2 horas.
Preguntas utilizadas en las entrevistas grupales de aplicación de EQUIPH al Programa MIH salud
| Descripción de las entrevistas | Preguntas |
|---|---|
| Primera entrevista grupal: en sesión de presentación de EQUIPH y realizada tras autocumplimentación individual del mismo | • ¿Qué opináis sobre EQUIPH? • ¿Lo consideráis útil? ¿Por qué? • ¿Se han entendido todas las preguntas? ¿Cuáles no? • ¿Os ha resultado fácil contestar a todas las preguntas? • ¿Qué os ha aportado? |
| Segunda entrevista grupal: realizada en la sesión de puesta en común, después de compartir resultados de aplicar EQUIPH | • ¿Qué os ha parecido el resultado de aplicar EQUIPH? • ¿Es útil para identificar fortalezas y debilidades o puntos de mejora en el programa? • ¿Facilita la realización de una evaluación de la calidad de este? |
En cuanto al análisis de la información, se distinguen dos aspectos:
1) En relación a la aplicación de EQUIHP al Programa MIH salud, se hizo un sumatorio de las respuestas de los miembros del equipo a cada ítem del instrumento. Se organizaron los resultados según los cuatro apartados y se elaboró una tabla con cada ítem, las opciones de respuesta y las puntuaciones globales en porcentajes y tres posibilidades de valoración:
- •
(+): siete o más personas del equipo opinaban que el programa cumplía y tenía incorporado el ítem de calidad.
- •
(−/+): cinco o seis personas del equipo opinaban que el programa tenía incorporado el ítem.
- •
(−): solo cuatro o menos personas del equipo opinaban que el programa incorporaba el ítem.
Aunque EQUIHP se compone de 97 ítems, siguiendo las indicaciones del manual21 solo se consideraron 95 en la puntuación global, ya que dos no se valoraron porque su formulación generó dudas de comprensión por parte de los participantes. Se obtuvo una nota global asumiendo que todos los ítems de EQUIHP tenían el mismo peso en la calidad del programa. Las respuestas se puntuaron de la siguiente forma:
- •
Número de ítems de criterios de calidad incorporados por el programa × 1 punto.
- •
Numero de ítems de criterios parcialmente incorporados × 0,5 puntos.
- •
Número de ítems no incorporados o débilmente incorporados × 0 puntos.
- •
Puntuación final calculada para una escala de 1 a 10.
Por último, se realizó una transcripción de los comentarios y las aportaciones del equipo del Programa MIH salud en relación a los aspectos de este que cabría mejorar, realizando un vaciado de cada ítem de EQUIHP y elaborando unas conclusiones de mejora de calidad del programa.
2) En relación a la opinión de los miembros del equipo sobre la aplicabilidad de EQUIHP, se realizó una transcripción de las respuestas a las cuestiones formuladas en las dos entrevistas y se realizó un análisis cualitativo temático siguiendo a Valles22. Mediante tres lecturas sucesivas por parte de los/las autores/as, se acotaron fragmentos del discurso que reflejaban opiniones del equipo, favorables o negativas, respecto a la experiencia de aplicar el instrumento, y se elaboraron una serie de conclusiones.
ResultadosEn relación con la aplicación de EQUIHPSegún la puntuación del equipo, 52 ítems estarían incorporados en el programa, 20 ítems lo estarían parcialmente y 23 no estarían incorporados o lo estarían escasamente. El Programa MIHsalud podría considerarse de calidad media, al alcanzar una puntuación de 6,5 sobre 10. Los resultados y las propuestas de mejora según las cuatro áreas de EQUIPH serían:
- •
Marco de los principios de promoción de la salud: el programa incorpora todos los indicadores relacionados con estos principios, a excepción de su fundamentación basada en la evidencia, que está contemplada «en parte» (tabla 2). Las opiniones del grupo fueron coincidentes en señalar que el Programa asume estos principios: «El programa en sí abarca todos los principios de promoción de la salud, es un punto en el que todos estamos de acuerdo»; sin embargo, se generaron opiniones diversas acerca de la comprensión del concepto de la práctica basada en la evidencia: «Cuando hablan de los principios basados en la evidencia, me cuesta entender el concepto». Otro participante aportó: «la evidencia es que tus decisiones, dentro de un programa o una intervención, las bases en lo que se ha demostrado, lo que se dice en los estudios actuales…”.
Tabla 2.Valoración del Programa MIH salud según los indicadores EQUIPH del marco de «Principios de promoción de la salud»
Criterio Indicadores Valoración Propuestas Marco de «Principios de promoción de la salud» 1. ¿Responde el proyecto al modelo de determinantes de la salud en términos de las habilidades y capacidades de las personas y/o las condiciones sociales y ambientales que influyen en la salud? + 2. ¿El proyecto está integrado dentro de un enfoque integral de la promoción de la salud, según se detalla en un plan de políticas (local, regional, nacional o institucional)? + 3. ¿Funciona el proyecto de acuerdo a los principios basados en la evidencia? − Actualizar conocimientos sobre los principios basados en la evidencia
Recoger y transmitir toda la información que genera el programa4. ¿El proyecto contempla o considera el empoderamiento de las personas participantes? + 5. ¿El proyecto contempla las desigualdades en salud y la equidad? + 6. ¿Consideran propio el proyecto todas las personas implicadas? ¿El proyecto crea un espacio propio entre las partes o personas interesadas? + +: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado.
- •
Desarrollo y ejecución del proyecto: el programa, según la puntuación otorgada, incorpora el criterio «Estrategia de implementación» que ofrece el instrumento. El resto de los criterios («Análisis», «Objetivos», «Población participante», «Intervención» y «Evaluación») son tenidos en cuenta parcialmente (tabla 3). En general, los miembros del equipo se sienten capacitados para desarrollar el programa, pero hay muchas actividades que se realizan y no están recogidas en forma de informes, con lo que no se visibiliza todo el trabajo llevado a cabo: «La idea es que todos sean más conscientes de lo que están haciendo, del por qué. El problema es que no hemos sabido transmitirlo. Una cosa es tenerlo en el archivo y otra saberlo». En lo que el equipo está de acuerdo es en que los objetivos del programa son difíciles de alcanzar tal como están formulados: «Hay que tener en cuenta que los objetivos del programa son muy ambiciosos para conseguirlos, están orientados de una manera muy genérica». En cuanto al criterio «Población participante», se señala la necesidad de plantearse objetivos y actividades según diferentes poblaciones y motivaciones. Respecto al criterio «Intervención», se constata la necesidad de especificar los mecanismos de cambio que se promueven con el programa. Y en relación al criterio «Evaluación», se aporta que «sería oportuno añadir indicadores de resultados más potentes que demostraran la eficacia de los métodos de intervención».
Tabla 3.Valoración del Programa MIH salud según los indicadores EQUIHP de «Desarrollo e implementación»
Criterios Indicadores Valoración Propuestas Análisis 1. ¿Existe la evidencia del problema de salud y su impacto en la calidad de vida?
¿Se han recogido datos empíricos sobre la naturaleza, el tamaño y la distribución del problema?
¿Se ha efectuado una revisión del sistema para reunir pruebas en relación con el problema, o se prevé una revisión explícita en el plan del proyecto?
¿Se ha recopilado información sobre el problema a través de la consulta del grupo objetivo, la comunidad u otras partes interesadas?+/− Recoger datos sobre la naturaleza, el tamaño y la distribución del problema o problemas que justifican la intervención
Realizar una revisión para reunir pruebas o evidencias en relación al problema2. ¿Existe evidencia de los factores de comportamiento y contextuales que influyen en el problema de salud?
¿Se ha hecho uso de modelos teóricos que explican los vínculos entre los problemas de salud, los comportamientos de riesgo y/o los factores ambientales?
¿Se ha examinado la importancia de cada factor determinante para el grupo objetivo?− Hacer uso de modelos teóricos que expliquen los vínculos entre el problema, los comportamientos de riesgo y el entorno 3. ¿Existe evidencia del contexto en el que se llevará a cabo el proyecto?
¿Está claro en qué contexto se llevará a cabo el proyecto?
¿Se han examinado otros programas que tienen un impacto en el comportamiento o el contexto?
¿Se han examinado los factores sociales, culturales y políticos que influyen en el éxito del proyecto?
4. ¿ Coinciden los objetivos?+/− Examinar otros programas que tengan un impacto en el comportamiento o el contexto de la población diana
Aportar más información acerca del programa piloto que se hizo antes de implantar el Programa MIH saludObjetivos 1. ¿Existe un documento de condiciones por escrito de los fines y objetivos del proyecto? + 2. ¿Existe una distinción entre corto plazo, medio plazo y largo plazo? − Distinguir y reflejar objetivos que quieren conseguirse a corto plazo, a medio plazo y a largo plazo (objetivos finales) 3 ¿Se cumple la formulación de los objetivos SMART?:
S: específica
M: medibles
A: aceptable
R: realista
T: tiempo estimado
Coinciden los objetivos con el análisis+/− Construir objetivos realistas, que se adecuen al tiempo y al presupuesto Población beneficiaria 1. ¿Se han identificado las características demográficas relevantes de la población diana? + Identificar deseos y normas sociales de la población diana, puesto que son necesidades prioritarias 2. ¿Se han identificado los deseos y las normas sociales de la población diana?
3. ¿Se ha segmentado la población diana con respecto a la fase de motivación y posibilidades de cambio?
4. ¿Se ha establecido el tamaño de la población diana (número de sujetos)?
5. ¿Está claro cómo se alcanzará a la población diana?+/− Segmentar la población diana en dos fases: de motivación y de posibilidades de cambio Intervención 1. ¿Se ha realizado una especificación de los mecanismos que provocan los cambios previstos? − Especificar los mecanismos que provocan los cambios previstos, ya sean talleres, foros, reuniones, etc. 2. ¿Es la intervención suficientemente completa? +/− Utilizar diferentes estrategias para alcanzar los objetivos y así conseguir una intervención lo suficientemente completa 3. ¿Se ha demostrado la eficacia de los métodos de intervención? − Demostrar la eficacia de los métodos de intervención a través de informes, reuniones, etc. 4. ¿Se ha diseñado la intervención en consulta con los socios?
5. ¿La intervención se ha diseñado teniendo en cuenta la opinión de las distintas partes interesadas?
6. ¿La intervención se ha diseñado teniendo en cuenta la opinión de la población participante?
7. ¿Son los métodos adecuados a la intervención?
8. ¿Es el contenido compatible a nivel cultural?
9. ¿Ha sido eficaz la intervención?
10. ¿Proporciona valor complementario?
11. ¿El proyecto ha sido previamente probado?+/− Diseñar la intervención teniendo en cuenta las opiniones de las distintas partes interesadas: equipo del programa y población participante Estrategia de implementación 1. ¿Se ha elegido un modo particular de implementación?
2. ¿Se ha traducido esta elección en un plan de implementación?
3. ¿Los socios, población diana y/u otros representantes participarán en la ejecución de los proyectos?+ Adecuar los métodos de intervención a la población diana 4. ¿Está claro, para aquellos que estarán involucrados en la ejecución, los elementos de la intervención esenciales y deben mantenerse sin la adaptación?
5. ¿Está claro cómo se supervisará la implementación?+ 6. ¿El proyecto estará documentado de forma que permita una transferencia de experiencia y los conocimientos relacionados con el «cómo» se ha llevado a cabo (know-how) a otros proyectos? Evaluación 1. ¿Existe un plan de evaluación? +/− Elaborar un plan de evaluación que incluya preguntas de evaluación y cuente con la opinión de usuarios en relación con las actividades y los materiales
Evaluar la efectividad de los indicadores de impacto y criterios de elección, objetivos y rentabilidad del programa2. ¿El plan de evaluación proyecta claramente:
• el propósito de la evaluación?
• las preguntas de evaluación?+/− Adecuar los métodos de recolección de datos de evaluación a las preguntas de evaluación, al presupuesto y al cronograma de informes • el diseño, el método y el calendario de la evaluación?
• las tareas, funciones y responsabilidades para la evaluación (incluyendo la recopilación de datos, el análisis y la presentación de informes)?+ 3. ¿Las preguntas de evaluación se ajustan a los objetivos, el contexto y las expectativas de la población diana y las partes interesadas? + 4. Se llevará a cabo una evaluación del proceso que incluya estas cuestiones:
¿Las actividades se realizan de acuerdo con el plan?
¿Se tiene en cuenta la opinión de los usuarios en relación con las actividades y los materiales?
¿Están reflejados los obstáculos y dificultades que se han encontrado durante el proceso de implementación?
¿Están reflejadas las sugerencias de mejora?+ 5. Se lleva a cabo una evaluación de la efectividad que incluye estas cuestiones:
La recopilación de datos de referencia
La elección de los criterios e indicadores de efecto
Medición de corto plazo, medio plazo y largo plazo de los objetivos
Exclusión de explicaciones alternativas de los posibles efectosa
Atribución causal del efecto de la intervención
Evaluación de la rentabilidad del proyecto+/− 6. ¿El diseño y los métodos de recolección de datos de evaluación son los adecuados para las preguntas de evaluación, presupuesto y cronograma de informes? + 7. ¿La información derivada de la evaluación se difundirá y se mantiene de nuevo a todos los interesados y al grupo objetivo? + +: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado.
- •
Gestión del proyecto: «Liderazgo» y «Planificación y documentación» son criterios que el programa cumple satisfactoriamente, y de forma parcial el criterio «Capacidad y recursos» (tabla 4). En «Participación y compromiso» se expresa la necesidad de formalizar, a través de acuerdos, la participación de los/las socios/as internos/as y externos/as del programa. En el criterio «Comunicación» se destaca la ausencia de un plan de comunicación: «Somos bastante claros y transparentes, pero en sí, un plan de comunicación, no tenemos». Manifiestan que, como equipo, se mantiene una buena comunicación, notificando el trabajo que se realiza y las dificultades que surgen: «A nivel interno, no tenemos un documento que hable de plan de evaluación, comunicación, etc. Pero sí que buscamos resultados». Hay acuerdo generalizado en que la participación es uno de los puntos más sólidos del programa, pero con posibilidades de mejora: «Uno de nuestros puntos fuertes es la participación; si no les pedimos a ellos opinión para nada, lo estamos decidiendo nosotros».
Tabla 4.Valoración del Programa MIH salud según los indicadores EQUIHP de «Gestión y sostenibilidad»
Criterios Indicadores Valoración Propuestas de mejora Liderazgo 1. ¿Hay una clara división de responsabilidades entre el coordinador y los otros colaboradores? + 2. ¿El coordinador está capacitado para adquirir las habilidades necesarias? + 3. ¿El coordinador tiene autoridad suficiente para alcanzar los objetivos del proyecto? + 4. ¿Es capaz el coordinador de utilizar los recursos disponibles de una manera flexible? + Planificación y documentación 1. ¿El plan del proyecto está lógicamente estructurado y escrito? + 2. ¿El plan del proyecto especifica los momentos de toma de decisiones importantes? +/− Especificar momentos de toma de decisiones importantes 3. ¿Están descritos claramente en el plan de trabajo cómo se realizarán las actividades? + 4. ¿Están claramente definidos y documentados los aspectos organizativos de la intervención? + 5. ¿Hay un plazo realista para el proyecto? +/− Establecer un plazo realista del programa Capacidad y recursos 1. Personal competente:
¿Existe un perfil de las competencias y conocimientos necesarios para cada fase del proyecto?+ ¿La cualificación y las capacidades de los miembros están adaptadas a las necesidades del proyecto? + ¿Se han especificado posibilidades para mejorar las habilidades a través de la supervisión y/o formación? + 2. Recursos financieros: +/− Reflejar si existe un plan de presupuesto y adaptarlo a las necesidades del programa (recursos materiales: ordenadores, Internet, teléfonos, etc.) ¿Existe un plan de presupuesto para el proyecto? ¿Se han identificado las fuentes de financiación? + ¿El presupuesto es realista? +/− 3. El proyecto dispone de los materiales necesarios para llevar a cabo el programa (necesidades administrativas: teléfonos, fax, ordenadores, Internet, etc.) +/− 4. ¿Los recursos no materiales para el proyecto están identificados? +/− Identificar claramente los recursos no materiales para el programa ¿Se ha realizado una evaluación de las habilidades y capacidades de la población diana? Evaluar las habilidades y las capacidades disponibles de la población diana ¿Se han identificado las posibilidades de trabajo en red a nivel local? + ¿Está claro cómo se han movilizado, mejorado y ampliado los «activos» o capacidades locales? + Participación y compromiso 1. ¿Se especifica claramente cómo se han conseguido la colaboración y las sinergias (el trabajo en red)? + 2. ¿Se han identificado qué socios internos y externos son necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del proyecto? + 3. Los métodos de trabajo que se han utilizado, ¿han tenido en cuenta las diferentes perspectivas y contribuciones de las distintas personas o agentes implicados? + 4. ¿Está prevista la participación en la organización del proyecto (p. ej., la creación de un comité asesor para la dirección)?a ¿Se han identificado obstáculos para la realización del proyecto? − Identificar socios externos e internos que sean necesarios para proporcionar apoyo y compromiso adecuado en cada etapa del programa, así como posibles oponentes y obstáculos para la realización del mismo ¿La participación de los socios se ha formalizado a través de acuerdos? − Formalizar la participación de todos los socios a través de acuerdos Comunicación 1. ¿Se ha hecho un plan de comunicación? − Especificar un plan de comunicación del programa identificando diferentes canales para su transmisión y adaptándolo a la población diana 2. ¿Es el plan de comunicación el adecuado para el contenido de la comunicación? − 3. ¿Está el estilo de comunicación del plan adaptado al grupo objetivo? − 4. ¿Se han identificado los diferentes canales de comunicación en el plan de comunicación? − 5. ¿La información dirigida a la comunidad, la población diana y las partes interesadas es clara y transparente? + Sostenibilidad 1. ¿Se ha realizado una evaluación de la sostenibilidad del proyecto? − Evaluar la sostenibilidad del programa revisando fines, objetivos y resultados desde la perspectiva de la continuidad 2. ¿Se han revisado los fines, objetivos y resultados del proyecto desde la perspectiva de la continuidad? +/− 3. ¿Están claramente especificados los beneficios del proyecto para la población participante y la comunidad? +/− Especificar los beneficios del programa para la población participante y la comunidad 4. ¿Se han identificado una o más organizaciones que podrían continuar el proyecto? + +: indicador alcanzado en el programa; −: indicador no alcanzado; −/+: indicador parcialmente alcanzado.
- •
El criterio «Sostenibilidad» se valoró como incorporado parcialmente (tabla 4) y se expresó la necesidad de una evaluación formal de la sostenibilidad por parte de la dirección del programa: «lo que falla es que un plan de evaluación de la sostenibilidad como tal no tenemos…».
EQUIHP, según el equipo del Programa MIH salud, es un instrumento que permite un análisis exhaustivo del programa: «Es bastante intenso, te das cuenta de lo que sabes y de lo que te falta saber del proyecto» y que facilita la evaluación de los aspectos más relevantes del mismo: «Te hace plantearte, ver todos los puntos del programa y además entra en el detalle». EQUIHP permite identificar los puntos críticos del programa y la formulación de propuestas de mejora: «Está bien para mejorar los puntos más débiles y mejorar los demás».
EQUIHP, según las personas participantes, puede servir para todo tipo de programas de salud, ya que abarca todos los aspectos evaluables y, además, presenta un apartado específico sobre «Principios de promoción de la salud»: «Es un instrumento completo, puede servir tanto para programas muy generales como para un programa más pequeño […] hay una parte muy común respecto al punto de planificación y otra parte más peculiar en cuanto a la promoción de la salud».
En cuanto a posibles mejoras, se indica la inclusión de «No lo sé» como opción de respuesta en el check list y la lectura grupal de los ítems, previa a la autocumplimentación individual, para mejorar la comprensión de algunos de estos: «He podido contestar algunas preguntas porque se han debatido en la reunión, pero que yo sola en casa me hubiera costado más entenderlas, y no las hubiese contestado».
DiscusiónLas evaluaciones que se han realizado en el Programa MIH salud siguen la perspectiva de la evaluación participativa de cuarta generación23,24, evidenciando que el programa aborda satisfactoriamente las acciones individuales de mediación intercultural15, la formación-acción de agentes de salud17, las conversaciones informales25 y el impacto del programa en mujeres en situación de vulnerabilidad26. Sin embargo, la novedad de este estudio respecto a los anteriores es aplicar un enfoque global de evaluación de calidad al programa mediante la traducción y la autocumplimentación de un instrumento de ámbito europeo, EQUIHP, basado en los fundamentos de la promoción de la salud y generar propuestas de mejora de forma participativa.
Siguiendo un planteamiento similar, cabe destacar los estudios realizados en España por la Red Aragonesa de Proyectos de promoción de la salud11, que se han orientado a establecer estándares de calidad asumiendo las dificultades y la complejidad de la evaluación en este ámbito. No obstante, en nuestro estudio resulta clave el enfoque de autoevaluación participativa de EQUIPH (implicándose desde coordinadores/as hasta agentes de salud de base comunitaria), con el objeto de introducir mejoras en un programa en activo. Desde este enfoque, la aplicación y la discusión de EQUIHP es un método tanto para facilitar que las personas implicadas en el Programa MIH salud mejoren en efectividad y eficiencia como para ser un proceso educativo en el cual las personas participantes aumentan su comprensión de los factores que afectan su situación24.
Según Springett14, la evaluación de proyectos de promoción de la salud debe basarse en las condiciones propias de cada contexto, y no puede aplicarse una lista única de indicadores para evaluar los programas. En EQUIHP se hace énfasis en interrelacionar el contenido y el contexto de los programas de promoción de la salud y valorar de forma flexible la importancia de criterios e indicadores según el tipo de intervención21. Así pues, aunque los instrumentos como EQUIHP son útiles para la mejora de las intervenciones, su utilización habría que enmarcarla en proyectos de evaluación más globales, tal como se señala en los ítems del propio EQUIPH. En este sentido, el presente estudio se alinea con el proyecto Evidencias de Efectividad en Promoción de la Salud en América Latina9, que trata de fortalecer la capacidad para desarrollar, publicar y usar resultados de las evaluaciones para mejorar las decisiones relacionadas con la promoción de la salud. Como el propio equipo manifiesta, se comparte la necesidad de recursos específicos, adicionales a los de la intervención, para elaborar un plan o proyecto de evaluación y comunicación y que, en cada país, debería existir un proyecto similar al de América Latina9.
Aplicaciones del estudioEn relación a la aplicación de EQUIHP al Programa MIH salud, ha facilitado la formulación de mejoras en el programa: formalizar a través de acuerdos la participación de los socios, especificar los mecanismos que provocan los cambios en el programa (talleres, foros, etc.), sistematizar el trabajo y manifestar los cambios producidos, relacionar datos cualitativos con cuantitativos, etc. Sin embargo, algunos aspectos de mejora, como la necesidad de un plan de comunicación, la evaluación o la sostenibilidad, no dependen tanto del propio equipo sino del nivel directivo y político, que no ha intervenido en el proceso de aplicación del instrumento.
En cuanto a la percepción de la aplicabilidad de EQUIHP, se valora su utilidad como instrumento de ámbito europeo para evaluar la calidad de un programa, dando a conocer la herramienta a los implicados en este, experimentando su aplicación y generando reflexión acerca de las ventajas y las dificultades. La percepción inicial de la complejidad de EQUIPH se fue diluyendo y traduciendo en una toma de conciencia de todos los criterios e indicadores a valorar. Compartir los resultados de su aplicación ha supuesto la satisfacción con EQUIPH por parte de todo el equipo del programa.
En cuanto a las limitaciones, cabe señalar no haber contado con el instrumento EQUIHP traducido y adaptado al contexto español, y no haber incorporado la opinión de otros actores clave del programa, como personas del ámbito directivo y sobre todo, la propia población beneficiaria. Una propuesta que se deriva de este trabajo sería realizar la traducción y la adaptación de EQUIPH al español para favorecer su difusión y utilización entre profesionales de promoción de la salud.
La evaluación en promoción de la salud es necesaria, pero resulta compleja y requiere métodos mixtos y enfoques integrales. Actualmente se dispone de diferentes instrumentos, como EQUIHP, que facilitan la evaluación de la calidad de los programas de promoción de la salud y permiten orientarlos hacia la práctica basada en la evidencia, pero hay una brecha entre el desarrollo de estos instrumentos y su utilización normalizada en la práctica.
¿Qué añade el estudio realizado a la literatura?Esta investigación describe los resultados satisfactorios de traducir y aplicar EQUIHP a un programa comunitario de promoción de la salud en activo y la opinión favorable del equipo ejecutor del mismo acerca de su aplicabilidad. Es posible incorporar un instrumento de evaluación de la calidad en la práctica de la promoción de la salud en forma de autoevaluación participativa y generar una mirada reflexiva sobre las actividades que las y los profesionales llevan a cabo diariamente.
Andreu Segura.
Declaración de transparenciaLa autora principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.
Contribuciones de autoríaR. Cerdá-Gómez, J.J. Paredes-Carbonell y M.P. López-Sánchez han participado en la concepción del estudio, el análisis y la interpretación de los datos, y la redacción, la revisión y la aprobación del manuscrito remitido. R. Cerdá-Gómez realizó también la recogida de datos.
FinanciaciónNinguna.
Conflictos de interesesNinguno.
Al equipo de trabajo del programa MIH salud por su dedicación y compromiso en el desarrollo de la salud comunitaria y a Viola Cassetti por el apoyo en las tarea de traducción.
