Evaluar el impacto del Plan de Promoción de la Autonomía Personal y Prevención de la Dependencia de Andalucía (2016-2020) en 13 organismos públicos participantes tras su primer año, y analizar la usabilidad y la fiabilidad de la escala de evaluación del impacto que se ha empleado.
MétodoEl Plan aborda la promoción de la autonomía personal y la prevención de la discapacidad y la dependencia con un enfoque multisectorial. Se estructura en líneas, objetivos y actuaciones que han sido evaluadas mediante la escala Adoption Impact Ladder (AIL). El análisis de la validez simple, la viabilidad y la fiabilidad de la escala se ha realizado en 30 actuaciones evaluadas por 20 expertos de la Administración pública y un evaluador externo independiente.
ResultadosEn 2017 se pusieron en marcha 176 actuaciones y programas del Plan. Se han implementado el 67,2% de las actuaciones propuestas y solo uno de los 16 objetivos no se ha asociado a actuaciones ejecutadas en el primer año. Siete de los 15 objetivos ejecutados fueron enteramente multisectoriales, involucrando a tres o más consejerías. La validez simple, la viabilidad y la fiabilidad interexaminadores de la escala AIL fueron buenas (κ: 0,72).
ConclusionesEl Plan ha proporcionado un marco novedoso para coordinar un amplio rango de políticas y actuaciones en la Administración pública de Andalucía. Por primera vez se presenta un análisis del impacto multisectorial que proporciona una guía efectiva para el seguimiento, la planificación y el establecimiento de prioridades públicas en salud, servicios sociales y atención a personas mayores y personas con discapacidad.
To evaluate the impact of the Plan for the promotion of personal autonomy and prevention of disability in Andalusia (2016-2020) in 13 public administrations during the first year of its implementation; and to analyse the usability and feasibility of the impact assessment ladder used.
MethodThe Plan addresses the promotion of personal autonomy and the prevention of disabilities and dependencies through a multisectoral approach. It is structured in strands or lines of work, objectives and actions that have been assessed through the Adoption Impact Ladder (AIL). The analysis of the face validity, feasibility and inter-rater reliability of the impact assessment ladder was carried out in 30 actions of the Plan that were rated by 20 experts from the 13 ministries and public agencies involved in the Plan, and an external rater.
Results176 actions and programmes were launched in 2017. Of these, 67.2% were implemented during the first year. Only one of the 16 objectives had no action initiated during the first year. Moreover, 7 out of 15 objectives implemented were fully multisectoral involving more than three Regional Ministries. The face validity, feasibility and inter-rater reliability of the AIL were good (κ: 0.72).
ConclusionsThis Plan has provided a novel framework to coordinate a broad range of proposed policies and actions within the public administration of Andalusia. For the first time, a multisectoral impact analysis has been conducted providing an effective guide for monitoring, planning and setting public priorities in health, social services, ageing and disabilities.
El Plan Andaluz para la Promoción de la Autonomía Personal y Prevención de la Dependencia (PAP&PD) (2016-2020)1 tiene como finalidad la promoción de la autonomía personal, la prevención secundaria de la discapacidad y la prevención terciaria en personas ya dependientes. El PAP&PD se estructura en dos etapas bianuales y se dirige a toda la población andaluza de más de 6 años, con una especial atención a las personas mayores, con discapacidad, dependientes o con fragilidad, cuidadores y población con factores de riesgo como sedentarismo, tabaquismo, alcoholismo, consumo de drogas, juego o trastornos alimenticios.
El PAP&PD sigue las directrices trazadas por la Ley Nacional 39/2006 de promoción de la autonomía personal y atención a las personas en situación de dependencia2 (en este contexto, «dependencia» se refiere a personas con discapacidad funcional grave), la Ley 9/2016 de Servicios Sociales de Andalucía3 y el Libro blanco del envejecimiento activo4. Su marco conceptual se basa también en el IV Plan Andaluz de Salud5, las recomendaciones de la Organización Mundial de la Salud (OMS) sobre envejecimiento y salud6,7, el Informe Mundial de Discapacidad8 y la coordinación con el Plan de Atención Integral a Menores de 6 años en situación de dependencia o en riesgo de desarrollarla de Andalucía9.
El Plan integra programas de 13 organismos públicos de la Junta de Andalucía: Dirección General de Personas Mayores, Dirección General de Personas con Discapacidad, Secretaría General de Servicios Sociales y Agencia de Servicios Sociales y Dependencia (Consejería de Igualdad y Políticas Sociales), Consejería de Salud, Consejería de Educación, Servicio Andaluz de Empleo (Consejería de Empleo, Empresa y Comercio), Consejería de Fomento y Vivienda, Consejería de Cultura, Consejería de Turismo y Deporte, Instituto Andaluz de Administración Pública (Consejería de Hacienda y Administración Pública), Escuela de Seguridad Pública de Andalucía (Consejería de Justicia e Interior) y Fundación Pública Andaluza para la Integración Social de Personas con Enfermedad Mental.
Este Plan forma parte de las actuaciones de Andalucía en el consorcio europeo para la innovación en el envejecimiento activo y saludable (European Innovation Partnership on Active and Healthy Ageing – EIPonAHA), que ha identificado a esta comunidad autónoma como una de las 74 áreas de referencia10 para el intercambio de conocimiento en Europa11. Estas áreas promocionan el envejecimiento activo y saludable con un modelo de «cuádruple hélice», en el que se implican los gobiernos, la ciudadanía, las universidades y las empresas12.
La coordinación de las políticas públicas del PAP&PD requiere un sistema de evaluación y seguimiento sencillo, comprensible y accesible para diferentes responsables técnicos y políticos de la Administración pública y partícipes de grupos de interés que proceden de ámbitos y disciplinas muy diversos. El análisis del impacto constituye uno de los mayores retos de la evaluación de estrategias transectoriales en el ámbito sociosanitario. La Comisión Europea13 y la Guía práctica para la medición y la gestión del impacto de la European Venture Philanthropy Association (EVPA)14, editada y adaptada por la Asociación Española de Fundaciones15, señalan los cinco pasos básicos para evaluación de la calidad: 1) fijar objetivos; 2) analizar los agentes involucrados; 3) medir los resultados; 4) verificar y valorar el impacto; y 5) seguimiento y presentación de los resultados.
Las aproximaciones existentes para evaluar el impacto se basan fundamentalmente en técnicas narrativas16 o en valoraciones cuantitativas globales17 que no permiten una comparación efectiva de la implementación en organizaciones muy dispares, o se centran exclusivamente en la valoración del impacto en la práctica y, por tanto, no son idóneas para la evaluación del impacto de una política sobre programas de acción y sobre su traducción en acciones en el conjunto del sistema público. Además, los sistemas de evaluación del impacto existentes carecen de una taxonomía de base y de un marco conceptual que incluya tipos, jerarquías o definiciones y unidades de análisis comunes para facilitar comparaciones multisectoriales y entre diferentes territorios.
La evaluación del impacto del PAP&PD se ha basado en la «adopción» de la estrategia por otros organismos públicos de la misma región. La adopción se considera un dominio relevante del impacto17, junto con el compromiso (engagement)18 y la difusión de una estrategia17. Se define como adopción aquella parte del impacto que consiste en «tomar un conocimiento o tecnología como propio», y se refiere a «la proporción y la representatividad de las organizaciones y de los agentes de un entorno (profesionales, organizaciones o comunidades) que adoptan una política o un conocimiento determinado»19.
Este estudio tiene dos objetivos: 1) evaluar el impacto del PAP&PD en la política transversal e intersectorial de la Junta de Andalucía en sus primeros 12 meses de implementación a través de la escala Adoption Impact Ladder (AIL); y 2) analizar la usabilidad de la escala AIL en España mediante el estudio de su validez simple, usabilidad y fiabilidad.
MétodosEvaluación del PAP&PDEl PAP&PD fue elaborado por 167 expertos/as durante un periodo de 8 meses en 2014-2015 siguiendo una metodología cualitativa con nueve grupos focales20 (véase fig. I en el Apéndice online). Para su gestión se nombró un director del Plan21 y se crearon una Comisión Permanente, una Comisión Técnica Interadministrativa y ocho Comisiones Técnicas de Ámbito Provincial22.
El PAP&PD definió seis líneas prioritarias para las que se establecieron 16 objetivos (véase tabla I en el Apéndice online) que debían implementarse mediante 110 «actuaciones propuestas» por los grupos focales que redactaron el Plan. Las actuaciones propuestas se dividieron en programas, actividades y acciones. Las «actuaciones en ejecución» corresponden a actividades que ya se han puesto en marcha. Para su ejecución se contó con 13 coordinadores/as, uno/a por cada entidad pública participante y con una serie de servicios de referencia en diferentes organismos públicos23,24.
La valoración del impacto se efectuó mediante la escala AIL para la evaluación de los resultados de la investigación en política y práctica. Este instrumento se ha utilizado previamente en Australia para la evaluación del impacto de un programa de política estatal en la práctica (programa EdLINQ en Queensland)25 y del impacto de la diseminación internacional de una clasificación de la gestión de casos en discapacidad y dependencia26,27. La AIL es una escala ordinal con siete categorías: 1) sin impacto; 2) información/concienciación; 3) asimilación; 4) traslación; 5) asignación; 6) provisión; y 7) monitorización. La tabla 1 muestra la definición de cada categoría.
Escala de adopción del impacto (AIL, Adoption Impact Ladder)
| Nivel de valoración | Impacto de la implementación de la actuación | |
|---|---|---|
| 1 | Sin impacto | El proyecto no tiene ningún impacto en la organización objetivo (la organización objetivo no sabe nada sobre el proyecto) |
| 2 | Información /concienciación | La organización objetivo y las personas responsables de la toma de decisiones específicas dentro de la organización son conscientes del tema, han tomado medidas para mejorar sus conocimientos sobre el tema, y han recibido y proporcionado retroalimentación sobre la información entregada |
| 3 | Asimilación | Existe evidencia de que la organización objetivo y las personas responsables de tomar decisiones específicas dentro de la organización han incorporado la información en su propia base de conocimientos y estrategia organizativa existentes |
| 4 | Traslación | La organización objetivo ha transferido los nuevos conocimientos a la legislación, los planes, los programas, las normativas o los indicadores oficiales |
| 5 | Asignación | La traslación de los nuevos conocimientos ha tenido un impacto en el presupuesto, la financiación o la asignación de recursos en el entorno objetivo |
| 6 | Provisión | Se han puesto a disposición servicios de atención, incluidos servicios, intervenciones o tecnologías directamente relacionados con los nuevos conocimientos, y son utilizados por la población objetivo en el entorno objetivo |
| 7 | Monitorización | La organización objetivo ha incorporado los nuevos conocimientos en sus propios sistemas de evaluación, vigilancia y monitorización |
| Impacto valorado:- Nivel de información y concienciación de la necesidad por las personas responsables de la organización- Nivel de asimilación en las estrategias de la organización- Nivel de asignación y dotación de recursos- Nivel de publicación científica y desarrollo- Nivel de difusión y comunicación (excluidas las publicaciones científicas)- Nivel de impacto en los medios de comunicación y los medios sociales- Nivel de colaboración con otras organizaciones y población diana- Nivel de impacto de la implementación en la organización y la población diana- Nivel de monitorización y seguimiento de las actuaciones | ||
La información necesaria para la evaluación se recogió mediante una ficha básica estandarizada (véase tabla II en el Apéndice online). La evaluación la realizaron 24 técnicos/as de las entidades participantes siguiendo las instrucciones de la IAL. Esta primera evaluación fue posteriormente verificada por el director del Plan, dando lugar a una evaluación final de cada actuación.
La valoración del impacto se representó visualmente mediante diagramas de araña cuya escala eran los siete niveles de impacto y los vértices eran las diferentes actuaciones. Los diagramas de araña permitieron representar tanto los resultados de las actuaciones de cada línea y objetivo del Plan como las valoraciones de cada entidad participante.
Análisis de la usabilidad y la fiabilidad de la escala AILEl procedimiento de evaluación del impacto del PAP&PD incluyó también el análisis de la usabilidad y la fiabilidad de la AIL (véase fig. II en el Apéndice online).
La usabilidad o utilidad general de un instrumento para su uso en la práctica es una de las dimensiones de calidad de los instrumentos de evaluación de salud28. La evaluación de la usabilidad de la AIL para la evaluación del impacto del PAP&PD se basó en un inventario que recogió diferentes dimensiones: relevancia, utilidad, eficiencia, efectividad, novedad y potencial (véase Inventario en el Apéndice online). La validez simple de la escala fue analizada mediante la primera dimensión, mientras que su viabilidad lo fue a través del resto de dimensiones. El inventario fue cumplimentado por 20 de los 24 técnicos/as de las diferentes consejerías que participaron en la evaluación del Plan. Todas las agencias y las consejerías estuvieron representadas en el estudio de usabilidad. La usabilidad se midió con una escala cualitativa de cinco niveles de «bajo» a «alto», y con otra escala cuantitativa de 0 a 10.
El estudio de fiabilidad interexaminadores se basó en una muestra aleatoria estratificada por las 13 entidades participantes que incluyó 30 de las actuaciones en ejecución. Una evaluadora externa (MR) efectuó una evaluación independiente con los datos disponibles en la ficha técnica. Dado que este instrumento utiliza una escala Likert ordinal con siete valores, se utilizó el coeficiente kappa ponderado29 por pesos cuadráticos. Fleiss y Cohen30 han mostrado que este valor de kappa es equivalente al coeficiente de correlación intraclases29.
ResultadosEvaluación del PAP&PDDurante el primer año se han ejecutado actuaciones en las seis líneas prioritarias del Plan y en 15 de sus 16 objetivos. El único objetivo que no se ha asociado a ninguna actuación en 2017ha sido el 6.2 de investigación e innovación. Siete de los 15 objetivos han implicado a tres o más consejerías, lo que indica la alta multisectorialidad del Plan. Los objetivos que han aglutinado un mayor número de organismos públicos son los destinados a promover una efectiva autonomía personal (21 actuaciones en ejecución), fomentar la accesibilidad universal (24 actuaciones) y facilitar el trabajo intersectorial entre los organismos públicos, y la promoción de las tecnologías de la información y la comunicación y de la investigación (30 actuaciones). Por el contrario, los objetivos que están por debajo del número de actuaciones propuestas en el Plan son los dirigidos a fomentar la autonomía personal y la participación activa de las mujeres con discapacidad o dependencia, así como de las personas que cuidan, a promover la formación de todas las personas trabajadoras y de los agentes implicados con la finalidad de desarrollar las competencias necesarias, y a la investigación e innovación. Ninguna entidad ha propuesto actuaciones para el impulso de productos, servicios y contenidos tecnológicos de prevención de la dependencia.
De las 110 actuaciones iniciales propuestas en el Plan, 36 no se han ejecutado en el primer año (32% del total) y podrían implementarse en 2018 o en el bienio 2019-2020. Sin embargo, durante el primer periodo se han puesto en marcha 66 actuaciones más de las previstas, agrupadas según la entidad coordinadora principal31. El incremento hasta el total de 176 actuaciones ejecutadas se debe a actuaciones por parte de los diferentes organismos de la Administración pública que no figuraban en el Plan original. Por otro lado, ocho actuaciones se han duplicado en diferentes consejerías y ha sido necesario armonizarlas por parte de la entidad coordinadora del Plan, asignándolas a la Consejería que tenía un papel más relevante en dicha actuación previo consenso del resto. En la tabla 2 se muestra el número de actuaciones propuestas y en ejecución por objetivos para cada consejería y ente público, junto a las no acometidas en 2017.
Número de actuaciones del PAP&PD en 2017 por línea y objetivo del plan, y por consejería, entidad pública o centro directivo
| Situación de las actuaciones | N° actuaciones en ejecución en 2017 (fichas) | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Líneas y objetivos | N° acciones propuestas | N° acciones ejecutadas, fichas | N° acciones no acometidas | CIPS SGPS | CIPS DGPM | CIPS DGPD | CIPS ASSDA | FAISEM | CS / SAS | CEDU | CEEC | CFV | CHAP / IAAP | CJI / ESPA | CCUL | CTD | N° consejerías+otras entidades |
| Línea 1. Promoción de la autonomía | |||||||||||||||||
| 1.1. Promoción autonomía personal (condiciones y apoyos) | 12 | 21 | 2 | 0 | 0 | 3 | 5 | 2 | 7 | 0 | 0 | 0 | 0 | 1 | 3 | 0 | 4+1 |
| 1.2. Promoción autonomía personal (vida saludable) | 5 | 20 | 0 | 0 | 1 | 2 | 1 | 0 | 10 | 0 | 0 | 0 | 1 | 0 | 0 | 5 | 4 |
| Línea 2. Prevención de la dependencia | |||||||||||||||||
| 2.1. Prevención dependencia (primaria) | 3 | 10 | 0 | 0 | 1 | 0 | 0 | 1 | 7 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 3+1 |
| 2.2. Prevención dependencia (secundaria) | 5 | 9 | 0 | 0 | 0 | 1 | 2 | 1 | 5 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2+1 |
| Línea 3. Reducción del impacto | |||||||||||||||||
| 3.1. Reducción de impacto (terciaria) | 10 | 15 | 1 | 0 | 2 | 0 | 4 | 5 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 3+1 |
| 3.2. Reducción de impacto (accesibilidad universal) | 4 | 24 | 1 | 0 | 0 | 3 | 1 | 2 | 4 | 0 | 0 | 0 | 3 | 0 | 6 | 5 | 5+1 |
| 3.3. Reducción de impacto (calidad servicios) | 5 | 6 | 1 | 0 | 0 | 0 | 2 | 1 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2+1 |
| 3.4. Reducción de impacto (facilitación acceso a SSS) | 7 | 8 | 1 | 0 | 1 | 0 | 1 | 0 | 6 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 |
| 3.5. Reducción de impacto (género, participación) | 5 | 1 | 4 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| Línea 4. Intersectorialidad y participación | |||||||||||||||||
| 4.1. Intersectorialidad y participación (marco normativo de coordinación) | 3 | 3 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 | 0 | 1 | 0 | 0 | 0 | 2 |
| 4.2. Intersectorialidad y participación (trabajo intersectorial) | 12 | 30 | 6 | 0 | 0 | 2 | 2 | 0 | 5 | 4 | 6 | 2 | 0 | 1 | 8 | 0 | 7 |
| 4.3. Intersectorialidad y participación (promoción de la participación) | 8 | 9 | 3 | 0 | 4 | 0 | 1 | 2 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 3+1 |
| Línea 5. Formación y sensibilización | |||||||||||||||||
| 5.1. Formación y sensibilización (difusión) | 6 | 8 | 1 | 0 | 4 | 2 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| 5.2. Formación y sensibilización (formación) | 12 | 8 | 5 | 0 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 4 | 0 | 0 | 3 |
| Línea 6. Investigación e innovación | |||||||||||||||||
| 6.1. Investigación e innovación (I+D+I) | 11 | 4 | 8 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2+1 |
| 6.2. Investigación e innovación (ayudas técnicas) | 2 | 0 | 2 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| Total | 110 | 176 | 36 | 2 | 17 | 13 | 22 | 15 | 50 | 4 | 9 | 2 | 6 | 8 | 17 | 11 | |
ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.
La Consejería de Igualdad y Políticas Sociales y la Consejería de Salud son las que han puesto en marcha más actuaciones (54 y 50, respectivamente). Estas actuaciones desarrollan actividades de terapia ocupacional, estimulación cognitiva, rehabilitación, prevención de la fragilidad y otros apoyos, programas de educación para la salud en centros sanitarios, sociales y educativos, medidas de incorporación o permanencia en el mercado laboral, impulso a la participación ciudadana a través de colectivos y asociaciones, medidas de control de la seguridad, formación y recualificación de profesionales, y actuaciones de investigación e innovación.
La evaluación del impacto de la adopción de las actuaciones del Plan figura en la tabla 3. El 49,4% de las actuaciones en ejecución fueron valoradas con el máximo nivel de impacto, 7 (monitorización). Los niveles 6 (provisión) y 4 (traslación) fueron identificados en el 18,8% y el 15,9% de las actuaciones, respectivamente. La adopción del 9,7% de las actuaciones alcanzo un nivel 3 (asimilación). Finalmente, el 4% de ellas tenían un impacto de nivel 2 (información/concienciación) y el 2,3% un impacto de nivel 5 (asignación de recursos). Cabe destacar que las actuaciones que habían tenido repercusión presupuestaria, y por tanto fueron evaluadas en los niveles 5, 6 y 7, son el 70,5% de las actuaciones en ejecución.
Evaluación del impacto de la adopción de las actuaciones en ejecución del PAP&PD por organismo público participante. Porcentajes y número de actuaciones (entre paréntesis)
| CIPS SGPS | CIPS DGPM | CIPS DGPD | CIPS ASSDA | FAISEM | CS / SAS | CEDU | CEEC / SAE | CFV | CHAP / IAAP | CJI / ESPA | CCUL | CTD | Total | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. Sin impacto | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| 2. Información / concienciación | - | 17.6% (3) | - | 4.3% (1) | - | - | - | - | - | 16.7% (1) | - | 11.8% (2) | - | 4.0% (7) |
| 3. Asimilación | - | - | 7.7% (1) | 13.0% (3) | 7.1% (1) | 14.0% (7) | - | - | - | - | 50.0% (4) | - | 9.1% (1) | 9.7% (17) |
| 4. Traslación | - | - | 7.7% (1) | 13.0% (3) | - | 40.0% (20) | - | 22.2% (2) | - | - | - | - | 18.2% (2) | 15.9% (28) |
| 5. Asignación | - | - | - | - | 7.1% (1) | - | - | - | - | - | - | - | 27.3% (3) | 2.3% (4) |
| 6. Provisión | - | 35.3% (6) | - | 13.0% (3) | - | 28.0% (14) | 75.0% (3) | 11.1% (1) | - | - | 50.0% (4) | 11.8% (2) | - | 18.8% (33) |
| 7. Monitorización | 100.0% (2) | 47.1% (8) | 84.6% (11) | 56.5% (13) | 85.7% (12) | 18.0% (9) | 25.0% (1) | 66.7% (6) | 100.0% (2) | 83.3% (5) | - | 76.5% (13) | 45.5% (5) | 49.4% (87) |
| N° actuaciones en ejecución | 2 | 17 | 13 | 23 | 14 | 50 | 4 | 9 | 2 | 6 | 8 | 17 | 11 | 176 |
ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.
Las entidades participantes con un porcentaje de más del 75% de las actuaciones en ejecución valoradas con el máximo nivel de impacto fueron las consejerías competentes en servicios sociales, fomento y vivienda, y cultura, junto con las entidades públicas destinadas a la Administración pública y la integración de las personas con enfermedad mental. Por el contrario, las consejerías competentes en salud y justicia, e interior, todavía tenían el 50% de sus actuaciones sin asignación económica o de recursos en el primer año.
La figura 1 muestra los diagramas de araña que permiten ver el progreso de la implementación del Plan anualmente por línea prioritaria y por objetivo estratégico, y en la figura 2 se muestra este progreso por entidad participante.
Diagramas del nivel de implementación de las actuaciones en ejecución del PAP&PD por línea prioritaria (P) y objetivo estratégico (OBJ). ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.
Diagramas del nivel de implementación de las actuaciones en ejecución del PAP&PD por consejería o entidad pública de la Junta de Andalucía, en 2017. ASSDA: Agencia de Servicios Sociales y Dependencia de Andalucía; CCUL: Consejería de Cultura; CEDU: Consejería de Educación; CEEC: Consejería de Economía, Empleo y Comercio; CFV: Consejería de Fomento y Vivienda; CHAP: Consejería de Hacienda y Administración Pública; CIPS: Consejería de Igualdad y Políticas Sociales; CJI: Consejería de Justicia e Interior; CS: Consejería de Salud; CTD: Consejería de Turismo y Deporte; DGPD: Dirección General de Personas con Discapacidad; DGPM: Dirección General de Personas Mayores; ESPA: Escuela de Seguridad Pública de Andalucía; FAISEM; Fundación Andaluza para la Integración Social de Personas con Enfermedad Mental; IAAP: Instituto Andaluz de Administración Pública; SAE: Servicio Andaluz de Empleo; SAS: Servicio Andaluz de Salud; SGSS: Secretaría General de Servicios Sociales.
La usabilidad de la AIL para la evaluación de la adopción del Plan ha sido muy favorable. La validez simple o de criterio fue alta, ya que los participantes puntuaron la relevancia con una media de 7,7/10 y la valoraron mayoritariamente como «media-alta» (55%) o «alta» (25%). Por otro lado, la viabilidad de la AIL para el objetivo propuesto también ha sido buena. Los participantes valoraron mayoritariamente como «media-alta» todas las dimensiones del inventario de viabilidad, alcanzando porcentajes entre el 50% y el 65%. Entre el 20% y el 35% dieron una valoración máxima («alta») a los diferentes dominios. La valoración «media-baja» en alguno de los ítems osciló entre el 5% y el 10%, excepto para la novedad, que no recibió esta valoración. Por su parte, las puntuaciones numéricas medias fueron superiores a 7/10 en todas las dimensiones, alcanzando 8/10 en las de novedad y potencialidad. La novedad fue la dimensión con una media de puntuación más alta (8,4/10), mientras que la eficiencia y la efectividad obtuvieron la media menor (7,4/10). Finalmente, la fiabilidad interexaminadores de la AIL fue buena (κ=0,721; IC95%: 0,51-0,94) (véase tabla III en el Apéndice online).
DiscusiónEl PAP&PD ha requerido la cooperación y la coordinación de 13 organismos públicos y de un amplio espectro de representantes de los diferentes grupos de interés y partícipes sociales. Para ello, se adoptó una estrategia de escalabilidad y despliegue de las actuaciones tradicionales junto con otras prácticas innovadoras, lo que ayudó a reforzar los servicios de prevención y promoción de la autonomía personal de la Junta de Andalucía. No obstante, la complejidad del Plan y de sus intervenciones no ha podido evitar algunas duplicidades y ha dificultado su seguimiento al no haber sido consensuados previamente los indicadores de seguimiento entre todas las entidades. Asimismo, los objetivos del Plan son muy ambiciosos en términos temporales y económicos.
El número de actuaciones en ejecución en su primer año de funcionamiento, junto con los resultados obtenidos en la evaluación de su impacto a través de las 176 fichas de seguimiento, avalan el desarrollo y la implementación del Plan. El método adoptado ha permitido cuantificar el paso del nivel estratégico al operativo durante la primera etapa de implantación. En 2018 se están finalizando las actuaciones comprometidas para el primer bienio, y en 2019 se procederá a una evaluación global y a la difusión de los resultados.
La evaluación del PAP&PD ha tenido una especial utilidad para monitorizar y visualizar la progresión en las diversas políticas públicas y en el fomento de la participación social de las personas mayores y de las personas con discapacidad, lo que tiene una gran importancia para el desarrollo de estrategias de atención integral centradas en la persona, como la propuesta en la estrategia de la OMS32 y sus directrices para la Atención Integral de las Personas Mayores33. La evaluación de planes que promueven la participación activa de las personas mayores y de las personas con discapacidad, como el PAP&PD, permite visualizar y difundir a la sociedad los valores que suponen una convivencia activa, integradora, intergeneracional y participativa.
Dado el número de actuaciones puestas en marcha en 2017, su alta transversalidad y el nivel de ejecución alcanzado, el PAP&PD constituye una herramienta de especial interés para las estrategias regionales de envejecimiento activo y saludable, de servicios sociales y de programas europeos como el EIPonAHA. Esta experiencia puede permitir su aplicación en otras estrategias multisectoriales y multidimensionales en el ámbito de la salud y de la atención social.
Este estudio muestra que es posible utilizar la AIL y su representación gráfica para la evaluación del impacto de planes institucionales complejos, multidimensionales y multisectoriales en los que participan un gran número de agentes sociales. La metodología AIL ha permitido evaluar la implementación y el desarrollo del Plan de una forma coordinada, visualmente amigable y ordenada. También ha posibilitado el seguimiento de los objetivos con independencia de la fase en que se encuentre el Plan y el trabajo avanzado por cada entidad participante.
La evaluación de la fiabilidad interexaminadores de la escala apunta a que el mayor número de no coincidencias se produce en los niveles de evaluación 3 y 4 (asimilación-traslación) y en la puntuación 6 y 7 (provisión-monitorización), por lo que podría plantearse una mejora en la definición o una simplificación de esos niveles. Por su parte, la valoración de la viabilidad de su uso fue mayoritariamente favorable, sobre todo en los dominios de novedad y potencialidad.
Como principal limitación del estudio cabe señalar que es la primera vez que se utiliza la escala AIL del impacto de la adopción en nuestro país. Esta situación ha podido dificultar su utilización por parte de los expertos de la Administración pública y podría haber lastrado los resultados de fiabilidad interexaminadores. Por otra parte, las fichas de seguimiento de las actuaciones del Plan han sido cumplimentadas por expertos de cada agencia, lo que podría introducir un sesgo de la valoración hacia posiciones más positivas. No obstante, la revisión del director del Plan y del evaluador externo posiblemente redujo los posibles sesgos.
En conclusión, el carácter multisectorial del PAP&PD es una fortaleza, pero al mismo tiempo dificulta su seguimiento y evaluación al implicar a agentes con objetivos y funcionamientos muy diferentes. La evaluación del impacto de la adopción del Plan mediante la escala AIL descrita en este estudio ha permitido conocer de una forma efectiva y fácilmente comprensible para los decisores el estado de las actuaciones propuestas por el Plan en su primer año de implementación. Este conocimiento permitirá identificar y gestionar las actuaciones que no han sido desarrolladas de la forma prevista y mejorar la planificación de otras actuaciones durante el marco temporal del Plan. Por último, este estudio también ha constatado que la escala AIL presenta una alta usabilidad y una buena fiabilidad para la evaluación del impacto de la adopción de políticas y planes sociosanitarios de alta complejidad, como son los multisectoriales.
Editor responsable del artículoMariano Hernán.
Declaración de transparenciaEl autor principal (garante responsable del manuscrito) afirma que este manuscrito es un reporte honesto, preciso y transparente del estudio que se remite a Gaceta Sanitaria, que no se han omitido aspectos importantes del estudio, y que las discrepancias del estudio según lo previsto (y, si son relevantes, registradas) se han explicado.
El envejecimiento de la población como consecuencia del aumento de la esperanza de vida, con el consiguiente incremento de los problemas de cronicidad, pluripatología, fragilidad, discapacidad y finalmente dependencia, empieza a ser uno de los mayores problemas sociosanitarios y de salud pública, tanto para los gobiernos de todo el mundo como para la viabilidad de los sistemas públicos de atención y cuidados. Desde las instituciones responsables se está demandando la búsqueda urgente de nuevas medidas innovadoras que permitan controlar y paliar esta situación. Es necesario que las autoridades sociosanitarias pongan en marcha estas medidas para que la ciudadanía cambie sus hábitos y se empodere en los programas de prevención y de autonomía personal.
¿Qué añade el estudio realizado a la literatura?Este estudio ha posibilitado el seguimiento de una actuación innovadora en Andalucía de un plan que está coordinando todas las políticas y del que no tenemos constancia que se haya realizado en otras comunidades autónomas de España. Además, está utilizando un nuevo modelo de evaluación del impacto de la implementación no utilizado anteriormente en análisis de programas o planes en Europa, y que no es habitual en el entorno de los servicios sociales. Además, se ha realizado el esfuerzo de validación de la escala Adoption Impact Ladder.
Todas las personas firmantes cumplen los criterios de autoría. F. Alonso-Trujillo y L. Salvador-Carulla diseñaron y dirigieron el estudio en cada etapa y realizaron la redacción del borrador del artículo y su versión final. J.A. Salinas-Pérez y M.R. Gutiérrez-Colosía participaron en el análisis de utilidad de la escala de impacto y contribuyeron en el primer manuscrito del artículo y en las revisiones. J.L. González-Caballero y J.A. Salinas-Pérez realizaron la selección de metodologías y el análisis estadístico. P. Gálvez Daza y M. Martínez Domene participaron en la concepción del Plan, la organización, el diseño, la coordinación de grupos focales y las comisiones interinstitucionales de trabajo. S. Pinzón Pulido y S. Jiménez González trabajaron en la redacción y la revisión, así como en el análisis, la verificación y la interpretación de datos de seguimiento del PAP&PD. Todas las personas firmantes han aprobado la versión final del manuscrito.
AgradecimientosDeseamos expresar nuestro agradecimiento por su colaboración en la coordinación interinstitucional a A. Pérez-Lucena, P. Parrado, F.J. Martín (D.G. Personas Mayores, Consejería de Igualdad y Políticas Sociales), M. Presencio, C. Vélez, G. Rivas (D.G. Personas con Discapacidad, Consejería de Igualdad y Políticas Sociales), A. Velasco, M. Serradilla, M. Robert, M. García-Sáez, E. Aguilar (Agencia de Servicios Sociales y Dependencia de Andalucía), A.M. Vázquez, M.D. Cardero (Consejería de Empleo, Empresa y Comercio), M.M. Uña, J.L. Romero, J.M. García (Consejería de Cultura), J.M. Espinosa Almendros (Consejería de Salud), M.D. Gallardo, L.F. Anguas, D. Pérez (Consejería de Justicia e Interior), M. Vázquez-Uceda, I. Prieto (D.G. Participación y Equidad, Consejería de Educación), M.L. Martínez, C. Gómez, F.J. Morales (Instituto Andaluz de Administración Pública), M.I. Adán (Consejería de Fomento y Vivienda), R. García-Soto, M. Nogales (Consejería de Turismo y Deporte), A. López-Pardo y S. González (Fundación Pública Andaluza para la Integración Social de las Personas con Enfermedad Mental).
FinanciaciónEste artículo emana del programa de comunicación del PAP&PD y de la European Innovation Partnership on Active and Healthy Ageing de la Comunidad Europea, cuya participación es sostenida por fondos propios de la Consejería de Igualdad y Políticas Sociales de la Junta de Andalucía.
Conflictos de interesesNinguno.
