Monitoreo y evaluación de políticas

Una visión general de los principios clave para medir el impacto de las políticas deportivas y de desarrollo.

Los Objetivos de Desarrollo Sostenible (ODS) enfatizan la necesidad de fortalecer los sistemas nacionales de datos y los programas de evaluación. La meta 17.18, por ejemplo, se refiere a desarrollar la capacidad de los países menos desarrollados para aumentar la disponibilidad de datos, mientras que la 17.19 se enfoca en desarrollar medidas de progreso y apoyar la creación de capacidad estadística en los países en desarrollo. Otra documentación específica del deporte, como la resolución A/71/L.38 de la Asamblea General de la ONU de 2016 sobre el deporte como medio para promover la educación, la salud, el desarrollo y la paz , enfatiza la necesidad de mostrar evidencia de impacto para evaluar las contribuciones a los ODS.

Es fundamental recopilar y analizar datos sobre cualquier póliza. Demuestra si una política ha logrado sus objetivos y ayuda a guiar las decisiones políticas futuras. Medir el impacto de los enfoques basados en el deporte puede ser incluso más importante que en otras áreas. Esto se debe en parte a que algunas personas se muestran escépticas de que el deporte pueda ser útil en el desarrollo, y se necesitan datos para demostrar que puede ser eficaz. Por el contrario, también se debe a la preocupación de que sus defensores a veces hacen afirmaciones exageradas e idealistas sobre el impacto del deporte: existe la necesidad de datos que sean confiables y que vayan más allá de la evidencia anecdótica.

Sin embargo, medir el impacto del deporte es muy complejo.

Desafíos

  1. Es difícil aislar el papel del deporte: ¿fue el deporte lo que condujo a los cambios o algo más? Puede ser difícil demostrar que el deporte contribuyó a los éxitos informados. Esto es especialmente cierto dado que las iniciativas basadas en el deporte suelen tener lugar al mismo tiempo que otras iniciativas que persiguen los mismos objetivos y dado que los programas deportivos suelen incluir componentes no deportivos que pueden ser cruciales para posibilitar el cambio.
  2. Aunque el deporte puede ayudar a alcanzar los objetivos de desarrollo, rara vez es el principal enfoque político para lograrlo.
  3. Existen datos limitados para evaluar la contribución del deporte al desarrollo. Los niveles de disponibilidad de datos varían de un país a otro, pero muchos no cuentan con sistemas rigurosos relacionados con el deporte. La mayoría de los datos se centran en proyectos o programas específicos, lo que dificulta medir la contribución del deporte a los objetivos nacionales, regionales o mundiales.
  4. Los datos a nivel nacional que existen normalmente se relacionan con el porcentaje de la población que participa en el deporte, el tamaño y la contribución de la fuerza laboral deportiva o la medición de la economía del deporte al PIB. Otros datos son más limitados o inexistentes
  5. La mayoría de los datos relacionados con el deporte se recopilaron como parte de un estudio único. Eso dificulta el seguimiento de los cambios a lo largo del tiempo.
  6. La capacidad para recopilar datos suele ser limitada. Por ejemplo, cuando las políticas deportivas incluyen objetivos de desarrollo, los formuladores de políticas y los encargados de tomar decisiones en el deporte a menudo carecen de la experiencia y la capacitación para recopilar e informar sobre los datos necesarios para mostrar su impacto más allá del campo de juego.
  7. La mayoría de los conjuntos de herramientas y recursos desarrollados se centran en proyectos o programas, lo que dificulta la creación de capacidad para los encargados de formular políticas, que tienen diferentes necesidades.
  8. Gran parte de la evidencia que existe es anecdótica: no hay suficientes datos cuantitativos

Recomendaciones

A pesar de los desafíos, medir el impacto del deporte no es imposible. Hay un creciente cuerpo de investigación y asesoramiento para ayudar a los formuladores de políticas a hacerlo. Surgen varios temas clave.

Triangular diferentes fuentes de datos

Una técnica que ahora se usa a menudo en la investigación, la 'triangulación' implica mirar múltiples fuentes de datos y usar más de un método para recopilar datos. Como a menudo no es posible aislar el papel del deporte en un resultado de desarrollo en comparación con otras influencias, se necesita la triangulación para emitir un juicio sobre las contribuciones directas e indirectas del deporte y para informar la formulación de políticas futuras.

La triangulación significa mirar datos de los niveles local, regional, nacional e internacional, así como de iniciativas de otros actores como la sociedad civil y la investigación académica. Unir diferentes tipos de datos es clave, mientras que también incluir diferentes formatos, como datos de redes sociales o aplicaciones de clubes deportivos, también puede ser complementario. Existen diferentes tipos de triangulación, tal como lo describe la Secretaría de la Commonwealth en Mejora de la contribución del deporte a los Objetivos de Desarrollo Sostenible (página 39).

Trabajar con otros sectores

El desarrollo de indicadores y marcos de seguimiento para medir las contribuciones al desarrollo relacionadas con el deporte debe hacerse en colaboración con otros sectores. No se trata solo de obtener acceso a las fuentes de datos (ver triangulación), sino también de desarrollar capacidades y compartir conocimientos.

Ayuda a evitar la replicación innecesaria de los esfuerzos existentes, al tiempo que permite a los legisladores deportivos aprender de la experiencia en otros departamentos. Las agencias nacionales de estadística y las instituciones de investigación pueden desempeñar un papel particularmente importante. Por otro lado, los responsables de la formulación de políticas deportivas también pueden ver cómo su trabajo puede contribuir a los esfuerzos de los demás.

Adoptar una teoría del cambio

Una teoría del cambio puede entenderse como una hipótesis de desarrollo, que identifica una conexión entre las actividades de una política y los resultados/cambios previstos. Es muy importante para comprender la justificación y el impacto de una intervención política, y es particularmente útil para el seguimiento y la evaluación.

Las teorías del cambio presentan proyectos o políticas como cadenas causales que muestran cómo diferentes factores pueden tener un impacto positivo o negativo en un resultado deseado. Estos factores podrían, por ejemplo, incluir información sobre los participantes (como sus niveles educativos o edad), lo que facilita ver hasta qué punto fue la intervención la que provocó cambios en lugar de otros factores.

Sin embargo, no existe una teoría del cambio para el deporte y el desarrollo que abarque todo el sector. Muchas organizaciones han adoptado una teoría del cambio o un marco lógico para su propio trabajo.

Retorno social de la inversión

La Universidad Sheffield Hallam define el retorno social de la inversión como un " marco para medir y comprender el valor económico, social y ambiental no comercial de una actividad, intervención, política u organización ". Por lo general, asigna un valor financiero a esos resultados no comerciales y proporciona a los gobiernos, las organizaciones deportivas y el sector privado datos que muestran cómo, dónde y por qué invertir en el deporte.

Un ejemplo es un informe de Laureus Sport for Good Foundation , que analizó proyectos deportivos comunitarios en Alemania, Italia y el Reino Unido. Argumentó que hay pruebas que sugieren que cada euro invertido en proyectos deportivos puede reducir los costes para la sociedad en una media de 5,02 euros en la reducción de la delincuencia. Estos ahorros provienen de la reducción de costos para las víctimas de delitos, la policía y los tribunales.

La técnica está ganando popularidad entre los políticos. Sin embargo, su uso para medir el valor de proyectos y políticas deportivas aún es relativamente limitado.

Utilice indicadores SMART

Utilizado originalmente como una herramienta de gestión para ayudar a los directores de proyectos a alcanzar sus objetivos, el acrónimo 'SMART' ahora se usa con frecuencia en el desarrollo para el seguimiento y la evaluación. Se refiere a la noción de que los indicadores que miden el impacto deben ser específicos, medibles, alcanzables, relevantes y oportunos.

Recopilar datos desglosados

En relación con los ODS, con frecuencia se ha promocionado la recopilación de datos para garantizar que “nadie se quede atrás” . Significa desglosar las estadísticas para que muestre, por ejemplo, ingresos, género, edad, raza, etnia, estado migratorio, discapacidad, ubicación y población rural versus urbana.

Promover la igualdad y la inclusión es fundamental para los ODS, así como para los marcos de políticas deportivas como el Plan de Acción de Kazán. La razón por la que los datos desglosados son tan importantes es que, si vamos a seguir el progreso general hacia estos objetivos, necesitamos saber que la situación de los más vulnerables está mejorando. Al formular políticas, los datos desglosados también ayudan a demostrar dónde se ubicaría mejor la inversión.

Utilice productos, resultados e impacto para definir diferentes fuentes de valor

En “ Mejorar la contribución del deporte a los ODS ” (página 38), la Secretaría de la Commonwealth insta a los legisladores a distinguir entre tres formas diferentes de definir el 'valor' de una política:

  • Productos: Suelen medir la productividad de una intervención, pero no su valor social, económico o ambiental. Los ejemplos incluyen el número de participantes, personas involucradas en una iniciativa educativa o la demografía de aquellos en un rol de liderazgo.
  • Resultados: Medir los cambios en la vida de las personas, la economía o el medio ambiente como resultado de una política o intervención.
  • Impacto: Un efecto que cumple objetivos estratégicos más amplios. Esto es más difícil de medir porque las intervenciones generalmente ocurren en el contexto de muchas otras influencias.

Siga un enfoque de dos niveles para la recopilación de datos

Para abordar los desafíos relacionados con la disponibilidad y recopilación de datos limitada, el Plan de Acción de Kazan y la Secretaría de la Commonwealth han recomendado un enfoque de dos niveles para garantizar que la formulación de políticas se base en datos sólidos.

  • En primer lugar, la recopilación de datos a nivel nacional debe mostrar “indicadores generales básicos” (p. ej., asignaciones presupuestarias, infraestructura física, número de trabajadores y participación) y su desagregación en relación con variables clave del marco de los ODS (p. ej., sexo, edad y personas con discapacidad).
  • En segundo lugar, indicadores más específicos “deberían permitir a los gobiernos medir la contribución del deporte a los ODS, metas y/o indicadores identificados que se priorizan de acuerdo con su contexto específico”. Estos deben distinguir entre las contribuciones directas e indirectas de las intervenciones de política deportiva a metas específicas de los ODS.

El Plan de Acción de Kazán y los indicadores del modelo

El Plan de Acción de Kazan fue el resultado de la Sexta Conferencia Internacional de Ministros y Altos Funcionarios Responsables de la Educación Física y el Deporte (MINEPS VI), en 2017. Identifica diez ODS a los que el deporte puede contribuir significativamente, así como 36 metas específicas bajo esos ODS. Una de las cinco áreas clave de acción acordadas en la Conferencia MINEPS VI es “ desarrollar indicadores comunes para medir la contribución de la educación física, la actividad física y el deporte a los ODS y metas priorizados ”.

Este punto de acción surge de la necesidad de desarrollar indicadores específicos del deporte que se relacionen con los ODS. El Plan de Acción de Kazán menciona el riesgo de que “ las intervenciones políticas en y a través del deporte sean desatendidas, ineficaces y/o insuficientemente reconocidas ”. Ese riesgo se debe a que, aunque el deporte se menciona como un “facilitador del desarrollo sostenible y la paz” en la Agenda 2030, no se menciona específicamente en ningún objetivo o meta. El documento también enfatiza que el objetivo 17.18 se enfoca en datos de alta calidad y una mayor creación de capacidad para respaldar su recopilación.

La Secretaría de la Commonwealth ha liderado esfuerzos internacionales en el desarrollo de indicadores comunes (o "modelo"). Haga clic aquí para obtener más información sobre esta iniciativa .

Otras lecturas

Los Objetivos de Desarrollo Sostenible

Guías y marcos de ejemplo

Ejemplos y conjuntos de datos

Investigación relacionada con M&E

Miembros de la Junta Directiva

Foundation for Sport
http://www.foundationforsportanddevelopmentandpeace.com/
ittf logo
https://ittffoundation.org/home
unhcr logo
https://www.unhcr.org/
australian aid logo
https://www.sportexchange.gov.au/
norway olympic logo
https://www.idrettsforbundet.no/
laureus logo
https://www.laureus.com/sport-for-good
commonwealth logo
https://thecommonwealth.org/
Ver todos los miembros de la junta directiva