Suivi et évaluation des politiques

Un aperçu des principes clés pour mesurer l'impact des politiques de sport et de développement.

Les objectifs de développement durable (ODD) soulignent la nécessité de renforcer les systèmes nationaux de données et les programmes d'évaluation. La cible 17.18, par exemple, fait référence au renforcement des capacités des pays moins développés pour accroître la disponibilité des données, tandis que la cible 17.19 se concentre sur l'élaboration de mesures des progrès et le soutien au renforcement des capacités statistiques dans les pays en développement. D'autres documents spécifiques au sport, tels que la résolution A/71/L.38 de l'Assemblée générale des Nations Unies de 2016 sur le sport en tant que moyen de promouvoir l'éducation, la santé, le développement et la paix , soulignent la nécessité de montrer des preuves d'impact afin d'évaluer les contributions aux ODD.

Il est essentiel de collecter et d'analyser des données sur toute politique. Il montre si une politique a atteint ses objectifs et aide à orienter les décisions politiques futures. Mesurer l'impact des approches basées sur le sport peut être encore plus important que dans d'autres domaines. C'est en partie parce que certaines personnes restent sceptiques quant à l'utilité du sport dans le développement, et des données sont nécessaires pour montrer qu'il peut être efficace. À l'inverse, c'est aussi à cause des inquiétudes que des affirmations exagérées et idéalistes sur l'impact du sport sont parfois faites par ses partisans - il y a un besoin de données fiables et allant au-delà des preuves anecdotiques.

Cependant, mesurer l'impact du sport est très complexe.

Défis

  1. Il est difficile d'isoler le rôle du sport - est-ce le sport qui a conduit aux changements ou autre chose ? Il peut être difficile de démontrer que le sport a contribué aux succès signalés. Cela est particulièrement vrai étant donné que les initiatives basées sur le sport se déroulent généralement en même temps que d'autres initiatives visant les mêmes objectifs et étant donné que les programmes sportifs impliquent souvent des composantes non sportives qui peuvent être cruciales pour permettre le changement.
  2. Bien que le sport puisse contribuer à atteindre les objectifs de développement, il constitue rarement la principale approche politique pour y parvenir.
  3. Il existe peu de données pour évaluer la contribution du sport au développement. Les niveaux de disponibilité des données varient d'un pays à l'autre, mais beaucoup ne disposent pas de systèmes rigoureux liés au sport. La plupart des données se concentrent sur des projets ou programmes spécifiques, ce qui rend difficile la mesure de la contribution du sport aux objectifs nationaux, régionaux ou mondiaux
  4. Les données au niveau national qui existent concernent normalement le pourcentage de la population pratiquant un sport, la taille et la contribution de la main-d'œuvre sportive ou la mesure de l'économie du sport dans le PIB. D'autres données sont plus limitées ou inexistantes
  5. La plupart des données liées au sport ont été recueillies dans le cadre d'une étude ponctuelle. Cela rend difficile le suivi des changements dans le temps
  6. La capacité de collecte de données est souvent limitée. Par exemple, lorsque les politiques sportives incluent des objectifs de développement, les responsables politiques et les décideurs du sport manquent souvent d'expérience et de formation pour collecter et rapporter les données nécessaires pour montrer son impact au-delà du terrain de jeu.
  7. La plupart des boîtes à outils et des ressources développées se concentrent sur des projets ou des programmes, ce qui rend difficile le renforcement des capacités des décideurs, qui ont des besoins différents
  8. La plupart des preuves existantes sont anecdotiques - il n'y a pas suffisamment de données quantitatives

Recommandations

Malgré les défis, mesurer l'impact du sport n'est pas impossible. Il existe un nombre croissant de recherches et de conseils pour aider les décideurs à le faire. Plusieurs thèmes principaux se dégagent.

Trianguler différentes sources de données

Une technique maintenant souvent utilisée dans la recherche, la « triangulation » consiste à examiner plusieurs sources de données et à utiliser plus d'une méthode pour collecter des données. Comme il est souvent impossible d'isoler le rôle du sport dans un résultat de développement par rapport à d'autres influences, une triangulation est nécessaire pour porter un jugement sur les contributions directes et indirectes du sport et pour éclairer la formulation de politiques futures.

La triangulation consiste à examiner les données aux niveaux local, régional, national et international, ainsi que les initiatives d'autres acteurs tels que la société civile et la recherche universitaire. Il est essentiel de rapprocher différents types de données, tout en incluant également différents formats, tels que des données provenant de médias sociaux ou d'applications de clubs sportifs, qui peuvent également être complémentaires. Il existe différents types de triangulation, comme décrit par le Secrétariat du Commonwealth dans Enhancing the Contribution of Sport to the Sustainable Development Goals (page 39).

Travailler avec d'autres secteurs

L'élaboration d'indicateurs et de cadres de suivi pour mesurer les contributions liées au sport au développement devrait se faire en collaboration avec d'autres secteurs. Il ne s'agit pas seulement d'accéder aux sources de données (voir triangulation), mais aussi de renforcer les capacités et de partager les connaissances.

Cela permet d'éviter la répétition inutile d'efforts existants, tout en permettant aux décideurs sportifs de tirer des enseignements de l'expertise d'autres départements. Les agences nationales de statistiques et les instituts de recherche peuvent jouer un rôle particulièrement important. D'autre part, les responsables politiques du sport peuvent également examiner comment leur travail peut contribuer aux efforts des autres.

Adopter une théorie du changement

Une théorie du changement peut être comprise comme une hypothèse de développement, qui identifie un lien entre les activités d'une politique et les résultats/changements envisagés. Il est très important pour comprendre la justification et l'impact d'une intervention politique, et est particulièrement utile pour le suivi et l'évaluation.

Les théories du changement présentent les projets ou les politiques comme des chaînes causales qui montrent comment différents facteurs peuvent avoir un impact positif ou négatif sur un résultat souhaité. Ces facteurs pourraient, par exemple, inclure des informations sur les participants (telles que leur niveau d'éducation ou leur âge), ce qui permet de déterminer plus facilement dans quelle mesure c'est l'intervention qui a provoqué des changements plutôt que d'autres facteurs.

Cependant, il n'existe pas de théorie du changement à l'échelle du secteur pour le sport et le développement. De nombreuses organisations ont adopté une théorie du changement ou un cadre logique pour leur propre travail.

Retour social sur investissement

L'Université de Sheffield Hallam définit le retour social sur investissement comme un " cadre permettant de mesurer et de comprendre la valeur économique, sociale et environnementale non marchande d'une activité, d'une intervention, d'une politique ou d'une organisation ". Il attribue généralement une valeur financière à ces résultats non marchands et fournit aux gouvernements, aux organisations sportives et au secteur privé des données montrant comment, où et pourquoi investir dans le sport.

Un exemple est un rapport de la Laureus Sport for Good Foundation , qui a examiné des projets sportifs communautaires en Allemagne, en Italie et au Royaume-Uni. Il a fait valoir qu'il existe des preuves suggérant que chaque euro investi dans des projets sportifs peut réduire les coûts pour la société de 5,02 euros en moyenne en réduction de la criminalité. Ces économies proviennent de la réduction des coûts pour les victimes d'actes criminels, la police et les tribunaux.

La technique gagne en popularité auprès des décideurs politiques. Cependant, son utilisation pour mesurer la valeur des projets et des politiques sportives est encore relativement limitée.

Utiliser les indicateurs SMART

Utilisé à l'origine comme un outil de gestion pour aider les chefs de projet à atteindre leurs objectifs, l'acronyme « SMART » est maintenant fréquemment utilisé dans le développement pour le suivi et l'évaluation. Il fait référence à la notion selon laquelle les indicateurs mesurant l'impact doivent être spécifiques, mesurables, réalisables, pertinents et opportuns.

Collecter des données désagrégées

En ce qui concerne les ODD, la collecte de données a souvent été vantée pour garantir que "personne ne soit laissé pour compte" . Cela signifie décomposer les statistiques afin qu'elles montrent, par exemple, le revenu, le sexe, l'âge, la race, l'origine ethnique, le statut migratoire, le handicap, l'emplacement et la population rurale par rapport à la population urbaine.

La promotion de l'égalité et de l'inclusion est au cœur des ODD, ainsi que des cadres politiques du sport tels que le plan d'action de Kazan. La raison pour laquelle les données désagrégées sont si importantes est que, si nous voulons suivre les progrès globaux vers ces objectifs, nous devons savoir que la situation des plus vulnérables s'améliore. Lors de la formulation d'une politique, des données désagrégées aident également à montrer où l'investissement serait le mieux placé.

Utiliser les extrants, les résultats et l'impact pour définir différentes sources de valeur

Dans « Améliorer la contribution du sport aux ODD » (page 38), le Secrétariat du Commonwealth exhorte les décideurs politiques à faire la distinction entre trois façons différentes de définir la « valeur » d'une politique :

  • Extrants : mesurent généralement la productivité d'une intervention, mais pas sa valeur sociale, économique ou environnementale. Les exemples incluent le nombre de participants, les personnes engagées dans une initiative éducative ou les données démographiques de ceux qui jouent un rôle de leadership.
  • Résultats : mesurer les changements dans la vie des gens, l'économie ou l'environnement à la suite d'une politique ou d'une intervention.
  • Impact : un effet qui répond à des objectifs stratégiques plus larges. Ceci est plus difficile à mesurer car les interventions se produisent généralement dans le contexte de nombreuses autres influences.

Suivre une approche à deux niveaux pour la collecte de données

Pour relever les défis liés à la disponibilité et à la collecte limitées des données, le Plan d'action de Kazan et le Secrétariat du Commonwealth ont recommandé une approche à deux niveaux pour garantir que l'élaboration des politiques repose sur des données solides.

  • Premièrement, la collecte de données au niveau national doit montrer des « indicateurs généraux de base » (par exemple, les allocations budgétaires, les infrastructures physiques, les effectifs et la participation) et leur désagrégation par rapport aux variables clés du cadre des ODD (par exemple, le sexe, l'âge et les personnes handicapées).
  • Deuxièmement, des indicateurs plus spécifiques « devraient permettre aux gouvernements de mesurer la contribution du sport aux ODD, cibles et/ou indicateurs identifiés qui sont priorisés en fonction de leur contexte spécifique ». Celles-ci devraient faire la distinction entre les contributions directes et indirectes des interventions en matière de politique sportive à des cibles ODD spécifiques.

Le plan d'action de Kazan et les indicateurs modèles

Le Plan d'action de Kazan est le résultat de la sixième Conférence internationale des ministres et hauts fonctionnaires responsables de l'éducation physique et du sport (MINEPS VI), en 2017. Il identifie dix ODD auxquels le sport peut contribuer de manière significative, ainsi que 36 cibles spécifiques dans le cadre de ces ODD. L'un des cinq domaines d'action clés convenus lors de la conférence MINEPS VI est de « développer des indicateurs communs pour mesurer la contribution de l'éducation physique, de l'activité physique et du sport aux ODD et cibles prioritaires ».

Ce point d'action découle d'un besoin de développer des indicateurs spécifiques au sport qui se rapportent aux ODD. Le plan d'action de Kazan mentionne le risque que « les interventions politiques dans et par le sport soient négligées, inefficaces et/ou insuffisamment reconnues ». Ce risque est dû au fait que, bien que le sport soit mentionné comme un « catalyseur du développement durable et de la paix » dans l'Agenda 2030, il n'est spécifiquement mentionné dans aucun objectif ou cible. Le document souligne également que la cible 17.18 se concentre sur des données de haute qualité et sur le renforcement des capacités pour soutenir leur collecte.

Le Secrétariat du Commonwealth a dirigé les efforts internationaux sur le développement des indicateurs communs (ou "modèles") - cliquez ici pour plus d'informations sur cette initiative .

Lectures complémentaires

Les objectifs de développement durable

Guides et exemples de frameworks

Exemples et ensembles de données

Recherche liée au S&E

Membres du comité directeur

Foundation for Sport
http://www.foundationforsportanddevelopmentandpeace.com/
ittf logo
https://ittffoundation.org/home
unhcr logo
https://www.unhcr.org/
australian aid logo
https://www.sportexchange.gov.au/
norway olympic logo
https://www.idrettsforbundet.no/
laureus logo
https://www.laureus.com/sport-for-good
commonwealth logo
https://thecommonwealth.org/
Voir tous les membres du conseil d'administration