Initiatives nationales

Mesure et évaluation du rendement

Guide de ressources

Janvier 2004

Introduction

Quel est le but du Guide de ressources?

Le Guide vise à aider les fournisseurs de services, les représentants provinciaux, les agents de CIC et les autres intervenants à adopter une terminologie commune pour parler des résultats du programme d'établissement et de la reddition de comptes.

Le Guide présente les définitions des termes courants de la gestion axée sur les résultats et des modèles logiques préliminaires propres aux programmes. Ces définitions s'appuient sur celles établies par le Secrétariat du Conseil du Trésor. On peut les trouver en ligne à l'adresse suivante : http://www.tbs-sct.gc.ca/eval/tools-outils_f.asp.

Résultats

Pourquoi les résultats sont-ils importants?

Au cours des dix à quinze dernières années, la pression sur les gouvernements a augmenté pour qu'ils mettent l'accent sur les résultats.

Les citoyens ont clairement indiqué qu'ils s'attendaient à recevoir des services de qualité pour les impôts qu'ils versent, de même que des services reflétant bien leurs priorités. Les gouvernements ont reconnu l'importance de démontrer qu'ils font un usage efficace et efficient des fonds publics en ayant recours à de bonnes pratiques de gestion du risque et en rendant compte de leurs résultats.

Des résultats pour les Canadiens et les Canadiennes

Le Canada ne fait pas exception et le cadre de gestion du gouvernement fédéral, Des résultats pour les Canadiens et les Canadiennes, souligne l'importance de voir au-delà des activités afin de miser sur les résultats et les avantages qu'en retirent les Canadiens.

Des résultats pour les Canadiens et les Canadiennes précise également que le fait de mesurer et d'évaluer les résultats permet aux organismes de récompenser le succès, d'apprendre par l'expérience et de gagner la confiance du public.

Vous trouverez Des résultats pour les Canadiens et les Canadiennes sur le site Web du Secrétariat du Conseil du Trésor à l'adresse suivante :
http://www.tbs-sct.gc.ca/res_can/rc_f.asp.

Politique du Conseil du Trésor

La Politique du Conseil du Trésor sur les paiements de transfert met aussi l'accent sur les résultats et l'obligation de rendre des comptes. La politique prévoit que les ministères ayant des programmes de paiements de transfert doivent obtenir l'approbation du Conseil du Trésor avant le 31 mars 2005 pour remplacer ou renouveler les conditions relatives à ces programmes.

La politique énonce des exigences précises pour que les ministères établissent un Cadre de gestion et de responsabilisation axé sur les résultats, qui prévoit des mécanismes adéquats de mesure et de communication des résultats. La politique peut être consultée à l'adresse suivante :
http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TBM_142/ptp_f.asp.

Gestion axée sur les résultats et responsabilisation

Qu'est-ce que la gestion axée sur les résultats?

La gestion axée sur les résultats est une approche participative favorisant le travail d'équipe qui met l'accent sur les efforts d'un organisme ou d'un programme à atteindre des résultats.

La gestion axée sur les résultats prévoit la définition réaliste des résultats visés, l'évaluation du risque, le suivi des progrès vers l'atteinte des résultats (mesure du rendement), l'intégration des leçons apprises aux décisions de gestion, et la présentation de rapports sur les résultats simples et faciles à comprendre.

Qu'est-ce que la responsabilisation?

La responsabilisation (aussi appelée imputabilité et reddition de comptes) désigne la responsabilité qu'ont les gestionnaires de tous les programmes financés par les fonds publics de rendre compte de la façon dont les fonds sont dépensés et des avantages que ces initiatives procurent aux participants et à la société.

Cadre d'imputabilité pour les programmes de contributions

Qu'est-ce que le Cadre d'imputabilité pour les programmes de contributions?

En 1999, CIC a entrepris l'élaboration d'un cadre d'imputabilité pour ses programmes de contributions pour l'établissement.

Ce cadre assurera l'imputabilité des dépenses d'établissement grâce à un contrôle de la prestation des services et à l'évaluation de l'efficacité des programmes. L'information recueillie servira également à déterminer les modifications qui devraient être apportées aux programmes dans le but d'accroître la capacité des nouveaux arrivants à s'intégrer dans la société canadienne.

Enfin, la mise en œuvre du cadre aidera aussi le Ministère à se conformer à la Politique du Conseil du Trésor sur les paiements de transfert.

Le cadre s'applique à quatre programmes de contributions pour l'établissement :

• Cours de langue pour les immigrants au Canada (CLIC);
• Programme d'établissement et d'adaptation des immigrants (PEAI);
• Programme d'accueil;
• Programme d'aide au réétablissement (PAR).

Le Cadre d'imputabilité pour les programmes de contributions (CIPC) comporte cinq volets clés :

• la mesure du rendement;
• l'évaluation;
• le processus lié aux ententes de contribution;
• le contrôle de la gestion (le cas échéant, selon les termes de l'entente);
• l'imputabilité provinciale territoriale.

Outils de responsabilisation

Le guide se concentrera sur la mesure du rendement et l'évaluation qui constituent deux principaux outils de responsabilisation.

La mesure du rendement (contrôle du programme) consiste en la collecte CONTINUE et la communication de renseignements sur la mise en œuvre du programme dans le but d'éclairer le processus décisionnel du Ministère. Ces renseignements seront presque totalement recueillis par l'iSMRP, tel que décrit dans les pages suivantes.

L'évaluation consiste en la collecte systématique PÉRIODIQUE et l'analyse de renseignements sur le rendement d'une politique, d'un programme ou d'une initiative afin d'en déterminer la pertinence, le progrès, la réussite et l'efficacité par rapport aux coûts, et d'éclairer les futures décisions concernant la conception et la mise en œuvre des programmes. CIC a élaboré une stratégie d'évaluation pour ses programmes d'établissement. Cette stratégie peut être consultée à l'adresse suivante :
http://integration-net.ca/francais/ini/caf-cipc/index.htm.

Mesure du rendement

Qu'est-ce que l'iSMRP?

Le Immigration – Système de mesure pour la reddition de comptes concernant les programmes de contributions de l'immigration (iSMRP) est une base de données sur Internet conçue pour que les fournisseurs de services donnent à CIC des renseignements au sujet de leurs clients et de leurs services. L'iSMRP fait partie intégrante du volet de la mesure du rendement du CIPC.

Quels renseignements sont recueillis?

CIC utilisera l'iSMRP pour recueillir des renseignements quantitatifs sur la mesure du rendement. Le tableau présenté ci-dessous donne quelques exemples du type de renseignements sur les clients recueillis par l'iSMRP:

• IMM1000 (fiche relative au droit d'établissement) ou autre numéro d'identification de client d'immigration
• nom
• adresse
• date de naissance
• sexe
• pays de naissance, citoyenneté et dernier lieu de résidence permanente
• formation scolaire et linguistique
• état matrimonial et situation familiale
• date d'arrivée et d'établissement

L'iSMRP fera la collecte de renseignements sur les clients, mais aussi sur les services et les programmes que les fournisseurs de services offrent aux clients.

Mesure du rendement (suite)

Quel est le but de la collecte de données par l'iSMRP?

Les renseignements recueillis auprès des fournisseurs de services donneront à CIC une idée plus précise des RÉSULTATS concrets de chaque programme. Plus particulièrement, les données de l'iSMRP serviront aux fins suivantes :

• le contrôle des programmes (mesure du rendement)
• l'évaluation des programmes
• l'analyse des politiques
• la recherche

Évaluation

Les évaluations de programmes fournissent des données quantitatives et qualitatives supplémentaires. Les évaluations des programmes d'établissement sont vues comme faisant partie de la mise en œuvre du Cadre d'imputabilité pour les programmes de contributions. Le programme de Cours de langue pour les immigrants au Canada (CLIC) sera évalué en 2003-2004 et ensuite le Programme d'établissement et d'adaptation des immigrants (PEAI) et le Programme d'accueil seront évalués en 2004-2005.

Les évaluations incluront une discussion participative de vaste portée sur les résultats des programmes. Dans le cadre des activités de préévaluation pour l'élaboration de ses programmes d'établissement et de réétablissement, CIC engagera un consultant externe en gestion axée sur les résultats (GAR) qui tiendra des ateliers sur la GAR pour les fournisseurs de services de tout le pays. Ces ateliers viseront à obtenir de la rétroaction sur les indicateurs et les énoncés des résultats préliminaires pour chacun des programmes d'établissement et de réétablissement de CIC. Les modèles logiques préliminaires de ces programmes sont exposés dans les pages qui suivent. Les ateliers sur la GAR pour le programme CLIC ont eu lieu en novembre 2003. C'est en février et en mars prochains qu'auront lieu les ateliers pour le PEAI et le Programme d'accueil.

Il est important que les programmes énoncent clairement les résultats qu'ils souhaitent atteindre, ainsi que les indicateurs qui seront utilisés pour mesurer ces résultats, et ce, avant même l'évaluation. Les programmes doivent connaître les objectifs visés pour qu'il soit possible, par la suite, de déterminer si les résultats souhaités ont été obtenus ou non.

Terminologie relative aux principaux résultats

Les résultats sont des changements qui se produisent à la suite des activités ou des extrants d'un programme, et que l'on peut classer en résultats immédiats (court terme), intermédiaires (moyen terme) ou finaux (long terme).

Enchaînement de résultats

Le diagramme ci-dessous donne une interprétation plus visuelle du tableau présenté à la page précédente…
l'enchaînement de résultats…

L'enchaînement de résultats illustre le lien causal ou logique entre les intrants, les activités, les extrants et les résultats. Cet enchaînement peut également figurer dans un modèle logique de programme.

Mesurer les résultats

Que sont les indicateurs?

Il ne suffit pas de définir les résultats, il faut également les mesurer. Des indicateurs sont utilisés pour évaluer si les résultats ont été atteints ou non.

Les indicateurs peuvent être qualitatifs ou quantitatifs. Les indicateurs qualitatifs consistent en des jugements ou des impressions. Les indicateurs quantitatifs sont des mesures de quantité.

Les indicateurs peuvent être des indices, des mesures, des nombres, des faits, des opinions ou des impressions qui aident à mesurer la progression des changements. Voici des exemples d'indicateurs :

Exemples d'indicateurs

• Augmentation de…
• Diminution de…
• Nombre de…
• Pourcentage de…

Dispositif de mesure

• Indice
• Nombre
• Fait
• Opinion
• Impression

Modèles logiques propres aux programmes

Veuillez consulter l'annexe A pour voir le modèle logique du CLIC. Il y a eu des consultations en novembre 2003 pour obtenir des commentaires sur ce modèle.

À l'annexe A, vous trouverez également les modèles logiques provisoires du PEAI et du Programme d'accueil. Ces modèles seront utilisés comme documents de base pendant les ateliers sur les résultats.

Éléments de données

Pour créer des indicateurs, des données doivent être recueillies.

Les éléments de données sont les renseignements qui sont recueillis, tels que le nombre de clients qui utilisent les services, selon le type.

Les données seront recueillies auprès des fournisseurs de services au moyen de l'iSMRP et d'évaluations.

CIC a accepté de recueillir des données individuelles uniquement pour le CLIC et le PAR. Cela ne devrait poser aucun problème puisque le CLIC est un service normalisé et non confidentiel. Le PAR est encore plus normalisé et sa nature exige que l'information sur les clients soit fournie à CIC aux fins de soutien du revenu.

Dans le cas du PEAI et du Programme d'accueil, CIC a accepté que soient fournies des données globales sur l'utilisation des services par les clients ainsi qu'une liste de renseignements sur les clients, y compris les numéros d'identification. Toute collecte de données individuelles concernant le PEAI et le Programme d'accueil sera effectuée sur une base volontaire par les fournisseurs de services.

Importance des données de référence

Les données de référence sont particulièrement importantes. Il est difficile, sinon impossible, de mesurer le changement survenu au cours d'une certaine période sans données de référence. Celles-ci constituent le point de repère à partir duquel le progrès peut être mesuré. Dans l'iSMRP, cela consiste à avoir accès aux données antérieures sur les clients.

Les éléments de données présentés dans les pages qui suivent constitueront la base des rapports de l'iSMRP. L'iSMRP sera en mesure de produire des rapports à partir de ces éléments de données et des caractéristiques du profil des clients. La présentation des rapports changera selon que les renseignements sur les services sont individuels ou globaux.

Éléments de données (suite)

Afin d'assurer la protection et la confidentialité des renseignements recueillis au moyen de l'iSMRP, CIC a procédé à l'application des recommandations faites par le Commissaire à la protection de la vie privée du Canada. CIC a également fait appel aux services d'une entreprise indépendante pour mener une Évaluation des facteurs relatifs à la vie privée. CIC a aussi développé des outils de formation et d'information, comme une brochure et une affiche qui informent les clients sur le but de la collecte de renseignements par l'iSMRP, ainsi qu'un guide sur la protection des renseignements personnels pour le personnel de CIC. Pour obtenir de plus amples renseignements sur la vie privée et la sécurité, veuillez visiter le site Web du Cadre d'imputabilité pour les programmes de contributions au http://integration-net.ca/francais/ini/caf-cipc/index.htm.

Caractéristiques du profil des clients

• âge
• sexe
• pays de naissance
• pays de citoyenneté
• pays de la dernière résidence permanente
• ville de destination
• langue maternelle
• catégorie d'immigrants
• code du programme spécial
• niveau d'études
• années de scolarité
• connaissance des langues officielles
• état matrimonial
• situation familiale
• date d'établissement
• citoyenneté canadienne
• bureau des visas

Ces éléments de données et définitions ont été établis à la suite de discussions menées avec le Comité consultatif de la mesure du rendement, les groupes de travail des programmes nationaux de l'AC, la gestion de l'établissement et l'Équipe chargée de l'imputabilité.

Éléments de données – Tous les programmes

Les données indiquées ci-contre seront recueillies pour les Cours de langue pour les immigrants au Canada (CLIC), le Programme d'établissement et d'adaptation des immigrants (PEAI), le Programme d'accueil et le Programme d'aide au réétablissement (PAR).

TOUS LES PROGRAMMES

1. Le numéro d'identification du client du SSOBL, le numéro de l'IMM 5292/5509/1000, OU le numéro de résident temporaire ou du permis ministériel
2. Le prénom et le nom de famille – CIC
3. La date de naissance
4. Adresse, ville, province et code postal du domicile

Pour chaque programme, des éléments de données particuliers peuvent être trouvés dans les manuels de formation de l'iSMRP.

Annexe A

• Modèle logique du programme CLIC / LINC
  >>format Adobe® Acrobat , volume : 37 k 1 p
• Modèle logique du PEAI
  >>format Adobe® Acrobat , volume : 29 k 1 p
• Modèle logique du Programme d'accueil
  >>format Adobe® Acrobat , volume : 28 k 1 p

Retour au début
Stratégie d'évaluation des programmes d'établissement