Initiatives nationales

Cadre national relatif aux normes et aux services d’établissement

Section 2
Normes de programme

Les normes de programme sont les normes de qualité minimales acceptables que les services d’établissement doivent atteindre pour pouvoir garantir un niveau minimum acceptable de service aux clients, aux bailleurs de fonds publics ou aux organisations professionnelles. Ces services devraient contribuer aux objectifs d’établissement des clients.

Bien qu’on craigne que l’application de normes se fasse au détriment de la créativité et de la souplesse, plusieurs aspects des programmes d’établissement au Canada pourraient être consolidés dans une pratique minimale commune :

Concernant les clients
Admissibilité au programme, procédure d’admission, droits et responsabilités des clients, confidentialité, procédure relative aux griefs, etc.

Concernant la prestation des services
Activités principales du service d’établissement, contraintes de temps, questions de pertinence culturelle et linguistique, gestion des cas, volume de cas, suivis, etc.

Concernant la documentation du service
Quelles statistiques sont recueillies du client et avec quel système commun; système d’information de gestion; entreposage de données, etc.

Concernant les résultats du programme
Quelle portée de résultat (à court, à moyen ou à long terme), quels indicateurs, qui est responsable de la collecte, à qui rendre compte, etc.

La présente section traite principalement des questions relatives aux normes de programme ayant trait à la mesure des résultats et à la méthodologie utilisée.

La gestion axée sur les résultats

La gestion axée sur les résultats est une approche participative de la gestion axée sur une équipe qui se concentre sur les efforts qu’une organisation ou un programme investit dans l’obtention de résultats. Cette méthode consiste à définir des résultats escomptés réalistes, à apprécier les risques, à évaluer l’avancement vers les résultats souhaités (mesure du rendement), à intégrer les leçons apprises aux décisions de gestion et à rendre compte des résultats en des termes simples et compréhensibles. (CIC, 2003)

Modèle logique de programme

Les gouvernements et les organismes communautaires d’aide à l’établissement emploient toutes sortes d’outils de planification, de mise en œuvre et de suivi axés sur les résultats, qui vont du modèle organique axé sur l’expérience jusqu’à une structure plus formelle. Le modèle logique de programme est un outil formel utilisé par un grand nombre d’organismes d’établissement.

Un modèle logique de programme est une méthode systématique et visuelle qui permet de décrire un programme et ses résultats prévus. Par cette méthode, l’utilisateur décrit et analyse la théorie parallèlement à l’élaboration du programme. (Basic Guide to Outcome Based Evaluation in Non-Profit Organization)

Le modèle logique, souvent appelé chaîne de résultats, illustre le lien causal ou logique entre les intrants, les activités, les extrants et les résultats. Bien qu’il existe différentes configurations possibles, on peut illustrer le modèle de la façon suivante :

Terminologie relative aux principaux résultats

La terminologie de la gestion axée sur les résultats prête souvent à confusion parce que des termes similaires peuvent prendre des sens légèrement différents. Les définitions du tableau ci-dessous sont conformes à celles utilisées par le Secrétariat du Conseil du Trésor.

Mesure des résultats relatifs à l’établissement

Idéalement, un organisme devrait avoir des mécanismes lui permettant de mesurer son rendement et d’évaluer les résultats de ses services. Après avoir sélectionné les indicateurs appropriés pour son processus de mesure, l’organisme veillerait à adopter une stratégie pour suivre ses progrès et effectuerait une évaluation régulière et systématique des résultats et de la rentabilité de ses programmes, ainsi que pour apporter des améliorations et des ajustements au programme. Ces évaluations devraient porter sur les programmes individuels et servir également à des fins de comparaison avec les autres programmes offerts par l’organisme.

Dans le Cadre d’imputabilité pour les programmes de contributions (CIPC) élaboré par Citoyenneté et Immigration Canada, l’évaluation de même que la mesure et l'évaluation du rendement sont deux outils de responsabilisation essentiels. Le CIPC définit l’évaluation comme un processus périodique et systématique de collecte et d’analyse de renseignements sur le rendement d’une politique, d’un programme ou d’une initiative, en vue d’en juger la pertinence, l’avancement ou la réussite et la rentabilité, et d’éclairer les décisions futures relatives à la conception et à la mise en œuvre d’autres programmes. Le CIPC définit la mesure du rendement comme un processus continu de collecte et de compte rendu de renseignements sur la mise en œuvre d’un programme, en vue de guider le processus décisionnel global.

Les résultats du sondage indiquent que la plupart des fournisseurs de services d’établissement n’ont pas le temps et les ressources nécessaires pour procéder à des évaluations des programmes. La plupart des organismes utilisent néanmoins diverses méthodes pour mesurer leur rendement et recueillir des données qualitatives sur l’incidence de leurs programmes.

Le projet de partenariat OCASI/COSTI (juin 1999) signale que les Services à la famille – Ontario ont été le premier organisme de services sociaux à adopter des normes; ce regroupement d’organismes offre des services de counselling par l’entremise de travailleurs sociaux professionnels. L’association utilise un système d'agrément volontaire qui approuve les organismes en fonction de leur conformité aux normes établies à l’égard de la prestation des programmes, de la gouvernance et d’autres aspects.

Le projet de partenariat OCASI/COSTI (juin 1999) a aussi produit une liste exhaustive de normes pour la prestation de services accompagnées des résultats souhaités pour les clients et l’organisation de façon générale. Par la suite, à l’aide du cadre, l’Organisation des services aux immigrants d’Ottawa-Carleton a élaboré des normes à l’égard des services d’établissement dans toutes les catégories. Elles précisent qui fait quoi, pour qui, quand et pourquoi. L’annexe A contient un exemple de normes de service dans la catégorie économique.

Importance des indicateurs

Avant de pouvoir mesurer de façon valable les résultats de leurs programmes et services, les organismes d’aide à l’établissement doivent définir les indicateurs qui serviront à évaluer la mesure dans laquelle un immigrant s’est établi. Il n’est toutefois pas possible de créer un système parfait qui mesurera les résultats d’un programme d’établissement avec une précision infaillible.

Le Rapport sur la mise en œuvre de la gestion axée sur les résultats : leçons tirées de la documentation (2000) du vérificateur général du Canada souligne : « Parce qu'elle crée des problèmes et contribue à frustrer les intervenants, la complexité excessive est l'un des principaux facteurs de risque qui menace la réussite des efforts de mise en oeuvre de la gestion axée sur les résultats. Plus un système est facile à utiliser et à mettre en application, plus les intervenants seront portés à l'adopter et à l'apprécier. » Il est important que le secteur de l’établissement mesure quelques indicateurs et mise sur un système de collecte et d’administration des données qui soit simple.

Lors de la sélection d’indicateurs de rendement, il convient de choisir parmi les catégories suivantes : (Shacter, 2002)

• liens de causalité manifestes avec les résultats finaux;
• niveau élevé de contrôle du programme à l’égard des indicateurs mesurés;
• illustration des changements significatifs au fil du temps;
• faible coût de collecte des données;
• temps minimum requis pour recueillir les données ou facilité d’administration.

Au stade de développement actuel du secteur de l’établissement, les fournisseurs de service peuvent être responsables de mesurer principalement les résultats immédiats et intermédiaires de leurs services d’établissement. Il leur serait difficile de mesurer des résultats qui échappent à leur contrôle ou dont le lien de cause à effet est incertain. Il ressort du sondage que les fournisseurs de services n’ont pas les ressources humaines et financières nécessaires ni d’expertise à l’interne pour effectuer une étude longitudinale qui permettrait de mesurer l'incidence à moyen ou à long terme de leurs services sur les immigrants.

Des ressources devraient être affectées à cette fin particulière pour recueillir des renseignements de divers services tels que CLIC, Programme d’accueil et PEAI, et les résultats devraient être étudiés sur une période de temps considérable, en tenant compte de variables telles que les tendances socioéconomiques, le profil des immigrants et des réfugiés, ainsi que tout changement pertinent à l’égard des services et des ressources.

Initiatives courantes en matière d’évaluation de l’établissement

La Colombie-Britannique a élaboré le Program Logic Model and Outcome Evaluation Framework for Settlement Information and Support Services (BC MCAWS, juin 2003) qui se trouve à la page suivante. Un comité consultatif provincial sur la mesure du rendement et la reddition de comptes travaille en outre à élaborer un questionnaire provincial uniformisé que les organismes d’aide aux immigrants utiliseront, en tout ou en partie, pour évaluer les résultats de leurs services en Colombie-Britannique.

Depuis novembre 2002, le groupe des programmes communautaires d’Alberta Learning a entrepris un projet de mesure des résultats des services d’aide à l’établissement des immigrants (Outcomes Measurement for Immigrant Settlement Services). Il a fourni les services de formation et d’encadrement aux bailleurs de fonds du programme de services intégrés (ISP) et aux organismes financés, pour les aider à comprendre le langage et la théorie de la mesure des résultats. Il travaille maintenant à l’élaboration de modèles logiques et d’indicateurs pour les programmes ISP dans chacun des 17 organismes d’aide aux immigrants en Alberta.

CIC évaluera ses programmes d’établissement en 2003-2004 et en 2004-2005. En adoptant des pratiques de gestion axée sur les résultats comme étape préalable à des évaluations pertinentes de ses programmes, CIC entreprendra donc un exercice en vue de définir les résultats des programmes et des indicateurs, en collaboration avec les principaux intervenants, avant de procéder à desévaluations formelles de ses programmes d'établissement.

Modèle logique de programme

INTRANT
Ressources allouées au programme ou utilisées par lui

• Fonds
• Personnel
• Espace de bureau et programme
• Matériel et équipement
• Partenaires communautaires
• Conférenciers invités

ACTIVITÉS
Ce que le programme fait avec les intrants pour réaliser sa mission

EXTRANTS
Produits directs des activités de programme

RÉSULTATS IMMÉDIATS
Premiers effets ou changements dans les connaissances ou les capacités résultant des activités de programme

RÉSULTATS INTERMÉDIAIRES
Changements dans l’attitude et le comportement qui résultent des nouvelles connaissances ou compétences acquises et qui relient les résultats immédiats aux résultats à plus long terme

RÉSULTATS À LONG TERME
Résultats finaux qu’un programme souhaite atteindre ou effets que le programme peut raisonnablement escompter obtenir à plus long terme

Activité 1. Évaluation initiale et établissement d’un plan d’action :

• Évaluation des besoins et obstacles du client.
• Ciblage des services appropriés.
• Soutien au client dans l’établissement de ses objectifs et priorités et de plans réalistes.

Extrants

• Nombre de clients qui ont reçu une évaluation initiale et élaboré un plan d’action en vue de leur établissement.

Résultats immédiats

• Les clients sont conscients des obstacles et de leurs options.

Résultats intermédiaires

• Résultat intermédiaires #1

Activité 2. Information générale :

Présentation aux clients d’un aperçu des services et systèmes existant au Canada, de la vie et de la culture des Canadiens.

Extrants

• Nombre de clients qui ont obtenu un aperçu des normes, de la culture, des services et des systèmes du Canada.

Résultats immédiats

• Les clients comprennent les normes et la culture du Canada.
• Les clients connaissent les systèmes et les services généraux.

Résultats intermédiaires

• Résultat intermédiaires #2

Activité 3. Information détaillée et aide à l’adaptation :

Présentation au client de renseignements détaillés lui permettant d’avoir accès à des processus spécifiques, tels que l’obtention de la citoyenneté, la réunion de familles et d’effectuer les ajustements familiaux et culturels.

Extrants

• Nombre de clients qui ont obtenu du soutien et des renseignements détaillés leur permettant de se débrouiller dans un processus d’établissement, d’ajustement ou d’immigration.

Résultats immédiats

• Les clients connaissent les processus d’immigration, d’établissement et d’ajustement.

Résultats intermédiaires

• Résultat intermédiaires #2
• Résultat intermédiaires #3

Activité 4. Aiguillage

Orientation du client vers les ressources et les services qui répondent à ses besoins particuliers.

Extrants

• Nombre de clients qui ont été renseignés ou aiguillés vers un service ou une ressource qui répond à leurs besoins particuliers.

Résultats immédiats

• Les clients connaissent les services et les ressources appropriés qui répondent à leurs besoins particuliers.

Résultats intermédiaires

• Résultat intermédiaires #3

Activité 5. Arrimage

Aide aux clients pour utiliser les services et les ressources appropriés et définition de ses besoins :

• prendre des rendez-vous;
• remplir des formulaires;
• interprétation/traduction;
• orientation interculturelle.

Extrants

• Nombre de clients qui ont obtenu du soutien pour trouver un service particulier.

Résultats immédiats

• Les clients peuvent communiquer leurs besoins aux services ou aux ressources appropriés.

Résultats intermédiaires

• Résultat intermédiaires #3
• Résultat intermédiaires #4

Activité 6. Liaison avec les services :

Aider les fournisseurs de services communautaires à comprendre et à servir les clients immigrants.

Extrants

• Nombre de fournisseurs de services de la collectivité d’accueil qui ont obtenu de l’information ou du soutien de l’organisme d’établissement.
• Nombre et type de partenariats existants avec des fournisseurs de services non liés à l’établissement.

Résultats immédiats

• Le milieu des services général est plus conscient des besoins des immigrants.

Résultats intermédiaires

• Résultat intermédiaires #5

Activité 7. Soutien des services :

Création des ressources et de l’expertise nécessaires pour appuyer la prestation de services :

• réseautage et exploitation des ressources;
• participation au développement du secteur;
• perfectionnement professionnel.

Extrants

• Nombre et type de nouveaux contacts communautaires et ressources documentaires élaborés.
• Nombre et type de consultations axées sur les services tenues entre la collectivité ou le gouvernement.
• Nombre et type d’événements ou d'initiatives de perfectionnement professionnel suivis.

Résultats immédiats

• L’organisme d’établissement possède les ressources et les connaissances nécessaires pour faire face à des besoins changeants.

Résultats intermédiaires

• Résultat intermédiaires #6

Résultats intermédiaires

1. Les clients élaborent des objectifs et des plans réalistes.
2. Les clients s’adaptentà la vie et à la culture canadiennes et font face aux problèmes liés au réétablissement.
3. Les clients répondent à leurs besoins personnels et familiaux et cherchent des améliorations.
4. Les clients interagissent avec la société.
5. Le milieu des services général s’adapte aux besoins des nouveaux arrivants.
6. L’organisme d’établissement améliore et adapte ses services aux besoins changeants.

Résultat à long terme

1. Les clients maintiennent un sentiment de bien-etre et de confiance.
2. Les clients apportent leurs compétences et leurs aptitudes à la société.
3. Les clients s’identifient à la culture canadienne et l’enrichissent.
4. Les clients participent et contribuent aux processus politiques et aux institutions publiques.

Cadre d’évaluation des résultats

ACTIVITÉS
Voir les activités du modèle logique

RÉSULTATS IMMÉDIATS
Premiers effets ou changements dans les connaissances ou les capacités

RÉSULTATS INTERMÉDIAIRES
Changements dans l’attitude et le comportement qui résultent des nouvelles connaissances ou compétences acquises

INDICATEURS
Caractéristiques ou changements observables et mesurables qui signalent qu’un résultat a été atteint.

Activité 1. Évaluation initiale et établissement d’un plan d’action

Résultats immédiats

• Les clients sont conscients des obstacles et de leurs options.

Indicateurs

• Nombre et pourcentage de clients qui disent reconnaître une situation (p. ex. situation relative à l’emploi/au marché du travail) pouvant influer sur leur établissement et connaître les options qui s’offrent à eux.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients

Activité 2. Information générale

Résultats immédiats

• Les clients connaissent les normes et la culture du Canada.
• Les clients connaissent les systèmes et les services généraux.

Indicateurs

• Nombre ou pourcentage de clients qui manifestent une connaissance des comportements jugés courants et acceptables dans la société canadienne.
• Nombre ou pourcentage de clients qui manifestent une connaissance de leurs droits/privilèges ou responsabilités/obligations juridiques.
• Nombre ou pourcentage de clients qui manifestent une connaissance des fêtes et principaux événements culturels célébrés par la collectivité générale.
• Nombre ou pourcentage de clients qui manifestent une connaissance des principaux services ou systèmes dans la collectivité générale.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients/test

Activité 3. Information détaillée et aide à l’adaptation

Résultats immédiats

• Les clients connaissent les processus d’immigration, d’établissement ou d’ajustement.

Indicateurs

• Nombre ou pourcentage de clients qui disent connaître maintenant les démarches nécessaires pour satisfaire leurs besoins particuliers tels que le statut, la réunion de famille et les prestations.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients

Activité 4. Aiguillage

Résultats immédiats

• Les clients connaissent les services et les ressources appropriés qui répondent à leurs besoins particuliers.

Indicateurs

• Nombre ou pourcentage de clients qui disent connaître comment rejoindre le gouvernement ou le service communautaire approprié à leurs besoins particuliers.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients

Activité 5. Arrimage

Résultats immédiats

• Les clients peuvent communiquer leurs besoins aux services ou aux ressources appropriés.

Indicateurs

• Nombre et pourcentage de clients qui disent que le soutien reçu a amélioré leur communication avec un organisme de service général.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients

Activité 6. Liaison avec les services

Résultats immédiats

• Le milieu des services général est plus conscient des besoins des immigrants.

Indicateurs

• Nombre et pourcentage d’entreprises et organisations (contactées au moyen d’une activité de liaison) qui signalent une meilleure compréhension des besoins des immigrants.
  
  Source de donnée : Organismes de service
  Méthode de collecte des donnée : Entrevue avec les organismes de service

Activité 7. Soutien des services

Résultats immédiats

• L’organisme d’établissement possède les ressources et les connaissances nécessaires pour répondre aux besoins changeants.

Indicateurs

• Nombre et pourcentage d’intervenants en établissement qui disent posséder suffisamment de ressources, de formation et du soutien pour faire leur travail.
  
  Source de donnée : Personnel d’établissement
  Méthode de collecte des donnée : Sondage auprès du personnel

Résultat intermédiaires #1 : Les clients élaborent des objectifs et des plans réalistes.

Indicateurs

• Nombre et pourcentage de clients qui disent avoir établi ou redéfini leurs plans d’emploi ou objectifs personnels.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients

Résultats intermédiaires #2 : Les clients s’adaptent à la vie et à la culture canadiennes et font face aux problèmes liés au réétablissement et à l’ajustement.

Indicateurs

• Nombre et pourcentage de clients qui signalent une adaptation du style de vie, de l’attitude ou du fonctionnement aux normes ou cultures canadiennes telles que le rôle parental, les rôles spécifiques au sexe, les activités sociales/récréatives, les transactions bancaires et le budget.
  
  Source de donnée : Clients
  Méthode de collecte des donnée : Sondage auprès des clients ou groupe de discussion br>
• Nombre et pourcentage de clients qui disent avoir eu accès aux services appropriés pour régler des problèmes juridiques, interpersonnels ou familiaux résultant de leur réétablissement ou ajustement.
  
  Source de donnée : Clients/Personnel d’établissement
  Méthode de collecte des donnée : Sondage auprès des clients/dossier du service

Résultats intermédiaires #3 : Les clients répondent à leurs besoins personnels et familiaux et cherchent des améliorations.

Indicateurs

• Nombre et pourcentage de clients qui disent avoir eu accès à des systèmes ou services généraux pour satisfaire les besoins liés à l’établissement tels que un refuge, le statut, les documents, le counselling d’emploi ou d’éducation, les services de garde, et pour obtenir des prestations de base telles que les prestations sociales et les soins de santé.
  
  Source de donnée : Clients/Personnel d’établissement
  Méthode de collecte des donnée : Sondage auprès des clients/dossier du service
  
• Nombre et pourcentage de clients qui disent avoir eu accès à un service/programme pour améliorer leur situation ou leur qualité de vie ou atteindre des objectifs personnels tels que la reconnaissance des titres de compétence ou l’inscription à un programme d’éducation ou de formation.
  
  Source de donnée : Clients/Personnel d’établissement
  Méthode de collecte des donnée : Sondage auprès des clients/dossier du service

Résultats intermédiaires #4 : Les clients interagissent avec la société.

Indicateurs

• Nombre et pourcentage de clients qui signalent une participation ou un bénévolat à des réseaux et activités/événements communautaires ou scolaires.
  
  Source de donnée : Clients/Personnel d’établissement
  Méthode de collecte des donnée : Sondage auprès des clients/observations du personnel

Résultats intermédiaires #5 : Le milieu des services général s’adapte aux besoins des nouveaux arrivants.

Indicateurs

• Nombre et pourcentage d’organisations et entreprises (contactées dans le cadre d’une activité de liaison) ayant adapté un produit, un service, un processus ou un programme, une politique ou une pratique aux besoins des immigrants.
  
  Source de donnée : Organisme d’établissement ou organismes de service
  Méthode de collecte des donnée : Dossier du service de l’organisme d’établissement ou entrevue avec les fournisseurs de service

Résultats intermédiaires #6 : L’organisme d’établissement améliore ses activités et ses services pour répondre aux besoins changeants et à l’environnement.

Indicateurs

• L’organisme dit avoir adapté ses activités de service et son approche aux besoins changeants et au milieu.
  
  Source de donnée : Organisme d’établissement
  Méthode de collecte des donnée : Rapport de l’organisme

Table des matières page suivante