2010-601 Évaluation des Services conseils du gouvernement (Rapport final)

Le 26 janvier 2012

Table des matières

Haut de la page

Points principaux

Objet

  1. Ce rapport présente les résultats de l'évaluation des Services conseils du gouvernement (SCG), ci-après désignés comme le « programme ». L'objectif de l'évaluation était de déterminer la pertinence et le rendement de ce programme par rapport à l'atteinte de ses résultats prévus, conformément à la Politique sur l'évaluation du Conseil du Trésor. L'évaluation a porté sur les activités des SCG pendant les exercices financiers de 2005-2006 à 2009-2010. La plupart des données ont été recueillies entre janvier 2010 et le 31 mars 2011. Ce rapport présente des informations sur les activités et la gouvernance des SCG telle qu'elles existaient dans la période examinée.

  2. Les SCG font partie de la Direction générale des conseils, de l'information et des services partagésNote de bas de page 1 de Travaux publics et Services gouvernementaux Canada (TPSGC). Auparavant, ils étaient intégrés à Conseils et Vérification Canada, qui a été démantelé en 2005. Dans le cadre de leur mandat de base, les SCG fournissent aux ministères et aux organismes de l'ensemble du gouvernement fédéral des solutions intégrées correspondant aux priorités gouvernementales et contribuent à une gestion plus efficace de la fonction publique.

Importance

  1. En 2005, à la suite du démantèlement de Conseils et Vérification Canada, les SCG sont devenus un organisme distinct relevant du sous-ministre de TPSGC. La fonction des services de conseils de gestion de l'ancien Conseils et Vérification Canada a été transférée à la Direction générale des conseils, de l'information et des services partagés. Les SCG n'ont pas été évalués depuis qu'ils sont devenus un organisme distinct.

  2. Le gouvernement fédéral fait régulièrement affaire avec des experts-conseils en gestion lorsqu'une expertise spécialisée est requise dans un ministère ou un organisme fédéral. En 2009-2010, le gouvernement fédéral a dépensé 413 millions de dollars pour des services de conseils de gestion afin de soutenir la prestation de ses programmes. Il est généralement admis que la majorité des services fournis par les SCG sont offerts dans le secteur privé.

Constatations

  1. L'évaluation a permis de constater que, bien qu'il existe un besoin continu en matière de services de conseils de gestion dans les domaines couverts par les SCG, rien n'indique qu'il existe un besoin continu pour un fournisseur de services de conseils interne et distinct, comme les SCG. Il existe un chevauchement considérable avec la capacité offerte par le secteur privé et les ministères fédéraux ce qui réduit la nécessité pour un fournisseur de services internes. Bien que les SCG ne soient pas directement liés aux priorités ministérielles ou fédérales, les services de conseils de gestion fournis peuvent aider les ministères fédéraux à assumer leurs responsabilités de gestion. L'évaluation a également permis de constater que les SCG représentent une petite part du marché global des services de conseils de gestion au sein du gouvernement fédéral.

  2. De manière générale, les clients des SCG obtiennent rapidement des services répondant à leurs attentes et à leurs besoins et les projets sont réalisés conformément au budget établi. Les clients considèrent que les services fournis par les SCG sont, dans l'ensemble, satisfaisants. Les travaux des SCG ont mené à l'adoption de recommandations et de pratiques exemplaires par leurs clients. Ceux-ci indiquent que les services des SCG ont eu un effet positif sur l'efficacité ou l'efficience organisationnelle.

  3. Financés au moyen d'un fonds renouvelable, les SCG remplissent leur obligation de couvrir les coûts et leurs activités opérationnelles se sont avérées efficientes depuis 2008-2009.

  4. Les tarifs de SCG sont comparables à ceux des moyens et grands cabinets et ses services sont comparables à ceux de cabinets moyens ou petits.

Conséquences de l'examen stratégique

  1. Pendant la période de l'évaluation, TPSGC a été l'un des 13 ministères fédéraux dont les priorités ont été examinées dans le cadre d'un processus d'examen stratégique. Dans le budget de 2011, le gouvernement a annoncé les initiatives que TPSGC mettrait en œuvre, notamment l'élimination de certains programmes. L'élimination des SCG vise à harmoniser davantage les activités de TPSGC avec son mandat de base et à tirer profit des services offerts par le secteur privé. TPSGC cessera de fournir des services de conseils de gestion dès mars 2012, tout en maintenant les offres à commandes avec de nombreuses entreprises du secteur privé, auxquelles les autres ministères peuvent avoir recours pour répondre à leurs besoins de consultation.

  2. Compte tenu que la collecte de données ainsi que la phase d'analyse étaient en grande partie complétées lors de la divulgation du budget de 2011, la phase de rédaction du rapport a été entreprise afin de présenter les résultats et les conclusions de l'évaluation des SCG, de documenter la performance des SCG et de bonifier la base documentaire appuyant le développement des politiques et des programmes. Puisque l'avenir du programme a été décidé et que sa fin est prévue, la présente évaluation ne contient pas de recommandations formulées en vue d'une réponse ni d'un plan d'action de la gestion du programme.

Haut de la page

Introduction

  1. Ce rapport présente les résultats de l'évaluation des Services conseils du gouvernement (SCG). Le Comité de vérification et d'évaluation de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques de 2009-2010 à 2013-2014. L'évaluation a porté sur les activités liées aux SCG pendant les exercices financiers de 2005-2006 à 2009-2010. La plupart des données ont été recueillies entre janvier 2010 et le 31 mars 2011. Ce rapport présente des informations sur les activités et la gouvernance des SCG telle qu'elles existaient dans la période examinée.

Profil du programme

Contexte

  1. Les SCG font partie de la Direction générale des conseils, de l'information et des services partagés de TPSGC. Dans l'Architecture des activités de programmes de TPSGC pour 2010-2011, les Services conseils du gouvernement sont rattachés à l'activité Programmes et services spécialisés. À titre de fournisseur interne de services de conseils de gestion au gouvernement fédéral, ils « contribuent à une gestion plus efficace de la fonction publique. TPSGC a un mandat consenti par la loi, lequel lui confère l'autorisation de servir tous les ordres de gouvernement au Canada et les gouvernements étrangers ainsi que les organisations internationales, sur une base facultative et au recouvrement complet des coûts. »

  2. Le prédécesseur des SCG, Conseils et Vérification Canada, avait été établi comme organisme de service spécial en 1990 à la suite de la fusion du Bureau des conseillers en gestion et du Bureau des services de vérification, deux organismes d'Approvisionnements et Services Canada. En parallèle, le Conseil du Trésor a autorisé l'établissement d'un fonds renouvelable pour Conseils et Vérification Canada afin que l'organisme ait la souplesse financière nécessaire pour fonctionner à la façon du secteur privé et puisse se concentrer sur le rendement et les résultats. En 2005, Conseils et Vérification Canada a été démantelé. La fonction des services de conseils de gestion de l'ancien Conseils et Vérification Canada a été transférée à la Direction générale des conseils, de l'information et des services partagés et renommée « Services conseils du gouvernement ». La fonction de vérification de Conseils et Vérification Canada est devenue Services de vérification Canada (SVC), un organisme de service spécial relevant du sous-ministre de TPSGC. En 2009, les SVC ont été intégrés à la Direction générale de la surveillance de TPSGC, pour dorénavant relever du sous-ministre adjoint.

Gouvernance

  1. La gouvernance des SCG est assumée par la Direction générale des conseils, de l'information et des services partagés. Six directeurs de secteurs de service se rapportent au directeur général des SCG, qui relève à son tour du sous-ministre adjoint de la Direction générale des conseils, de l'information et des services partagés.

Activités

  1. En 2010-2011, les services de SCG se répartissent en huit secteurs d'activité : la gestion stratégique, la gestion axée sur les résultats, la gestion des personnes, la gestion financière, l'aide à la décision, la gestion de l'information, les technologies de l'information et la sécurité, et, enfin, la gestion de projets.

  2. Les engagements des SCG à l'égard des organismes clients prennent la forme de protocole d'entente négocié au début de chaque projet et modifié au besoin. Les SCG examinent chaque année leur structure tarifaire et leurs pratiques d'imputation des frais. Le modèle d'imputation des frais découle d'une estimation de coûts (les SCG estiment le niveau de recettes qui doivent être générées pendant une période de planification donnée pour couvrir entièrement les coûts fixes) et servait à établir des cibles en matière de ventes, de recettes et de revenu net pour chaque secteur d'activité.

Haut de la page

Autorisation

  1. Le mandat de TPSGC lié à la prestation de services facultatifs de conseils offerts contre rémunération découle de ce qui suit :

    • L'article 15 de la Loi sur le ministère des Travaux publics et des Services gouvernementaux autorise le ministre à fournir des services de conseils de gestion, à la demande des ministères, des sociétés d'État et des organismes fédéraux.
    • L'article 16 de la Loi sur le ministère des Travaux publics et des Services gouvernementaux autorise le ministre à fournirdes services de conseils de gestion à des gouvernements, des organisations ou des personnes, au Canada et à l'étranger, avec l'approbation du gouverneur en conseilNote de bas de page 2;
    • Dans la Politique sur les services communs du Conseil du Trésor (établie en application de l'article 7 de la Loi sur la gestion des finances publiques), les services de conseils de gestion sont désignés comme faisant partie des services communs facultatifs fournis par TPSGC (annexe F, section 7 de la Politique).

Ressources

  1. En date du 26 août 2010, l'effectif des SCG comptait 109 équivalents temps plein (ETP), dont six directeurs de secteur d'activité (chefs de secteur d'expertise), 80 consultants générateurs de recettes (de trois niveaux : conseiller principal, conseiller supérieur et conseiller) et 23 employés assurant la gestion et le soutien administratif.

  2. Les SCG et les SVC partagent le même mécanisme de financement : le Fonds renouvelable des Conseils et Vérification Canada qui fonctionne comme une ligne de crédit. La limite de prélèvement dans ce Fonds est de 20 millions de dollars, répartis également entre les SCG et SVC. Les SCG ont représenté environ 52 % (18 millions de dollars) des revenus du Fonds renouvelable des Conseils et Vérification Canada en 2009-2010.

  3. L'utilisation d'un fonds renouvelable permet aux SCG d'avoir l'argent pour payer ses coûts de fonctionnement, lesquels sont facturés aux ministères et aux organismes internationaux pour les services fournisNote de bas de page 3. Le fonctionnement des SCG se fonde sur le principe du seuil de rentabilité annuel selon lequel les revenus devraient correspondre (et remplacer) les prélèvements effectués dans le Fonds renouvelable de Conseils et Vérification Canada.

Intervenants

  1. Les SCG offrent des services dans huit domaines à un large éventail de clients du gouvernement fédéral. Les intervenants dans les SCG comprennent la direction de TPSGC, la Direction générale des conseils, de l'information et des services partagés (c'est-à-dire la direction de TPSGC dont les SCG relèvent) et d'autres ministères et organismes fédéraux (admissibles à utiliser les services des SCG). L'évaluation a trouvé que le programme des SCG a travaillé pour 81 différents ministères et organismes fédéraux.

Modèle logique

  1. Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme. Cet outil visuel et systématique illustre la théorie d'un programme et démontre la façon dont il est possible d'atteindre les objectifs d'une initiative, d'une politique ou d'un programme. Il forme la base de l'élaboration de mesures du rendement et de stratégies d'évaluation, incluant la matrice d'évaluation.

  2. Un modèle logique appliqué aux SCG a été conçu à partir d'un examen détaillé de documents, de réunions avec les gestionnaires du programme et d'entrevues avec les principaux intervenants. Le modèle a ensuite été validé auprès des employés concernés. Le modèle logique des SCG est présenté à la pièce 1.

  3. Les résultats immédiats que les SCG cherchent à atteindre sont : la prestation de services de conseils de gestion de grande qualité, en temps opportun et rentables; et la diffusion de pratiques exemplaires de gestion dans le secteur public. Ces activités devraient à moyen terme mener les organismes clients à adopter les meilleures pratiques de gestion du secteur public et, à long terme, permettre à la population canadienne de tirer profit de l'efficacité et de l'efficience accrues de la fonction publique.

Haut de la page

Pièce 1 : Modèle logique des Services conseils du gouvernement

Modèle logique des Services conseils du gouvernement

Description texte de la Pièce 1 : Modèle logique des Services conseils du gouvernement est disponible sur une page séparée.

Haut de la page

Objet de l'évaluation

  1. L'objectif de l'évaluation était de déterminer la pertinence et le rendement du programme par rapport à l'atteinte de ses résultats prévus, conformément à la Politique sur l'évaluation du Conseil du Trésor.

  2. Une matrice d'évaluation - portant entre autres sur les enjeux, les questions d'évaluation, les indicateurs et les sources de données - a été conçue au cours de la phase de planification. L'annexe A : Grille d'évaluation présente la matrice d'évaluation des SCG. Plusieurs éléments de preuve ont été utilisés pour évaluer le programme. Les voici :

    1. Examen des documents et des bases de données : L'examen initial des documents a permis d'acquérir une compréhension du programme et de son contexte, afin de faciliter la phase de planification. Les documents examinés comprennent ceux fournis par le programme et ceux rédigés sur le programme.
    2. Analyse documentaire : Une analyse documentaire a permis de situer le programme dans un contexte national et international, de déterminer le fondement théorique du modèle adapté par le programme, de fournir une base de données comparatives aux fins d'évaluation et de cerner d'autres modèles de prestation grâce à une analyse des autres gouvernements.
    3. Examen des dossiers : Un échantillon aléatoire de 50 dossiers de projet provenant des six gammes de service des SCG a été examiné, pour la période de cinq ans faisant l'objet de l'évaluation, ce qui représente environ 5 % des projets pour lesquels des ententes ont été conclues durant cette période.
    4. Entrevues : L'équipe d'évaluation a mené des entrevues auprès de 33 membres du personnel des SCG ainsi que de sept ministères et organismes clients. Des entrevues ou des échanges de courriels ont également été effectués avec des experts-conseils en gestion du secteur privé. L'analyse qualitative des entrevues a permis d'obtenir de l'information sur les activités, les extrants, les résultats escomptés, les intervenants, la pertinence et le rendement du programme, du point de vue des gestionnaires du programme, des ministères clients ainsi que d'autres intervenants.
    5. Sondage auprès d'anciens clients des SCG : L'équipe d'évaluation a préparé un sondage électronique (Internet) afin d'obtenir le point de vue des clients sur le rendement du programme. Ce sondage a été envoyé aux personnes qui avaient répondu au sondage de satisfaction envoyé, par les SCG, à la fin des projets. Certaines questions tirées du sondage des SCG ont été intégrées dans le sondage auprès des anciens clients, à des fins de comparaison.
    6. Sondage auprès de clients éventuels des SCG : L'équipe d'évaluation a préparé un sondage par Internet afin d'obtenir l'opinion de clients éventuels des SCG. Ces derniers ont été définis comme des personnes ayant une responsabilité de gestion liée aux réformes administratives ou aux orientations stratégiques du gouvernement fédéral et travaillant dans les domaines couverts par les secteurs d'activité des SCG.
    7. Études de cas : Des études de cas ont été menées pour cinq projets des SCG sélectionnés de manière aléatoire ainsi que pour cinq projets sélectionnés par les SCG et considérés comme exemplaires sur le plan des résultats. Les cas exemplaires fournissent la preuve du niveau éventuel des retombées alors que les cas représentatifs documentent les retombées types.

  3. De plus amples renseignements sur l'approche et les méthodologies utilisées pour effectuer cette évaluation figurent à la section intitulée À propos de l'évaluation située à la fin de ce rapport. La matrice d'évaluation constitue l'annexe A : Grille d'évaluation.

Haut de la page

Constatations et conclusions

  1. Les constatations et les conclusions suivantes reposent sur les éléments multiples de preuve utilisés durant l'évaluation. Elles sont présentées par type d'enjeu (pertinence et rendement).

Pertinence

  1. La pertinence est la mesure selon laquelle le programme répond à un besoin continu et démontrable, joue un rôle approprié pour le gouvernement fédéral et est conforme aux priorités ministérielles et fédérales.

Besoin continu

  1. Le besoin continu a été évalué à l'aide de trois éléments principaux : la pertinence continue de la raison d'être du programme, les exigences des lois ou politiques et l'utilisation des services du programme. L'évaluation n'a pas trouvé de preuve solide que les SCG répondaient à un besoin continu et démontrable.

  2. La raison d'être des SCG n'est plus pertinente. Le programme qui précédait les SCG, le Bureau des conseillers en gestion, a été établi en 1967 dans le but de répondre à un besoin en matière de centre d'expertise. Au cours des dernières années, la part de marché des SCG a toujours été faible (3,35 % en 2007-2008 et 4,41 % en 2009-2010). Pour ce qui est de l'ensemble des services de conseils de gestion utilisés par les ministères et les organismes du gouvernement du Canada, il est clair que la majorité des ministères et organismes fédéraux ont fait appel à d'autres sources. Le mandat actuel des SCG comprend : a) faire sa propre promotion comme organisme de diffusion des pratiques exemplaires; b) se concentrer sur le développement de la clientèle, l'organisme aspire à être reconnu dans la fonction publique comme centre d'expertise (comme le Secrétariat du Conseil du Trésor); c) se positionner comme organisation apprenante en vue de démontrer sa valeur.

  3. Le fonctionnement des SCG ne repose sur aucun mandat législatif ni sur aucune politique. Le pouvoir de TPSGC de fournir des services de conseils de gestion lui est conféré en vertu des articles 15a) et 16 de la Loi sur le ministère des Travaux publics et des Services gouvernementaux, selon lesquels le ministre des Travaux publics et des Services gouvernementaux peut, à la demande d'un ministère, d'une société d'État ou d'un organisme du gouvernement du Canada, fournir des conseils en gestion. De plus, l'article 7.1 de l'annexe F de la Politique sur les services communs désigne les services de conseils de gestion comme des services facultatifs.

  4. Bien que les SCG maintiennent un bassin de clients fidèles, leur capacité d'attirer une nouvelle clientèle est limitée. L'examen de la base de données utilisée pour cette évaluation a révélé que 98 % des projets (925 sur 942) durant les exercices 2005-2006 à 2009-2010 ont été réalisés pour des clients réguliers. Les SCG maintiennent une part de marché modérée au sein d'un ensemble particulier de ministères clients (en proportion des dépenses totales des clients pour des services de conseils de gestion). Entre 2005-2006 et 2009-2010, Sécurité publique a fait appel aux SCG pour 13,03 % de ses besoins en conseils de gestion et, durant la même période, le Secrétariat du Conseil du Trésor l'a fait pour 12,51 % de ses dépenses totales en conseils de gestion. La demande pour les services des SCG (en ce qui concerne les recettes provenant de services tarifés) a connu une augmentation marginale, passant de 13,9 millions de dollars en 2008-2009 à 14,2 millions de dollars en 2009-2010. Toutefois, au cours des dernières années, la part totale de marché des SCG est demeurée faible. De plus, parmi les clients qui ont, au total, dépensé le plus pour des conseils de gestion dans la fonction publique fédérale (Ressources humaines et Développement des compétences Canada, Travaux publics et Services gouvernementaux Canada, et le ministère de la Défense nationale), les SCG ont maintenu une part de marché de 2 % ou moins.

  5. Outre la possibilité de faire appel aux firmes du secteur privé, les ministères et les organismes fédéraux ont également, à l'interne, la capacité de satisfaire leurs besoins en conseils de gestion. Selon le sondage effectué auprès des clients dans le cadre de l'évaluation, 57 % des projets réalisés par les SCG auraient été menés même si les SCG n'avaient pas existé. De ce pourcentage, 77 % des répondants ont identifié un fournisseur externe et 48 % des répondants ont identifié des ressources internes comme ressource alternative à la réalisation d'un projet confié aux SCG. Cette constatation montre donc que les ministères et les organismes fédéraux ont accès à des fournisseurs de service externes et à des ressources internes qui sont aptes à effectuer le type de projets menés par les SCG.

  6. En conclusion, l'évaluation n'a pas permis de trouver de preuve solide que les SCG répondent à un besoin continu et mesurable en matière de services de conseils de gestion. La prestation de ces services est désignée comme facultative selon les exigences prévues à la loi et selon les politiques. Les ministères et organismes fédéraux ont accès à diverses ressources pour satisfaire leurs besoins en conseils de gestion, et les SCG ne représentent qu'une petite partie du marché global pour ces services.

Haut de la page

Harmonisation avec les priorités du gouvernement et du ministère

  1. L'harmonisation avec les priorités fédérales et ministérielles (formulées dans le résultat stratégique ministériel) a été déterminée en évaluant les services des SCG en fonction des rapports d'établissement des priorités. L'évaluation a permis de déterminer que la prestation de services par une entité comme les SCG n'était pas en harmonie avec les priorités fédérales.

  2. Des services comme ceux fournis par les SCG (et par d'autres experts-conseils en gestion) peuvent appuyer les ministères et les organismes fédéraux en leur permettant de mieux atteindre les objectifs liés aux priorités fédérales clés comme la responsabilisation, la sécurité nationale et la protection de la vie privée, la gestion du risque, la mesure du rendement et le renouvellement de la fonction publique. Outre ce soutien indirect, les documents du gouvernement fédéral qui traitent de l'établissement des priorités ne mentionnent pas précisément les services des SCG. Il y a un certain lien entre les services de SCG et les priorités du gouvernement fédéral. L'examen des services essentiels de 2010-2011 réalisé par les SCG a permis de constater que les services offerts correspondaient aux huit domaines du Cadre de responsabilisation de gestion, principalement l'intendance (32 % des recettes provenant de services tarifés en 2009-2010) et la gestion du risque (20 % des recettes provenant de services tarifés en 2009-2010). Malgré l'harmonisation des services des SCG avec les responsabilités fédérales en matière de gestion, l'évaluation n'a pas trouvé de preuve que la prestation de services de conseils de gestion par les SCG est une priorité du gouvernement fédéral.

  3. En tant que service commun, la prestation de services de conseils de gestion centralisés correspond à un résultat stratégique de TPSGC. Selon le Rapport sur les plans et les priorités de 2010-2011, la mission et le résultat stratégique du Ministère visent à « offrir des services et des programmes de première qualité adaptés aux besoins des organismes fédéraux ainsi que d'assurer une saine intendance au profit de la population canadienne ». Selon la Politique sur les services communs, TPSGC a pour mandat d'agir comme un organisme de services communs pour les ministères, les sociétés d'État et les organismes du gouvernement du Canada.

Concordance avec les rôles et les responsabilités du gouvernement fédéral

  1. Pour déterminer si le programme concorde avec les rôles et les responsabilités du gouvernement fédéral, nous avons examiné trois éléments : a) si la responsabilité du programme peut être transférée à un autre ordre de gouvernement (c'est-à-dire aux provinces); b) si la responsabilité du programme peut être transférée au secteur privé; c) si la responsabilité du programme peut être décentralisée et affectée aux ministères et organismes.

  2. La cession des SCG à d'autres ordres de gouvernement n'est pas viable. Bien que TPSGC ait la compétence législative voulue pour fournir des services facultatifs de conseils de gestion à tous les ordres de gouvernement au Canada (de même qu'aux gouvernements étrangers), le mandat premier des SCG est de répondre aux besoins du gouvernement fédéral. Par conséquent, le transfert des responsabilités à un autre ordre de gouvernement ne serait pas une option viable.

  3. Le transfert éventuel des responsabilités liées à certaines gammes de services de conseils de gestion au secteur privé est une option potentiellement viable. Bien que le transfert de l'organisme des SCG au secteur privé ne soit pas viable, le secteur privé offre des services de conseils de gestion appropriés pouvant satisfaire les besoins du gouvernement fédéral.

  4. Le transfert éventuel des responsabilités de certaines gammes de services de conseils de gestion à d'autres ministères et organismes fédéraux est aussi une option potentiellement viable. Les entrevues avec les intervenants ont révélé que de nombreux ministères, particulièrement les grands ministères et organismes, possèdent les connaissances associées aux services offerts par les SCG, comme la technologie et la gestion de l'information, l'analyse des politiques, la préparation des présentations au Conseil du Trésor et des mémoires au Cabinet, le développement organisationnel et l'évaluation des programmes.

  5. Dans l'ensemble, l'évaluation a révélé que les SCG ne détiennent pas un rôle et des responsabilités considérés comme essentiels pour le gouvernement fédéral.

Haut de la page

Conclusions : Pertinence

  1. En conclusion, l'évaluation n'a pas établi de preuve solide que les SCG répondent à un besoin continu et démontrable. Bien que, selon la Politique sur les services communs, le Ministre de TPSGC doit offrir les services des SCG, les activités des SCG recoupent la capacité actuelle du secteur privé.

Rendement

  1. Le rendement est la mesure selon laquelle un programme ou une initiative réussit à atteindre les objectifs fixés, et ce, d'une façon rentable et efficiente. Le rendement des SCG est traité aux sections « Atteinte des résultats » et « Efficience et économie ».

Atteinte des résultats

  1. Les résultats présentés dans un modèle logique sont conçus pour aider le Ministère à atteindre ses objectifs stratégiques. Ainsi, l'évaluation a examiné la mesure selon laquelle les activités du programme sont suffisantes pour atteindre les résultats escomptés. Les résultats des SCG sont identifiés ci-dessous en italique et sont suivis d'une évaluation de leur rendement.

Services de conseils de gestion de grande qualité, rapides et rentables

  1. Ce résultat a été évalué en considérant dans quelle mesure les services étaient fournis dans les temps prévus, étaient de qualité et que les clients étaient satisfaits. Ce résultat est primordial puisqu'il constitue le principal résultat associé aux activités essentielles du programme. La question de la rentabilité des services de conseils de gestion offerts par les SCG est traitée séparément à la section sur l'efficience et l'économie.

  2. Soixante-quinze pour cent des clients ayant répondu au sondage mené dans le cadre de cette évaluation ont affirmé être assez ou très satisfaits que les SCG aient exécuté le projet conformément à l'échéancier prévu dans le protocole d'entente. L'examen des dossiers menés dans le cadre de cette évaluation a montré que 39 % des projets ont été livrés environ un mois avant la date de fin prévue dans le protocole d'entente. Toutefois, une majorité des ententes ont fait l'objet de modifications, le plus souvent concernant les échéanciers. Lors des entrevues, les répondants représentant le programme ont indiqué que les retards dans l'échéancier des projets étaient souvent attribuables à des problèmes du coté du client, tels que leur incapacité de fournir à temps l'information requise.

  3. Soixante-douze pour cent des clients ayant répondu au sondage mené par le BVE ont convenu que les services des SCG avaient répondu à leurs besoins et 65 % ont convenu que les SCG avaient fourni des services comparables ou meilleurs à ceux des autres fournisseurs. Quatre-vingt-trois pour cent ont convenu que les SCG ont atteint les objectifs du projet décrits dans l'entente, alors que 75 % ont convenu que les SCG répondaient à leurs attentes en matière de qualité pour les travaux décrits dans l'entente. Les deux derniers points font partie des normes de service des SCG et les résultats sont inclus dans le sondage mené à l'automne 2010 sur la satisfaction de la clientèle.

  4. Le sondage mené par SCG auprès de ses clients a montré que les projets respectaient le budget prévu et selon le sondage mené dans le cadre de cette évaluation, les clients s'estiment généralement satisfaits de l'optimisation des ressources fournie par les SCG. Selon le sondage mené auprès des clients des SCG, 75 % d'entre eux ont exprimé leur satisfaction à l'égard de l'exécution du projet dans les limites du budget (établies dans l'entente). De plus, l'examen des dossiers a montré que, pour 82 % des projets réalisés, le budget avait été respecté ou, pour près de la moitié de ces projets, avait été inférieur à ce qui était prévu. Le sondage des clients mené aux fins de l'évaluation a aussi montré que 58 % des clients se sont dits satisfaits de l'optimisation des ressources fournie par SCG.

  5. Les SCG effectuent un sondage annuel auprès des clients dont le projet est complété dans le but d'évaluer leur satisfaction. Selon l'examen des réponses à ce sondage, effectué dans le cadre de l'évaluation, les clients qui ont fait appel aux SCG pour les services d'évaluation de programmes et de rendement se sont dits, de manière générale, moins satisfaits comparativement aux clients ayant fait appel à d'autres types de services. Cinquante-deux pour cent ont indiqué qu'ils utiliseraient encore les services des SCG si le besoin se présentait. En revanche, les clients qui ont fait appel aux SCG pour des services de gestion de l'information et du savoir ont indiqué de manière générale une satisfaction plus élevée que chez les autres clients. En fait, la totalité d'entre eux, cent pour cent, recourraient à nouveau aux services des SCG si le besoin se présentait.

Diffusion de pratiques exemplaires de gestion dans le secteur public

  1. Pour évaluer la diffusion des pratiques exemplaires, nous avons vérifié dans quelle mesure le programme détermine, rassemble et diffuse les pratiques exemplaires de gestion dans le secteur public au gouvernement du Canada.

  2. Cinquante-cinq pour cent des répondants au sondage auprès de la clientèle ont convenu que, grâce aux travaux exécutés par les SCG, leur organisation avait été informée des pratiques exemplaires ou les avait adoptées. Les clients qui ont fait appel aux SCG pour ses services de gestion de l'information sont plus nombreux à considérer que des pratiques exemplaires ont été intégrées à leur projet (soit 72 % des clients) comparativement à 38 % des clients qui ont fait appel aux SCG pour des services de gestion stratégique. Dans le cadre de cette évaluation, on a trouvé deux exemples d'utilisation ou d'application des pratiques exemplaires : la pratique de la gestion de projet fondée sur le guide du Référentiel des connaissances en Management de projet et la pratique du contrôle financier fondée sur les normes reconnues par le Conseil du Trésor.

  3. L'évaluation a aussi permis de relever des exemples où les SCG ont conçu des pratiques exemplaires novatrices, dont une méthode d'examen de l'efficacité organisationnelle, une stratégie d'engagement pour soutenir la mise en œuvre des comités de vérification dans les ministères et les organismes et la méthode de recherche électronique.

  4. Des membres du personnel des SCG interviewés ont souligné l'importance stratégique pour les SCG d'avoir comme clients les services centraux, puisqu'en contribuant à la conception de politiques, les SCG ont la possibilité d'influencer l'ensemble du gouvernement. L'examen de la base de données des clients des SCG montre que les services centraux (le Secrétariat du Conseil du Trésor, l'École de la fonction publique du Canada, le Bureau du vérificateur général, l'Agence de la gestion des ressources humaines de la fonction publique du Canada et la Commission de la fonction publique) représentent 14,2 % des projets des SCG et 9,6 % des recettes pour la période de cinq ans évaluée. La pièce 2 illustre comment les travaux réalisés pour le Secrétariat du Conseil du Trésor (SCT) ont augmenté au point de surpasser TPSGC en tant que le plus important client des SCG en 2009-2010.

Haut de la page

Pièce 2 : Valeur des ententes de service des SCG avec le Secrétariat du Conseil du Trésor et Travaux publics et Services gouvernementaux Canada, de 2005-2006 à 2009-2010Note de bas de page 4

Diagramme linéaire de 2005-2006 à 2009-2010
Source : Base de données sur les projets des SCG.

Description texte de la Pièce 2 : Valeur des ententes de service des SCG avec le SCT et TPSGC est disponible sur une page séparée.

Adoption de pratiques exemplaires de gestion dans le secteur public par les organisations clientes

  1. Pour l'adoption des recommandations et des pratiques exemplaires, la mesure selon laquelle le gouvernement du Canada a accepté les recommandations ou les résultats des services des SCG et intégré de manière active ces résultats dans ses pratiques a été évaluée. Le résultat a évalué la mesure selon laquelle les organisations clientes ont confirmé l'adoption de ces pratiques et sont reconnues pour leurs pratiques exemplaires.

  2. Les travaux des SCG ont entraîné l'adoption des recommandations et des pratiques exemplaires par les organisations clientes. Dans le sondage mené auprès des clients, les résultats de services des SCG ont été considérés comme ayant entraîné des changements dans la plupart des organisations : 83 % des clients ont déclaré avoir adopté les recommandations, alors que 70 % ont dit avoir fait des changements en fonction des travaux effectués par les SCG. Parmi les sept études de cas menées, quatre organisations ont adopté les recommandations associées aux résultats du projet, alors que les autres ont modifié leurs priorités ou orientations internes de sorte que les recommandations n'étaient plus pertinentes.

  3. On a demandé aux répondants du sondage d'évaluer l'effet que les travaux des SCG ont eu sur l'efficacité ou l'efficience de leur organisation. Cinquante-trois pour cent d'entre eux ont convenu que les travaux des SCG avaient eu « un peu », « assez » ou « beaucoup » d'effet à cet égard. Le plus grand effet est associé aux services de gestion stratégique (38 % des clients ont dit avoir vu « assez » ou « beaucoup » d'effet) et le plus petit effet, à la gestion des personnes (7 %). Quarante-cinq pour cent des répondants ont indiqué que les travaux des SCG avaient eu peu ou pas d'effet, parce que des changements n'étaient pas envisageables (p. ex. : les travaux constituaient une étape partielle ou ne visaient pas un changement, ou des changements avaient déjà été prévus). Dans environ 20 % des cas, les effets avaient été entravés par des changements organisationnels (p. ex. : un changement de direction, de nouvelles priorités organisationnelles).

Efficience et économie

  1. La démonstration de l'efficience et de l'économie se définit comme l'évaluation de l'utilisation des ressources en fonction des extrants produits et des progrès vers les résultats escomptés. L'efficience correspond à la mesure selon laquelle les ressources sont utilisées de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. L'économie correspond à la réduction des ressources utilisées. Un programme fait preuve d'une économie et d'une efficience démontrables élevées lorsque les ressources optimisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée.

Haut de la page
Efficience

  1. La capacité des SCG de générer des recettes est directement liée au temps que son personnel demeure engagé dans une activité génératrice de recettes, ce qui est connu comme le taux d'utilisation facturable. Selon la pièce 3, la productivité des SCG s'est améliorée avec le temps comme le montre l'augmentation de son taux d'utilisation facturable moyen. La productivité des SCG est passée de 57,7 % en 2005-2006 à 72,8 % en 2009-2010.

Pièce 3 : Taux d'utilisation réel de SCG par rapport au taux d'utilisation ciblé, de 2005-2006 à 2009-2010

Diagramme liénaire pour la Pièce 3.
Source : Plan d'affaires triennal des SCG et calcul de l'utilisation nette.

Description texte de la Pièce 3 : Taux d'utilisation réel des SCG par rapport au taux d'utilisation ciblé est disponible sur une page séparée.

  1. Une autre façon de déterminer l'efficience des activités opérationnelles des SCG est de calculer la proportion des activités qui concerne des projets de faible valeur (moins de 24 999 $). Les clients peuvent s'adresser à des fournisseurs exclusifs pour la réalisation de projets dont la valeur est inférieure à 24 999 $ et ces projets requièrent proportionnellement plus de temps non facturable pour le marketing et pour la préparation d'un protocole d'entente. Une utilisation efficiente des ressources se caractériserait par une maximisation du nombre de projets de valeur élevée ainsi que par la réduction du nombre de projets de faible valeur pour ainsi augmenter taux d'utilisation facturable.

  2. Alors que les SCG ont travaillé sur un moins grand nombre de projets depuis 2005-2006, ils ont également réduit la proportion d'activités liées à des projets de faible valeur. En 2005-2006, 29,10 % des activités portaient sur des projets de faible valeur contre 20,27 % en 2009-2010.

Sommaire du tableau Ce tableau illustre la proportion des projets des SCG dont la valeur était inférieure ou supérieure à 24 999 $, de 2005-2006 à 2009-2010. La proportion de projets d'une valeur inférieure à 24 999 $, aussi appelés projet de faible valeur, a diminué avec les années.
Pièce 4 : Proportion de projets dont la valeur est inférieure
ou supérieure à 24 999 $, de 2005-2006 à 2009-2010
  2005-2006 2006-2007 2007-2008 2008-2009 2009-2010 Ensemble des années
Pourcentage de projets inférieurs à 24 999 $ 29,10 % 29,12 % 20,75 % 16,46 % 20,27 % 23,73 %
Pourcentage de projets supérieurs à 24 999 $ 70,90 % 70,88 % 79,25 % 83,54 % 79,73 % 76,27 %
Nombre total de projets 244 182 212 158 148 944

Source : Base de données sur les projets des SCG.

Économie

  1. Les fonds renouvelables constituent un mécanisme de financement des prestations de services orientées sur une base commerciale. Ils visent à favoriser l'adoption de bonnes pratiques commerciales puisqu'ils doivent être autosuffisants et permettre le recouvrement des coûts (p. ex. : les coûts fixes liés à la durée de vie des biens, les avantages sociaux des employés).

  2. Comme les SCG offrent des services facultatifs financés par un fonds renouvelable, l'utilisation de leurs services constitue un choix pour les organisations clientes. Les SCG atteignent le seuil de rentabilité depuis 2007-2008, ce qui signifie que des clients continuent de choisir les services des SCG parmi les autres options qui leur sont offertes.

  3. Les recettes annuelles totales des SCG ont diminué, de 55,56 millions de dollars en 2006-2007 à 17,99 millions de dollars en 2009-2010. La pièce 5 présente le volume de projets menés par les SCG, le total des recettes (y compris les recettes provenant de services tarifés, les frais d'administration et certains autres frais de gestion des projets) et les recettes provenant de services tarifés de 2005-2006 à 2009-2010. Les « recettes totales provenant de services tarifés » découlent des honoraires des experts-conseils, alors que le « total des recettes » comprend, outre les recettes découlant des honoraires des experts-conseils, les fonds transférés aux SCG qui seront par la suite transférés à d'autres organismes. Cette pratique, appelée « passation de marchés par un intermédiaire », qui permettait aux clients de faire appel aux SCG comme gestionnaires des marchés passés avec des consultants extérieurs, a cessé en 2007-2008Note de bas de page 5.

  4. Au total, 942 projets ont été menés de 2005-2006 à 2009-2010, ce qui représente une moyenne annuelle de 175 projets.

  5. De 2006-2007 à 2007-2008, les SCG ont fonctionné à perte. Selon les états financiers du programme et la comptabilité d'exercice, le programme a affiché des résultats nets négatifs de 218 000 $ en 2006-2007 et de 2,3 millions de dollars en 2007-2008.

Haut de la page
Sommaire du tableau Ce tableau présente le nombre de projets menés par les SCG ainsi que les recettes totales et les recettes provenant de services tarifés, de 2005-2006 à 2009-2010. Ces recettes comprennent aussi la passation de marchés par un intermédiaire.
Pièce 5 : Nombre de projets et recettes des SCG de 2005-2006 à 2009-2010
  Nombre de projets Total des recettes
(en millions de dollars)Note de bas de page 6		 Recettes des services tarifés
(en millions de dollars)Note de bas de page 7
2005-2006 243 S. O. 37,70
2006-2007 182 55,56 26,40
2007-2008 212 17,70 18,00
2008-2009 158 18,14 13,90
2009-2010 147 17,99 14,20
TOTAL 942 109,4Note de bas de page 8 110,2

Sources : Recettes des SCG : Base de données sur les projets des SCG et plan d'affaires triennal des SCG (de 2009-2011 à 2012-2013).

  1. Les SCG ont attribué ces pertes à l'élimination de la passation de marchés par un intermédiaire en 2007-2008 puisqu'il n'était plus possible de réduire pleinement la totalité des coûts liés au déclin rapide des recettes provenant de cette pratique.

  2. Les SCG ont couvert leurs pertes de 2006-2007 à 2007-2008 en utilisant trois millions de dollars à partir de l'excédent accumulé du programme. Selon le Guide des Fonds renouvelables, « le surplus d'une année peut servir à compenser un déficit ou un effort de capitalisation ultérieur ». Il est important de noter que, malgré ces prélèvements, le programme n'a cessé d'indiquer un excédent accumulé.

  3. En réaction à l'élimination de la passation de marchés par un intermédiaire, les SCG ont mis en œuvre un nouveau modèle d'affaires selon lequel les recettes proviennent principalement des honoraires des experts-conseils. Ceci a amélioré leur situation financière et a permis d'atteindre le seuil de rentabilité depuis 2008-2009. Selon l'exercice comptable, le programme a montré des résultats nets positifs de 1,1 million de dollars en 2008-2009 et de 780 000 $ en 2009-2010.

  4. Pour que le programme atteigne le seuil de rentabilité, il doit fournir suffisamment de services facturables pour récupérer la totalité de ses dépenses. Les SCG ont établi une structure tarifaire appropriée pour leurs services en prévoyant les recettes moyennes par ressource pour que les coûts estimés soient récupérés en totalité pendant un exercice financier. Ce processus a été effectué chaque année.

  5. Les coûts fixes élevés ont amené les SCG à fournir le plus grand nombre possible de services facturables dans le but d'atteindre le seuil de rentabilité. En raison d'un tel effort, le programme ne bénéficie probablement pas de la souplesse lui permettant de choisir des projets dans des domaines qui offrent la plus grande possibilité d'améliorer la gestion du secteur public. Un organisme qui fonctionne par recouvrement de fonds et qui choisi stratégiquement des projets dont la proposition de valeur est forte (et réduit ses activités dans des domaines où elle ne l'est pas) peut compromettre sa capacité d'atteindre le seuil de rentabilité.

Autres formes de prestation de services

  1. La méthode d'exécution d'un programme devrait être fortement liée à l'efficience et à l'économie. Dans la possibilité d'une offre de services alternative, il est préférable d'utiliser la méthode qui maximise l'utilisation des intrants. L'évaluation a déterminé que le secteur privé constituait la principale option de rechange pour la prestation des services.

  2. Les SCG fournissent des services de conseils de gestion à des ministères ou à des organismes qui n'ont pas les ressources internes ni, dans certains cas, les connaissances spécialisées pour combler leurs besoins en conseils de gestion. Par conséquent, les SCG fournissent un service de conseils de gestion tarifé qui dédouble les services offerts par le secteur privé. Également, la question est de déterminer si les SCG peuvent fournir ces services de manière plus efficiente et plus économique que ne le fait le secteur privé.

  3. Il y a une différence fondamentale entre un programme financé par un fonds renouvelable et le secteur privé. Un programme financé par un fonds renouvelable a le mandat de récupérer la totalité des coûts, alors que l'objectif d'une entreprise du secteur privé est de maximiser ses profits. Les SCG ne sont pas autorisés à faire de profits, ils ne paient pas d'impôt sur le revenu, contrairement aux entreprises privées. De plus, les programmes gouvernementaux ont des exigences supplémentaires à respecter dans la conduite de leurs activités (p. ex. : le respect des langues officielles). Pour ces raisons, les SCG signalent qu'ils ne sont pas en mesure de réduire leurs tarifs et les clients disent que les tarifs ou les coûts de projet des SCG ne peuvent pas vraiment être comparés à ceux du secteur privé. L'évaluation a démontré que les tarifs de SCG étaient comparables à ceux des firmes de taille moyennes ou grandes comme l'indique une étude effectuée en 2009 par la Canadian Association of Management Consultants sur l'industrie des services de conseils de gestion. Le tarif journalier des experts-conseils des SCG est de 1 800 $ pour des conseillers de gestion, de 1 350 $ à 1 275 $ pour les conseillers principaux et de 975 $ pour les conseillers.

  4. De plus, l'examen de 2005 du mandat de Conseils et Vérification Canada a permis de constater que les fournisseurs en services de conseils de gestion du secteur privé pouvaient absorber pratiquement tout le marché couvert à ce moment-là par Conseils et Vérification Canada mais que les services internes de conseils de gestion répondent à un besoin dans les cas où, en raison d'une situation urgente ou délicate, le recours à un fournisseur de service interne est optimal. Selon une analyse effectuée par les SCG, environ 40 % des projets pourraient être pleinement exécutés par d'autres fournisseurs et seuls 8 % des projets comprenaient des activités devant être effectuées uniquement par des fonctionnaires. Le personnel et les clients des SCG ont déterminé que les ressources humaines, l'évaluation du rendement, l'évaluation des programmes et la gestion des projets étaient des domaines où de nombreuses entreprises privées offrent des services similaires à ceux offerts par les SCG.

  5. Selon des intervenants (des clients et des membres du personnel des SCG), les sociétés privées de conseils en gestion qui pourraient offrir des services de conseils de gestion sont de catégories diverses : des entreprises internationales ayant des bureaux à Ottawa et ailleurs au Canada, des entreprises locales de taille moyenne et, enfin, des entreprises spécialisées ou indépendantes qui comptent souvent des fonctionnaires à la retraite comme experts-conseils principaux. Le secteur des services de conseils de gestion est très concurrentiel; les 20 entreprises en tête de file contrôlent seulement 13 % du marché. En tant qu'organisme de taille moyenne offrant des services spécialisés devant posséder de très bonnes connaissances sur le gouvernement fédéral, les SCG sont comparables aux firmes de taille moyenneNote de bas de page 9 ou petite.

Haut de la page

Conclusions : Rendement

  1. Les clients des SCG reçoivent rapidement des services qui répondent à leurs attentes et à leurs besoins. Les projets sont réalisés en respectant les budgets et les clients sont généralement satisfaits des services fournis par les SCG et considèrent que les ressources sont optimisées. Les travaux effectués par les SCG ont entraîné l'adoption par les organisations clientes de recommandations et de pratiques exemplaires. Les clients signalent quelques effets positifs sur l'efficience ou l'efficacité de leur organisation après l'utilisation des services des SCG.

  2. Les SCG respectent l'obligation liée à leur financement par le fonds renouvelable consistant à atteindre le seuil de rentabilité et depuis qu'ils ont adopté un nouveau modèle d'affaires en 2008 leurs activités opérationnelles se sont avérées efficientes.

  3. Les tarifs exigés par les SCG sont comparables à ceux des entreprises de taille moyenne ou grande et leurs services se comparent à ceux des entreprises de taille moyenne ou petite.

Conclusions générales

  1. Pertinence : L'évaluation n'a pas établi de preuve solide que les SCG répondent à un besoin continu et démontrable. Bien que, selon la Politique sur les services communs, le Ministre de TPSGC doit offrir les services des SCG, les activités des SCG chevauchent la capacité actuelle du secteur privé.

  2. Rendement (atteinte des résultats) : Les clients des SCG reçoivent rapidement des services qui répondent à leurs attentes et à leurs besoins. Les projets sont réalisés en respectant les budgets et les clients sont généralement satisfaits des services fournis par les SCG et considèrent que les ressources sont optimisées. Les travaux effectués par les SCG ont entraîné l'adoption par les organisations clientes de recommandations et de pratiques exemplaires. Les clients signalent quelques effets positifs sur l'efficience ou l'efficacité de leur organisation après l'utilisation des services des SCG.

  3. Rendement (efficience et économie) : Les SCG respectent l'obligation liée à leur financement par le fonds renouvelable, consistant à atteindre le seuil de rentabilité et, depuis qu'ils ont adopté un nouveau modèle d'affaires en 2008, leurs activités opérationnelles se sont avérées efficientes. Les tarifs exigés par les SCG sont comparables à ceux d'entreprises moyennes et de grande taille et leurs services se comparent à ceux des firmes de taille moyenne ou petite.

Conséquences de l'examen stratégique

  1. Au moment de l'évaluation, TPSGC était l'un des 13 ministères fédéraux dont les priorités ont été examinées dans le cadre du processus d'examen stratégique. Dans le budget de 2011, le gouvernement a annoncé les initiatives que TPSGC mettrait en œuvre, notamment l'élimination de certains programmes. L'élimination des SCG vise à harmoniser davantage les activités de TPSGC avec son mandat de base et à tirer profit des services offerts par le secteur privé. TPSGC cessera de fournir des services de conseils de gestion dès mars 2012, tout en maintenant les offres à commandes avec de nombreuses entreprises du secteur privé, auxquelles les autres ministères peuvent avoir recours pour répondre à leurs besoins de consultation.

  2. Compte tenu que la collecte de données ainsi que la phase d'analyse étaient en grande partie complétées lors de la divulgation du budget de 2011, la phase de rédaction du rapport a été entreprise afin de présenter les résultats et les conclusions de l'évaluation des SCG, de documenter la performance des SCG et de bonifier la base documentaire appuyant le développement des politiques et des programmes. Étant donné la fin du programme, les recommandations en vue de réactions et de mesures à prendre par la gestion des programmes ne sont pas présentées dans cette évaluation puisqu'une décision sur l'avenir du programme a été prise.

Haut de la page

À propos de l'évaluation

Autorisation

Le Comité de vérification et d'évaluation de Travaux publics et Services gouvernementaux Canada a approuvé cette évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques de 2009-2010 à 2013-2014.

Objectifs

L'évaluation s'est portée sur les Services conseils du gouvernement offerts par la Direction générale des conseils, de l'information et des services partagés. Elle avait deux objectifs :

  • déterminer la pertinence du programme : déterminer s'il répond à un besoin continu, s'il s'harmonise avec les priorités gouvernementales et s'il est compatible avec les rôles et les responsabilités du gouvernement fédéral;
  • mesurer le rendement du programme : déterminer s'il a atteint les résultats escomptés et s'il fait preuve d'efficience et d'économie.

Approche

Pour évaluer les enjeux et les questions, on a utilisé les éléments de preuve suivants :

Examen des documents et des dossiers : L'examen initial des documents a permis d'acquérir une compréhension du programme et de son contexte afin de faciliter la phase de planification. Les documents examinés comprennent ceux fournis par le programme et ceux rédigés sur le programme, notamment la Loi sur le ministère des Travaux publics et des Services gouvernementaux de 1996, la Politique sur les services communs, les politiques du Conseil du Trésor concernant la gamme de services offerts par les SCG, les plans d'affaires des SCG, les rapports, les politiques, les procédures et divers autres documents décrivant les activités et les extrants des SCG. Des analyses ont également été menées concernant les bases de données relatives aux finances et aux clients des SCG ainsi que les données du sondage sur la satisfaction de la clientèle.

Analyse documentaire : Une analyse documentaire a permis de mettre le programme dans un contexte national et international, de déterminer le fondement théorique du modèle adopté par le programme, de fournir une base de données comparatives aux fins d'évaluation et de cerner d'autres modèles de prestation grâce à une analyse des autres gouvernements.

Examen des dossiers : Un examen a été effectué à partir d'un échantillon aléatoire de 50 dossiers de projet des SCG couvrant les six gammes de service offertes par les SCG pour la période de cinq ans faisant l'objet de l'évaluation. Ceci représente environ 5 % des projets pour lesquels des ententes ont été conclues au cours de cette période.

Entrevues : L'équipe d'évaluation a mené des entrevues auprès des gestionnaires et des employés des SCG (n=33). De plus, elle a mené des entrevues avec des représentants des ministères et organismes clients (n=7). Des entrevues ou des échanges de courriels ont également été effectués avec trois experts-conseils en gestion du secteur privé. L'analyse qualitative des entrevues a permis d'obtenir de l'information sur les activités, les extrants, les résultats escomptés, les intervenants, la pertinence et le rendement du programme, du point de vue des gestionnaires du programme, des ministères clients et des autres intervenants. Des guides d'entrevue ont été utilisés.

Suivi du sondage mené auprès des clients des SCG : L'équipe d'évaluation a préparé un sondage électronique (Internet) afin d'obtenir le point de vue des clients sur le rendement du programme. La base du sondage était constituée des dossiers de projet des SCG et des noms des clients, dont l'équipe a trouvé l'adresse courriel, en plus de retrouver les personnes qui avaient changé de fonction. Ce sondage a permis d'étayer et d'approfondir les constatations. Au total, les clients de 237 projets menés par les SCG de 2005-2006 à 2009-2010 ont été invités à participer au sondage. Un total de 68 réponses ont été reçues sur les 207 clients qui ont été rejoints ce qui représente un taux de réponse de 33 %. Parmi ceux-ci, une soixantaine de questionnaires (29 %) ont été remplis par 30 des 62 ministères et organismes constituant des clients potentiels (48 %).

Sondage auprès des ministères – clients éventuels des SCG : L'équipe d'évaluation a préparé un sondage électronique (Internet) afin d'obtenir le point de vue des clients éventuels des SCG : des unités organisationnelles qui doivent mettre en œuvre de nouvelles priorités gouvernementales en fonction des plans d'action, des orientations stratégiques, des cadres, des directives et des normes établis par le gouvernement et ses organismes centraux et qui ont besoin d'aide extérieure pour le faire.

Les répondants potentiels ont été définis comme des personnes ayant une responsabilité de gestion liée aux réformes administratives ou aux orientations stratégiques du gouvernement fédéral et travaillant dans les domaines couverts par les gammes de services des SCG. En se fondant sur un cadre d'échantillonnage, l'équipe d'évaluation a identifié ces personnes à l'aide des Services d'annuaires gouvernementaux électroniques, de telle sorte que la recherche utilisait l'organigramme établi à l'aide des Services d'annuaires gouvernementaux électroniques. Au total, 213 invitations étaient valides. Cinquante-quatre réponses ont été reçues, soit un taux de réponse de 23 %, représentant 29 ministères et organismes clients éventuels sur 38 (76 %).

Études de cas : Des études de cas ont été menées sur cinq projets des SCG sélectionnés de manière aléatoire ainsi que sur cinq projets sélectionnés par les SCG et considérés comme exemplaires sur le plan des résultats. Les cas exemplaires fournissent la preuve du niveau éventuel des retombées alors que les cas représentatifs documentent les retombées types. Outre l'examen des dossiers, chaque étude de cas comprenait des entrevues avec les experts-conseils des SCG (si possible) ayant géré le projet à l'étude ainsi qu'avec au moins un représentant de l'organisation cliente. Des entrevues ont ainsi été faites avec huit clients et neuf membres du personnel des SCG (les entrevues avec le personnel constituant un complément des entrevues avec des sources clés parmi les membres du personnel). Un rapport a été rédigé pour chaque étude de cas résumant l'information obtenue auprès de chacune des sources.

Haut de la page

Limites de la méthodologie

Examen des documents : Certains des documents examinés avaient été produits par les SCG, ceux-ci ne provenaient donc pas d'une source indépendante.

Analyse documentaire : Il n'existe pas de cadre de référence unique sur les pratiques de gestion efficace de la fonction publique qui couvre toute la gamme de services offerts par les SCG. La documentation demeure générale, traitant principalement du rôle de la consultation en gestion comme facteur contribuant au développement organisationnel, à la formation et à la gestion de la fonction publique.

Examen des dossiers : Un dossier n'était pas disponible parmi les 50 dossiers sélectionnés.

Entrevues : Les personnes convoquées à une entrevue n'ont pas tous accepté de le faire, que ce soit des personnes de l'intérieur ou de l'extérieur des SCG. Il y a eu davantage de refus de réponse parmi les intervenants externes : certains d'entre eux avaient pris leur retraite ou avaient changé d'emploi et d'autres ont refusé de participer, en indiquant que leur expérience récente avec les SCG était insuffisante.

Suivi du sondage mené auprès des clients des SCG : Le taux de réponse est faible, et les réponses ne sont peut-être pas représentatives de l'ensemble des clients des SCG. De plus, les données comportent un biais de récence, dans le sens où, proportionnellement, les clients ayant eu des projets plus récents avec les SCG ont répondu en plus grand nombre (69 % des réponses se rapportant aux projets menés au cours des deux dernières années de la période de cinq ans évaluée).

Sondage auprès des ministères – clients éventuels des SCG : Le taux de réponse est faible, et les réponses ne sont peut-être pas représentatives de l'ensemble des clients éventuels des SCG.

Études de cas : Il a été possible d'obtenir des données d'entrevue suffisantes pour seulement 10 des 16 projets sélectionnés, parce que les répondants n'étaient pas disponibles.

Les multiples éléments de preuve examinés ont servi à réduire ces contraintes.

Établissement des rapports

Les constats ont été consignés dans l'ébauche du rapport du directeur qui a été revue à l'interne par les responsables de l'assurance de la qualité du Bureau de la vérification et de l'évaluation. L'ébauche du rapport du directeur a été transmise au directeur général du programme, en lui demandant de valider les faits et de commenter le contenu. L'ébauche du rapport du dirigeant principal de la vérification et de l'évaluation a été préparée et transmise au sous-ministre adjoint de la Direction générale des services intégrés, qui agit à titre de bureau de première responsabilité, aux fins d'acceptation. L'ébauche du rapport final a été présentée au Comité de vérification et d'évaluation le 26 janvier 2012 pour approbation par le sous-ministre. Le rapport final sera soumis au Secrétariat du Conseil du Trésor et affiché sur le site Web de TPSGC.

Équipe de projet

L'évaluation a été effectuée par des employés du Bureau de la vérification et de l'évaluation, sous la supervision du directeur de l'Évaluation et sous la direction générale du dirigeant principal de la vérification et de l'évaluation. L'évaluation a été examinée par la fonction d'assurance de la qualité du Bureau de la vérification et de l'évaluation.

Haut de la page

Annexe A

Sommaire du tableau Ce tableau présente la matrice d'évaluation des SCG. La matrice d'évaluation présente les éléments de l'évaluation, les questions, les indicateurs de rendement et les sources de données.
Grille d'évaluation
Questions d'évaluation Indicateurs Source(s) des données
Pertinence
1. Dans quelle mesure les Services conseils du gouvernement répondent-ils à un besoin démontrable et tiennent-ils compte des besoins des Canadiens?
 1.1 - Taille estimée (nombre d'organismes, nombre de contrats, valeur) du marché pour les services de conseils du gouvernement. Loi sur le ministère des Travaux publics et des Services gouvernementaux, 1996

Politique sur les services communs du Conseil du Trésor

Sondage d'un échantillon constitué des ministères et des organismes fédéraux admissibles aux SCG (regroupés en fonction de leur taille)

Examen de la base de données des clients des SCG

Plans et rapports sur la commercialisation et les finances

Entrevues avec les principaux intervenants des organisations clientes et des organismes centraux

1.2 - Estimation de la part du marché relative aux Services conseils du gouvernement par rapport aux dépenses totales pour les services de conseils de gestion engagées par les ministères et organismes du gouvernement du Canada.
1.3 - Point de vue des intervenants quant à la disponibilité et à l'accessibilité des services de conseils en gestion du gouvernement du Canada.
2. Les Services conseils du gouvernement respectent-ils toujours les priorités ministérielles et gouvernementales?
 2.1 - Exigences législatives et politiques de la prestation en interne de services de conseils en gestion. Discours du Trône (de 2004 à 2010)

Budgets (de 2004 à 2010)

Cadre de responsabilisation de gestion (CRG)

Loi sur le ministère des Travaux publics et des Services gouvernementaux de 1996, Politique sur les services communs et autres politiques pertinentes du gouvernement du Canada (GC)

Revue de la description des mandats des projets des SCG

Directives du SCT aux ministères

Entrevues avec les principaux intervenants de TPSGC
2.2 - Mesure selon  laquelle les services de conseils en gestion fournis par les SCG s'harmonisent aux priorités de TPSGC.
2.3 - Mesure selon laquelle les services de conseils en gestion fournis par les SCG s'harmonisent aux priorités du gouvernement du Canada.
3. Dans quelle mesure le programme des Services conseils du gouvernement s'harmonise-t-il aux rôles et aux responsabilités du gouvernement fédéral?
 3.1 - Mesure selon laquelle les services des SCG sont ou ne sont pas en concurrence avec les fournisseurs de services de conseils en gestion du secteur privé. Loi sur le ministère des Travaux publics et des Services gouvernementaux, 1996

Politique sur les services communs et autres politiques pertinentes du GC

Mandat et mission des Services conseils du gouvernement

Plans de commercialisation et d'affaires des Services conseils du gouvernement

Sondage d'un échantillon constitué des ministères et des organismes fédéraux admissibles aux SCG (regroupés en fonction de leur taille)

Examen des protocoles d'entente (PE) et de la base de données des clients des SCG - description des mandats des projets

Entrevues avec les principaux intervenants de TPSGC, les organismes centraux et les ministères clients

Étude d'étalonnage des services de conseils en gestion utilisée dans d'autres gouvernements

Examen des pratiques et des services du secteur privé

Examen des correspondances ministérielles

3.2 - Mesure selon laquelle les rôles et les responsabilités actuels des SCG correspondent à leur première raison d'être en matière de politique publique.
3.3 - Mesure selon laquelle la raison d'être historique est cohérente avec les rôles et les responsabilités actuels du gouvernement fédéral.
3.4 - Chevauchement ou dédoublement avec d'autres services fédéraux.
3.5 - Approches pour la prestation des services de conseils en gestion dans d'autres administrations.
Rendement
4. Les clients des SCG reçoivent-ils des services de conseils économiques en temps opportun et de grande qualité? (résultats immédiats)
 4.1 - Proportion des produits livrables des projets qui satisfont aux indicateurs de qualité (respect des délais, des coûts et des exigences). Examen des dossiers de projet, y compris les rapports d'état des projets

Statistiques sur la qualité du service

Évaluation de la satisfaction des clients

Ancien sondage pour faire le suivi auprès des clients, au moins six mois après la fin du projet

Sondage d'un échantillon constitué des ministères et des organismes fédéraux admissibles aux SCG (regroupés en fonction de leur taille)

Protocoles d'entente, modifications et correspondances liées aux projets
4.2 - Existence et achèvement du processus de contrôle de la qualité pour les produits et services des SCG.
4.3 - Pourcentage des produits des SCG faisant l'objet du contrôle de la qualité.
4.4 - Proportion de clients qui considèrent que les produits ou services livrables répondent efficacement à leurs besoins et optimisent les ressources financières.
4.5 - Proportion de clients ayant indiqué que les experts-conseils des SCG ont les habiletés, les connaissances, l'expérience et l'éducation nécessaires pour mener à bien le projet.
4.6 - Évaluation par les clients de la qualité du service des SCG par rapport à la qualité offerte par les autres fournisseurs.
5. Les SCG diffusent-ils les meilleures pratiques en matière de gestion dans le secteur public?
 5.1 - Catalogue des meilleures pratiques des SCG pour les produits et services offerts. Publications sur les Services conseils du gouvernement

Activités de diffusion des Services conseils du gouvernement

Examen de l'avis d'experts sur les meilleures pratiques dans la fonction publique fédérale

Consultations avec les universitaires dans le domaine de l'administration publique du Canada

Entrevues avec les gestionnaires des SCG

Examen de la documentation sur les SCG

Entrevues avec les principaux intervenants de TPSGC
5.2 - Évidence des activités des SCG pour diffuser les meilleures pratiques en matière de gestion dans la fonction publique, en plus des produits et services offerts moyennant certains coûts.
5.3 - Opinion des experts sur la mesure selon laquelle les meilleures pratiques sont diffusées par les SCG dans le cadre des produits et services offerts moyennant certains coûts, de même que d'autres activités.
5.4 - Preuve de récompenses ou de toute autre forme de reconnaissance accordées aux SCG pour la diffusion des meilleures pratiques dans ses secteurs d'activités.
5.5 - Points de vue des intervenants de la fonction publique fédérale sur la mesure selon laquelle les meilleures pratiques sont diffusées par les SCG.
6. Dans quelle mesure les clients adoptent-ils les meilleures pratiques en matière de gestion du secteur public?
 6.1 - Mesure selon laquelle les clients des SCG adoptent les recommandations découlant des produits et services des SCG (c'est-à-dire l'élaboration et la mise en œuvre des plans d'action de la gestion et/ou d'autres outils de gestion des changements dans les organisations clientes à l'aide des recommandations découlant des produits et services des SCG). Sondage et examen des plans d'action de la gestion et d'autres documents sur la gestion du changement des autres ministères

Ancien sondage pour faire le suivi auprès des clients, au moins six mois après la fin du projet

Études de cas comportant des incidences (a) représentatives et (b) exemplaires

Sondage d'un échantillon constitué des ministères et organismes fédéraux admissibles aux SCG (regroupés en fonction de leur taille)

Examen de l'avis d'experts sur les meilleures pratiques dans la fonction publique fédérale

Consultations avec les universitaires dans le domaine de l'administration publique du Canada
6.2 - Proportion des clients indiquant qu'ils ont adopté les meilleures pratiques au sein de leur organisme après avoir collaboré avec les SCG.
6.3 - Opinion d'experts dans la mesure où les meilleures pratiques sont adoptées par les organismes clients de la fonction publique grâce aux SCG.
6.4 - Prix et autres formes de récompense remis aux clients pour leurs meilleures pratiques attribuables aux services des SCG.
7. Dans quelle mesure les Canadiens tirent-ils profit d'une fonction publique gérée de façon plus efficace et plus efficiente?
 7.1 - Proportion des clients indiquant que les travaux des SCG ont contribué à l'amélioration de la gestion et/ou des activités au sein de leur organisme. Évaluation de la satisfaction des clients

Ancien sondage pour faire le suivi auprès des clients, au moins six mois après la fin du projet

Examen des dossiers de projet
7.2 - Proportion des projets liés aux politiques administratives actuelles et/ou aux priorités du gouvernement du Canada.
7.3 - Proportion des projets harmonisés aux priorités émergentes et actuelles du gouvernement.
8. Dans quelle mesure le gouvernement et les Services conseils du gouvernement font-ils preuve d'efficience et d'économie?
 8.1 - Comparaison des taux des SCG et des coûts d'ensemble des projets avec ceux des experts-conseils en gestion du secteur privé. Examen des dossiers de projet

Données des systèmes financiers des SCG

Entrevues avec les gestionnaires et les experts conseils des SCG

Sondage auprès d'un échantillon composé de ministères et d'organismes du gouvernement regroupés selon leur taille

Entrevues avec les intervenants de TPSGC et des organismes centraux

Examen externe effectué par un panel constitué d'experts-conseils de haut niveau en gestion du secteur privé

Étude d'étalonnage des autres fournisseurs de services

Communications avec les firmes de consultation en gestion du secteur privé

Notes de bas de page

Note de bas de page 1

Devenue la Direction générale des Services intégrés le 15 aout 2011.

Retour à la référence de la note de bas de page 1

Note de bas de page 2

L'approbation a été accordée en 2003.

Retour à la référence de la note de bas de page 2

Note de bas de page 3

Les frais recouvrables (déplacements, traduction, etc.) sont facturés aux clients au prix coûtant.

Retour à la référence de la note de bas de page 3

Note de bas de page 4

N. B. : l'interprétation des données financières doit tenir compte l'élimination de la passation de marchés par un intermédiaire en vigueur jusqu'en 2007-2008.

Retour à la référence de la note de bas de page 4

Note de bas de page 5

À son apogée, cette pratique représentait environ les trois quarts des recettes des SCG.

Retour à la référence de la note de bas de page 5

Note de bas de page 6

Les recettes totales (qui incluent celles provenant de la passation de marchés par un intermédiaire) proviennent du Plan d'affaires du programme de 2009-2010. Le Plan d'affaires ne présentait pas de données pour l'année 2005-2006.

Retour à la référence de la note de bas de page 6

Note de bas de page 7

Les recettes des services tarifés ont été obtenues en calculant la valeur totale des contrats dans la base de données.

Retour à la référence de la note de bas de page 7

Note de bas de page 8

Excluant les données de l'exercice 2005-2006.

Retour à la référence de la note de bas de page 8

Note de bas de page 9

La Canadian Association of Management Consultants définit une exploitation de taille moyenne comme une organisation comptant de 10 à 99 experts-conseils à temps plein.

Retour à la référence de la note de bas de page 9