2010-605 Évaluation de Services de vérification Canada
(Rapport final)

Le 3 novembre 2011

Table des matières

• Points principaux
• Introduction
• Profil du programme
• Objectif de l'évaluation
• Constatations et conclusions
  • Pertinence
    • Besoin continu
    • Conformité avec les priorités du gouvernement et du ministère
    • Alignement avec les rôles et responsabilités du gouvernement fédéral
  • Conclusions : Pertinence
  • Rendement
    • Atteinte des résultats
      • Prestation de services rapide et de qualité aux clients
      • Appui à la bonne gouvernance et à la gestion efficace des risques
      • Certification de l'exactitude des paiements contractuels
      • Augmentation de la capacité de vérification interne des clients
      • Les constatations des vérifications et recommandations qui servent de catalyseur pour améliorer les programmes et les politiques des clients
      • Renforcement de la capacité de vérification à long terme
      • Amélioration des systèmes de contrôle interne, de la gestion des risques et de l'intendance au gouvernement du Canada
    • Efficience et économie
      • Efficience
      • Économie
      • Prestation alternative
  • Conclusions : Rendement
• Conclusions générales
• Conséquences de l'examen stratégique
• À propos de l'évaluation
• Appendice A - Grille d'évaluation

Points principaux

Points soumis à l'évaluation

i. La présente évaluation a porté sur la pertinence et le rendement continus de Services de vérification Canada (SVC), un fournisseur de services de vérification facultatifs de Travaux publics et Services gouvernementaux Canada (TPSGC). SVC offre des services de vérification, selon le principe de la rémunération à l'acte, aux autres ministères et organismes fédéraux, et il est autorisé à offrir des services aux gouvernements provinciaux et aux administrations municipales, ainsi qu'aux gouvernements étrangers. SVC utilise comme mécanisme de financement un fonds renouvelable qu'il partage avec Services conseils du gouvernement (SCG).

Pertinence

ii. En 2005, à la suite du démantèlement de Conseils et Vérification Canada (CVC), SVC est devenu un organisme distinct relevant du sous-ministre de TPSGC. En 2009, SVC a été intégré à la Direction générale de la surveillance. Bien que SVC ait subi plusieurs examens auparavant, l'organisme n'a fait l'objet d'aucune évaluation depuis qu'il a été créé à titre d'organisme autonome. De plus, il est reconnu que les services fournis par le SVC - principalement des services de vérification - sont disponible dans le secteur privé. Finalement, le SVC a connu un déficit récurrent d'environ 5 millions de dollars qui a suscité une attention considérable de la part de la haute direction.

Constatations

iii. L'évaluation a permis de constater que, bien que le gouvernement fédéral ait un besoin continu pour des services de vérification, on observe une diminution du besoin continu de SVC comme le fournisseur de ces services. La facilité à répondre à une demande, l'une des propositions de valeur de SVC, a été contrebalancée par de récents progrès qui ont rationalisé le processus de passation des marchés de services de vérification avec le secteur privé. Bien que SVC ne constitue pas une priorité du gouvernement fédéral ou des ministères, ses services appuient indirectement les efforts déployés par les ministères et les organismes pour réaliser leurs objectifs prioritaires tels que ceux qui sont énoncés dans la Loi fédérale sur la responsabilité, la Politique sur la vérification interne du Conseil du Trésor (CT) et la Politique sur les paiements de transfert du CT. En outre, il n'existe aucune politique ou loi qui exige que les ministères et les organismes utilisent les services de SVC, puisque ces derniers sont facultatifs en vertu de la Loi sur le ministère des Travaux publics et des Services gouvernementaux et de la Politique sur les services communs du CT. De manière générale, il pourrait être dans l'intérêt du gouvernement fédéral d'utiliser d'autres sources de services de vérification, telles que le secteur privé, ou de renforcer la capacité de vérification interne des ministères et des organismes fédéraux, d'autant plus que la capacité de vérification interne du gouvernement fédéral affiche une hausse de 152 % depuis 2005.

iv. Les clients ont indiqué que les services de SVC sont rapides et de bonne qualité, et qu'en général, l'organisme contribue à la gestion du risque et à la bonne gouvernance; cependant, les clients qui avaient obtenu des services de soutien à la vérification à la fois du secteur privé et de SVC percevaient le secteur privé comme un fournisseur de services de qualité supérieur par rapport aux services de SVC.

v. Grâce à ses travaux de vérification des coûts, SVC soutient la gestion efficace des fonds publics en certifiant l'exactitude des paiements contractuels. Les recommandations, suite au travail effectuer par le SVC, les produits livré et le déplacement du personnel de SVC au sein du gouvernement fédéral augmentaient la capacité de vérification interne et amélioraient les programmes et les politiques des clients en soutenant la bonne gouvernance et la gestion efficace des risques.

vi. Les questions budgétaires constituent une préoccupation pour SVC, L'organisme a connu des déficits nets d'environ 5 millions de dollars de 2007-2008 à 2009-2010. Cependant, en 2010-2011, SVC a enregistré un excédent d'environ 100 000 $. La base du revenu de SVC dépend d'un petit noyau de clients principaux, qui comptent sur les services de SVC pour répondre à leurs besoins en vérification. Leurs besoins pourraient être comblés par des offres à commandes ou des arrangements en matière d'approvisionnement avec le secteur privé.

vii. En 2010-2011, SVC a connu une augmentation du taux d'utilisation de ses services. Néanmoins, même si la majorité des bureaux ont amélioré leur rendement, d'autres bureaux connaissent toujours des taux d'utilisation relativement faibles. Les bureaux à faible rendement entraînent la diminution des avantages financiers que procurent les bureaux à haut rendement. La dotation et le roulement de personnel sont également des aspects préoccupants pour SVC, puisque il a comme objectif le recouvrement complet des coûts. Bien que les récentes contraintes d'effectif aient été bénéfiques, en permettant de réduire les effectifs à un niveau correspondant davantage à la demande comme en témoigne le taux d'utilisation accru, de telles restrictions pourraient avoir des conséquences sur la capacité future à répondre à la demande.

Conséquences de l'examen stratégique

viii. Au moment de cette évaluation TPSGC a été l'un des 13 départements revoir ses priorités à travers le processus d'examen stratégique. Dans le cadre du Budget 2011, le gouvernement a annoncé les initiatives que TPSGC mettra en œuvre, y compris l'élimination de certains programmes. En identifiant ASC pour l'élimination, il a noté que les services professionnels de vérification sont disponibles dans le secteur privé, et que l'organisation n'a pas atteint son objectif de recouvrement des coûts. L'examen a également noté que l'introduction de nouveaux outils contractuels a simplifié et accéléré le processus pour obtenir des services de vérification. L'élimination de l'ASC vise à mieux aligner les activités de TPSGC à son mandat de base et mieux utiliser les services du secteur privé.

ix. En négociant des plans de continuité avec ses clients existants, le SVC réduira progressivement ses activités et cessera de fournir des services de vérification en mars 2012.

x. En vue de la réduction progressive du programme, des recommandations pour réponse et actions de la gestion du programme ne sont pas présentées dans cette évaluation comme une décision finale sur l'avenir du programme a été prise.

Introduction

1. Ce rapport présente les résultats de l'évaluation de Services de vérification Canada (SVC). Le Comité de vérification et d'évaluation de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques 2010-2011 à 2014-2015. L'évaluation a été menée conformément aux normes d'évaluation du gouvernement du Canada et du Bureau de la vérification et de l'évaluation de TPSGC.

Profil du programme

Contexte

2. SVC offre des services de vérification aux ministères et aux organismes fédéraux selon le principe de frais de service. Des services de vérification sont également offerts, sur demande, aux municipalités, aux provinces, aux gouvernements étrangers et aux organisations internationales en vertu d'un décret en conseil. Les origines de SVC remontent à 1940, alors que la division de comptabilité analytique du Bureau du contrôleur était chargée d'enquêter sur les dépenses ministérielles. Cette ancienne division est considérée aujourd'hui comme le précurseur de Services de vérification Canada. Au fil des ans, une fonction centralisée de services de vérification a été maintenue au Bureau du contrôleur général du Canada et rebaptisée Division des services de vérification, en 1960.

3. En 1969, le Bureau du contrôleur du Trésor a été aboli et la Division des services de vérification a été renommée Bureau des services de vérification, lequel relevait du nouveau ministère des Approvisionnements et des Services. Un autre changement important s'est produit en décembre 1989, lors de la fusion du Bureau des services de vérification et du Bureau des conseillers en gestion visant à constituer l'organisme de service spécial Conseils et Vérification Canada (CVC). En 2005, CVC a été démantelé et la fonction de vérification de CVC a été renommée Services de vérification Canada, un organisme de service spécial relevant du sous-ministre de Travaux publics et Services gouvernementaux. Aussi, le volet conseil a été renommé Services conseils du gouvernement. Ce fournisseur de services relève de la Direction générale des Conseils, de l'information et des services partagés de TPSGC. En 2009, l'organisme SVC était intégré à la Direction générale de la surveillance de TPSGC. SVC offre des services selon le principe de frais de service et son mécanisme de financement est un fonds renouvelable qu'il partage avec Services conseils du gouvernement. En raison de difficultés liées aux pratiques de passation des marchés par transfert, SVC a perdu son pouvoir de passer des marchés de services en vue d'obtenir des ressources du secteur privé lorsque CVC a été démantelé. Actuellement, SVC peut passer un marché par l'intermédiaire des services d'aide temporaire pour répondre à la demande à court terme.

4. Dans la Loi sur le ministère des Travaux publics et des Services gouvernementaux et la Politique sur les services communs du Conseil du Trésor, CVC est considéré comme un fournisseur de services de vérification facultatif. Bien que la politique n'ait pas été modifiée pour tenir compte du démantèlement de CVC, celle-ci mentionne toujours que SVC constitue l'élément de CVC chargé d'offrir des services de vérification.

Gouvernance

5. SVC est dirigé par un président-directeur général qui relève directement de la sous-ministre adjointe, Direction générale de la surveillance. Le président-directeur général supervise cinq directeurs régionaux, qui possèdent chacun leur propre portefeuille de clients, et trois divisions, soit la division du Centre d'expertise, la division de la Région de la capitale nationale et la division des Ententes fédérales-provinciales. Chacune de ces divisions est dirigée par un directeur qui relève du président-directeur général.

Activités

6. Les activités de SVC sont réparties entre trois secteurs d'activité :

• Vérifications des coûts : Les vérifications examinent les contrats incluant des remboursements des coûts. Elles vérifient si les dépenses réclamées par les entrepreneurs sont admissibles et s'il existe une documentation appropriée qui appuie les frais engagés^{Note de bas de page 1}.
• Vérifications des paiements de transfert : Les vérifications des paiements de transfert examinent la conformité des bénéficiaires des fonds aux modalités des programmes de paiements de transfert. Ces vérifications donnent l'assurance que les fonds sont dépensés conformément aux critères d'admissibilité des programmes et aux modalités de l'accord de financement. Elles favorisent la responsabilisation des gestionnaires de programmes. Ces derniers aident SVC à effectuer les vérifications de ces programmes, au moyen d'une évaluation fondée sur le risque des exigences en matière de vérification pour lesdits programmes.
• Vérifications internes : La vérification interne est une fonction organisationnelle indépendante et objective qui ajoute de la valeur aux activités d'une organisation et améliore son efficacité et son efficience. Dans le secteur public, la fonction de vérification interne aide une organisation à atteindre ses objectifs en effectuant un examen indépendant et professionnel et une évaluation des processus de gestion des risques, de contrôle et de gouvernance au sein des ministères et des organismes fédéraux.

7. En plus de ces trois principaux secteurs d'activité, SVC peut offrir, sur demande, d'autres services de vérification spéciaux, comme l'expertise comptable judiciaire et des enquêtes spéciales.

Autorité

8. SVC est régi par la Loi sur le ministère des Travaux publics et des Services gouvernementaux qui énonce que « Le ministre peut offrir, sur demande des ministères ou organismes fédéraux, des services de vérification comptable. » SVC relève de l'organisme spécial Fonds renouvelable de Conseils et Vérification Canada, conformément à l'article 5.4 de la Loi sur les fonds renouvelables. La Politique sur les services communs du Conseil du Trésor précise que TPSGC et CVC ont été désignés organismes de services communs. Les types de services de vérification qu'offre SVC sont décrits aux sections 7.1.10 et 7.1.11 de l'appendice F, intitulé « Services facultatifs de la Politique sur les services communs ».

Ressources

9. SVC fonctionne selon le principe du recouvrement des coûts. Son financement est assuré par le Fonds renouvelable de CVC qu'il partage avec Services conseils du gouvernement. Ainsi, on s'attend à ce que les recettes de SVC couvrent les coûts directs de fonctionnement et les coûts indirects (p. ex., les coûts des services de soutien, les cadres supérieurs, les services ministériels de TPSGC, etc.). SVC a produit environ 48 % (16,9 millions de dollars) des recettes du Fonds renouvelable de CVC pour l'année 2009-2010, alors que Services conseils du gouvernement comptait pour 52 % (18,0 millions de dollars) des recettes.

Intervenants

10. SVC offre des services à un grand nombre de clients au gouvernement fédéral. La fusion des bases de données sur la satisfaction des clients de SVC a permis d'obtenir une liste de plus de 500 clients des ministères fédéraux pour les cinq dernières années. Cependant, environ 75 % des recettes annuelles sont attribuables à un groupe de sept à dix principaux clients, notamment TPSGC et Sécurité publique Canada. Ensemble, ils représentent de 31 à 48 % des recettes de SVC pour les trois dernières années.

Modèle logique

11. Un modèle logique est une représentation visuelle qui relie dans une chaîne, les activités, les extrants et les résultats pertinents à un programme. Il constitue un outil visuel et systémique permettant d'illustrer la théorie d'un programme, et présente la façon dont il est possible d'atteindre les objectifs établis. Il forme la base de l'élaboration de mesures du rendement et de stratégies d'évaluation, y compris la grille d'évaluation.

12. Un modèle logique de SVC, basé sur un examen approfondi des documents pertinents et des rencontres avec des gestionnaires du programme a été établi pour le cadre d'évaluation réalisé préalablement à cette évaluation. Il a ensuite été validé auprès de la haute direction de SVC. Il figure à la pièce justificative 1.

Pièce justificative 1 : Modèle logique de Services de vérification Canada

Une plus grande image et une longue description de la pièce justificative 1 : Modèle logique de Services de vérification Canada est disponible sur une page séparée. Il est possible que vous ayez de la difficulté à visualiser cette image en raison de sa dimension.

Objectif de l'évaluation

13. La présente évaluation visait à déterminer la pertinence du Programme ainsi que son rendement quant à l'atteinte des résultats escomptés, conformément à la Politique sur l'évaluation du Conseil du Trésor.

14. Une matrice d'évaluation, portant entre autres sujets sur les enjeux, les questions d'évaluation, les indicateurs et les sources de données, a été élaborée au cours de la phase de planification. Plusieurs éléments de preuve ont été utilisés pour évaluer le Programme, notamment :

1. Examen et analyse de documents : Plus de 40 documents ont été examinés pour déterminer les questions de l'évaluation, portant sur la pertinence et le rendement.

2. Entrevues avec les intervenants : Quarante-trois intervenants ont été interviewées. Il s'agissait de clients et de cadres supérieurs de SVC, de cadres supérieurs de TPSGC, du Secrétariat du Conseil du Trésor et du Bureau du contrôleur général.

3. Sondage en ligne auprès de clients et de dirigeants principaux de la vérification : Une liste de tous les clients des cinq dernières années et des dirigeants principaux de la vérification a été dressée. Au total, 131 personnes ont répondu au sondage, pour un taux de réponse de 33,6 % (131/390).

4. Examen des données secondaires et administratives : Un examen des données administratives a été réalisé afin d'étudier plus en détail la question du rendement. Les sources de données comprenaient les sondages remplis au cours des exercices 2005-2006 à 2010-2011 (à l'exception de l'exercice 2009-2010), des renseignements sur la mesure du rendement présentés dans des feuilles de calcul électronique ainsi que des états financiers.

5. Études de cas : Trois études de cas ont été menées afin d'examiner trois projets réalisés par SVC. Un des projets sélectionnés provenait du Programme de vérification des coûts de TPSGC, un deuxième de Sécurité publique Canada et le dernier d'Affaires autochtones et Développement du Nord (anciennement Affaires indiennes et du Nord Canada).

15. De plus amples renseignements sur l'approche et les méthodologies utilisées pour réaliser cette évaluation figurent à la section intitulée « À propos de l'évaluation » à la fin du présent rapport. La grille d'évaluation constitue l'appendice A.

Constatations et conclusions

16. Les constatations et conclusions suivantes reposent sur les multiples éléments de preuve utilisés durant l'évaluation. Elles sont présentées par type d'enjeu (pertinence et rendement).

Pertinence

17. La pertinence du programme a été évaluée en fonction du degré auquel celui-ci répond à un besoin démontrable et continu, est conforme aux priorités fédérales et ministérielles, et remplit un rôle approprié pour le gouvernement fédéral.

Besoin continu

18. Le besoin continu du Programme est évalué à l'aide de trois éléments principaux : la pertinence continue de la raison d'être du programme d'origine, les exigences des lois ou politiques et l'utilisation des services du Programme. D'après ces éléments, l'évaluation a démontré qu'il existait un faible besoin continu du Programme.

19. La raison d'être de SVC a beaucoup évolué depuis ses origines au Bureau du contrôleur du Trésor, au début des années 1940. À l'époque, le Contrôleur et le Vérificateur général du Canada étaient conjointement responsables d'enquêter sur les dépenses ministérielles. Ce qui était alors une responsabilité obligatoire a depuis évolué pour devenir un service facultatif, aux termes du mandat conféré par la Loi sur le ministère des Travaux publics et des Services gouvernementaux, alinéa 15d), qui mentionne que le ministre de TPSGC peut offrir, sur demande des ministères et des organismes fédéraux, des services de vérification comptable (SVC). Ainsi, TPSGC peut offrir des services de vérification (SVC) de façon facultative, et les ministères et organismes peuvent utiliser ces services à leur gré. Ce mandat est réaffirmé dans la Politique sur les services communs du Conseil du Trésor qui établit que TPSGC est un organisme de services communs (OSC) et qui mentionne, à la section 7.1 de l'annexe F intitulée « Services facultatifs », que SVC est un service facultatif.

20. Selon SVC, la justification fondamentale du maintien continu de ses services demeure la valeur intrinsèque et unique pour le gouvernement de continuer d'offrir des services de vérification professionnels dans la fonction publique. Les propositions de valeur clés de SVC, décrites dans leur Mise à jour annuelle des niveaux de référence et leur plan d'activités de 2011-2012, sont les suivantes :

• Réponse rapide : Les clients peuvent obtenir rapidement des services de SVC au moyen d'un protocole d'entente (PE) ou d'un accord.
• Valeur financière pour l'État : Les vérifications de SVC ont mené à un recouvrement de sommes importantes pour le gouvernement fédéral.
• Connaissances du gouvernement : SVC détient, développe et tient une base de connaissances à l'égard de la responsabilisation et de l'intendance des activités gouvernementales.
• Capacité consacrée aux besoins de l'État fédéral : SVC assure une réserve importante de ressources, offre de la formation et une vaste expérience qui correspondent aux besoins de l'appareil gouvernemental, et les rend accessibles à l'ensemble de cet appareil.
• Soutien aux politiques et aux lois du gouvernement : Les services et les activités de SVC appuient un certain nombre de politiques gouvernementales et d'instruments législatifs tels que : la Loi fédérale sur la responsabilité; la Loi sur la gestion des finances publiques; la Politique sur la vérification interne du CT; la Politique sur les paiements de transfert et la Politique sur le contrôle interne du CT.
• Qualité et professionnalisme : SVC réussit à offrir des services de qualité grâce à divers processus et activités tels que : la Fonction de la pratique professionnelle de SVC, l'inspection des pratiques professionnelles et des professionnels expérimentés et agréés.

21. Bien que SVC considère que les aspects ci-dessus sont uniques et qu'ils ajoutent de la valeur à son organisation, il n'existe aucune preuve indiquant que les organisations du secteur privé et les organisations de vérification interne du gouvernement fédéral ne peuvent pas ou ne pourraient pas également procurer tous ces avantages.

22. Une des propositions de valeur que l'on considérait comme étant unique à SVC était sa capacité de réponse rapide; cependant, de récentes améliorations aux processus d'approvisionnement en services de vérification sont susceptibles de diminuer la valeur de cet avantage. Parmi les améliorations récentes, mentionnons les arrangements en matière d'approvisionnement des Services professionnels de soutien à la vérification (SPSV), que doivent utiliser les ministères fédéraux pour la prestation de services de vérification du secteur privé. Les SPSV couvrent huit (8) axes de services de vérification qui offrent un processus simplifié pour les marchés de services de vérification. Dans certains cas, les ministères ou organismes fédéraux peuvent passer un marché pour la prestation de services en une journée seulement. La flexibilité offerte par ces types de contrats diminue quelque peu l'avantage apporté par la capacité du SVC d'établir rapidement un protocole d'entente avec ces clients.

23. En ce qui a trait aux autres propositions de valeur de SVC, il n'existe aucune preuve que les résultats des vérifications effectuées par SVC ont permis à l'État de recouvrer des sommes plus importantes que celles recouvrées par des entreprises de vérification du secteur privé, ou que SVC offre des services de plus grande qualité et fait preuve d'un plus grand professionnalisme, comme le mentionne la section qui porte sur le rendement. Même si les employés de SVC possèdent une très bonne connaissance du gouvernement fédéral et de ses besoins en vérification, il semble n'y avoir aucune raison pour que les entreprises privées fournissant des services de vérification au gouvernement fédéral ne possèdent pas ou n'aient pas pu acquérir ces mêmes connaissances. Certaines unités de vérification interne comptent parfois sur SVC pour combler leur manque de capacité; cependant, ces unités pourraient combler cette lacune par d'autres moyens, tels que l'utilisation d'offres à commandes ou d'arrangements en matière d'approvisionnement ou en augmentant leur effectif. Ainsi, puisque ces propositions de valeur ne sont pas fondamentalement uniques à SVC, la raison d'être d'un service de vérification interne au sein du gouvernement fédéral n'est pas fortement établie.

24. Bien que SVC aide les ministères et les organismes à satisfaire aux exigences des politiques et des lois, il n'existe aucune exigence politique ou législative liée à l'utilisation des services de SVC. La Politique sur les services communs du Conseil du Trésor mentionne que « l'acquisition des biens et services est laissée au libre choix des ministères hiérarchiques, il s'ensuit, de fait, que les Organisation de services communs (OSC) doivent mener leurs activités en régime concurrentiel […] et en régime de recouvrement des coûts, les tensions du marché obligent les OSC à axer leur attention sur le service à la clientèle, sur la prestation de biens et de services de grande qualité, offerts au moment voulu et à prix concurrentiel. […] Un contexte de fonctionnement de la sorte contribue à accroître les possibilités des fournisseurs commerciaux de servir l'administration fédérale dans les cas où cette dernière est susceptible d'obtenir une meilleure valeur, et favorise, de façon générale, l'accroissement de l'efficience et la réduction des coûts des opérations gouvernementales. » Bien que SVC, à titre de service facultatif, offre indirectement des services concurrentiels^{Note de bas de page 2} à ses clients, et que ces derniers ont la possibilité d'établir un protocole d'entente avec SVC ou de conclure un contrat avec un fournisseur du secteur privé, aux termes d'un accord conclu par les SPSV, SVC n'a pas été en mesure de fonctionner efficacement dans ce contexte tout en recouvrant la totalité de ses coûts.

25. Il semble y avoir une utilisation accrue des SPSV par les ministères et les organismes fédéraux depuis leur création, comme le démontre la pièce justificative 2.

Sommaire du tableau

Ce tableau établit une comparaison entre l'utilisation de l'arrangement en matière d'approvisionnement des Services professionnels de soutien à la vérification (SPSV) et des services de SVC, par ministère et organisme. Le tableau contient des renseignements sur les valeurs des contrats subséquents à l'arrangement en matière d'approvisionnement des SPSV et les valeurs des protocoles d'entente (PE) de SVC (en millions de dollars) ainsi que sur leur part de marché relative (en pourcentage). Les données concernent deux exercices financiers, 2008-2009 et 2009-2010, et proviennent des bases de données des SPSV et de SVC.

Pièce justificative 2 : Comparaison entre les valeurs
des contrats des SPSV et les valeurs des PE de SVC

Exercice	SPSV		SVC		Total des dépenses
	Valeur des contrats	% du total	Valeur des PE	% du total
2008-2009Note de bas de page 3	9,2 M$	38 %	15,2 M$	62 %	24,5 M$
2009-10	21,4 M$	57 %	16,2 M$	43 %	37,6 M$

Source : Données provenant des SPSV de SVC

26. Les valeurs figurant dans le tableau ci-dessus représentent seulement la première année des contrats pluriannuels; les options de contrat qui ont été exercées après la première année ne figurent pas dans les valeurs des SPSV. La souplesse de ces types de contrats fait baisser l'avantage que procure la capacité de SVC à établir rapidement un protocole d'entente avec les clients. En général, les recettes de SVC sont demeurées stables au cours des deux dernières années, mais sa part de marché relative semble avoir diminué en comparaison de la part de marché du secteur privé pour des SPSV.

27. Dans l'ensemble, l'évaluation a révélé qu'il y a un besoin continu minimal pour des services fournis par SVC. Bien que l'organisme soit investi d'une responsabilité législative optionnelle, en général, SVC n'est pas le seul organisme à soumettre ces propositions de valeur. Le processus de PE, qui a toujours constitué le produit unique clé offert par SVC, ne constitue plus une proposition de valeur en raison des économies accrues offertes par les marchés de services de vérification. De même, alors que les dépenses globales sur les services de vérification a augmenté durant l'exercice 2009/10, l'utilisation du PASS pour sécuriser les services de vde véification a augmenté de près de 20 pourcent tandis que le SVC a connu une baisse équivalente de sa part de marché.

Conformité avec les priorités du gouvernement et du ministère

28. Nous déterminons la conformité du Programme avec les priorités fédérales et ministérielles en observant dans quelle mesure le problème qui doit être résolu par le Programme est abordé dans les rapports et documents sur l'établissement des priorités du gouvernement fédéral et du ministère. Les services offerts par le SVC répondent indirectement aux priorités fédérales et sont alignés aux objectifs stratégiques de TPSGC. Toutefois, le SVC, comme une entité, n'est pas directement aligné avec les priorités fédérales ou les résultats stratégiques de TPSGC

29. Les services de SVC peuvent appuyer les ministères et les organismes fédéraux en leur permettant d'atteindre plus facilement les objectifs des principales priorités fédérales et ministérielles comme : la Loi fédérale sur la responsabilité, la Loi sur la gestion des finances publiques, la Loi sur le recyclage des produits de la criminalité et le financement des activités terroristes, la Politique sur la vérification interne du CT, la Politique sur les paiements de transfert du CT, le Cadre de responsabilisation de gestion (CRG) (efficacité de la fonction de vérification interne) et diverses politiques ministérielles de vérification interne. Outre ce soutien indirect, on ne mentionne pas précisément les services de SVC dans les documents du gouvernement fédéral qui concernent l'établissement des priorités. De même, il n'y a aucune raison de croire que les fournisseurs de services de vérification du secteur privé et les groupes de vérification interne des ministères et organismes fédéraux n'ont pas également la capacité de soutenir indirectement ces politiques et les lois.

30. En ce qui a trait aux priorités ministérielles, les services de SVC concordent avec les objectifs stratégiques de TPSGC qui consistent à offrir des « services et des programmes de grande qualité qui répondent aux besoins des organismes fédéraux et assurent une saine intendance au nom de la population canadienne. » Les services fournis par SVC permettent aux ministères et organismes fédéraux d'assurer une saine intendance de leurs activités grâce à la fonction de vérification.

31. Dans l'ensemble, l'évaluation a révélé que les services fournis par SVC ne sont pas directement liés à une priorité du gouvernement fédéral; cependant, les services du SVC soutiennent indirectement plusieurs priorités fédérales, puisque ils permettent à ses clients de s'acquitter de leurs responsabilités respectives énoncées dans les lois, les politiques du CT et les politiques ministérielles. Les services de SVC concordent également avec les objectifs stratégiques de TPSGC. Toutefois, le SVC, comme une entité ne s'aligne pas.

Alignement avec les rôles et responsabilités du gouvernement fédéral

32. Pour savoir si le Programme est aligné avec les rôles et responsabilités du gouvernement fédéral, nous avons examiné trois éléments : a) la responsabilité du Programme peut-elle être transférée à un autre ordre de gouvernement (c'est-à-dire aux provinces); b) la responsabilité du Programme peut-elle être transférée au secteur privé; c) la responsabilité du Programme peut-elle être décentralisée et affectée à des ministères et organismes.

33. Le transfert des responsabilités de SVC aux provinces n'est pas une solution viable. Bien que SVC soit en mesure d'offrir des services de vérification aux gouvernements provinciaux, aux administrations municipales et autochtones, le mandat de l'organisme demeure surtout de répondre aux besoins du gouvernement fédéral. Avoir des services vérification provinciale ou municipale pour soutenir le gouvernement fédéral n'a pas de sens. Par conséquent, le transfert des responsabilités de vérification à un autre ordre de gouvernement ne serait pas une option viable.

34. En ce qui concerne le transfert possible des responsabilités au secteur privé ou la décentralisation de celles-ci à d'autres ministères et organismes fédéraux, on en vient à la conclusion que l'une ou l'autre des options serait possiblement viable. Alors que la dévolution du SVC comme une entité du secteur privé n'est pas viable, la dévolution des responsabilités pour la fourniture d'au moins certains des services actuellement offerts par le SVC est une option viable. Par example, deux des axes de services des SPSV concordent avec deux des trois principaux secteurs d'activité de SVC (vérification interne et vérification des paiements de transfert). En outre, les ministères pourraient augmenter leur propre effectif de la vérification interne. Il ne reste plus que le secteur d'activité chargé de la vérification des coûts des marchés. Aucun des huit axes de services des SPSV ne concorde avec ce type de vérification. Cependant, ces vérifications sont réalisées surtout dans le cadre du Programme de vérification des coûts contractuels de la Direction générale des approvisionnements de TPSGC, il n'y a aucunes raisons qui empêcherait la Direction générale des approvisionnements d'assumer la responsabilité de la coordination de ses propre services de vérification.

35. Dans l'ensemble, l'évaluation a révélé que SVC ne détient pas un rôle et des responsabilités considérés comme essentiels pour le gouvernement fédéral.

Conclusions : Pertinence

36. En conclusion, il existe un besoin continu minimal pour les services de SVC. Bien qu'il y ait une disposition dans la politique qui mentionne que TPSGC doit offrir des services de vérification, il ne s'agit pas d'une exigence obligatoire. Au moment de l'évaluation, les clients pouvaient opter d'utiliser les services du SVC; cependant, la demande des clients pour des services du SVC a diminué par rapport à la valeur des contrats octroyés aux termes d'accords conclus par les SPSV. La capacité à prendre des dispositions pour conclure des contrats à long terme, en passant par les SPSV, procure une souplesse accrue aux clients et réduit la valeur ajoutée des PE offerts par SVC.

37. Au moment de l'évaluation, les services du SVC correspondent indirectement aux priorités du gouvernement fédéral. Ces services aident les ministères et les organismes à répondre aux exigences législatives et politiques en matière de vérification et répondent aux objectifs stratégiques de TPSGC d'offrir un service qui aide les autres ministères et organismes fédéraux à assurer une saine intendance de leurs activités en répondant à leurs besoins en vérification.

Rendement

38. Le rendement concerne la mesure dans laquelle un programme ou une initiative réussit à atteindre les objectifs fixés, et ce, d'une façon rentable et efficiente. La présente évaluation a porté sur la façon dont SVC atteint ses résultats immédiats, intermédiaires et à long terme, tels qu'illustrés dans le modèle logique figurant à la section « Profil ».

Atteinte des résultats

39. Les résultats présentés dans un modèle logique sont conçus pour permettre au Ministère d'atteindre ses objectifs stratégiques. Ainsi, l'évaluation a examiné la mesure dans laquelle les activités du Programme sont suffisantes pour atteindre les résultats escomptés. Les résultats du SVC sont identifiés en italique ci-dessous, suivi par une évaluation de leur performance.

Prestation de services rapide et de qualité aux clients

40. Dans un contexte d'exploitation où l'utilisation des services de SVC est entièrement facultative, la satisfaction des clients est essentielle pour bâtir et maintenir une entreprise prospère. La qualité et la rapidité contribuent de façon importante à la satisfaction du client. Afin de rivaliser avec les autres options offertes aux clients, SVC devrait offrir un niveau de qualité et de rapidité qui égale ou surpasse celui du secteur privé ou des groupes de vérification interne, tout en recouvrant complètement ses coûts.

41. De 2005-2006 à 2008-2009, SVC a réalisé annuellement un sondage de satisfaction de la clientèle. En 2009-2010, le processus de sondage annuel a été suspendu et une nouvelle version de sondage a été introduite en 2010-2011. Cette nouvelle version a été administrée à un plus petit nombre de répondants. Puisque les résultats du sondage des années 2005-2006 à 2008-2009 ne variaient pas de façon significative, les résultats pour ces années ont été combinés dans la présente évaluation. En plus d'analyser le sondage annuel de satisfaction de la clientèle de SVC, l'équipe d'évaluation a mené un sondage (appelé « sondage d'évaluation »), auprès d'actuels et d'anciens clients et dirigeants de la vérification du gouvernement du Canada. Vous trouverez dans le tableau suivant les résultats comparatifs des sondages cumulatifs SVC de 2005-2006 à 2008-2009, du sondage SVC 2010-2011 et du sondage d'évaluation.

Sommaire du tableau

Ce tableau justificative compare les résultats du sondage annuel sur la satisfaction de la clientèle mené par SVC et le sondage d'évaluation mené par le Bureau de la vérification et de l'évaluation (BVE).

Pièce justificative 3 : Résultats du sondage de satisfaction de la clientèle de SVC par Bureau de la vérification et de l'évaluation 20 mars 2012 rapport aux résultats du sondage d'évaluation

Indicateur de qualité	Sondages cumulatifs (de 2005-2006 à 2008-2009)	Sondage SVC (2010-2011)	Répondants au sondage d'évaluation (2010-2011)
Les services offerts par SVC ont répondu aux besoins de l'organisation du client.	83 %	81 %	77 %
SVC a respecté les coûts et les calendriers convenus.	86 %	73 %	70 %
SVC a démontré une compréhension adéquate de votre ministère, des besoins de l'organisme central et du contexte gouvernemental.	94 %	88 %	85 %
SVC a fourni des ressources ayant des compétences et des connaissances appropriées.	92 %	88 %	86 %
SVC a compris les besoins du client et le contexte immédiat du projet.	94 %	84 %	90 %
Globalement satisfait des services rendus par SVC.	91 %	88 %	77 %

Source : Données du sondage mené auprès des clients de SVC (résultats cumulatifs de 2005-2006 à 2008-2009 inclusivement et résultats individuels de 2010-2011) et données relatives au sondage d'évaluation.

Répondants : Résultats cumulatifs SVC n=298 (total); SVC 2010-2011 n=27; sondage d'évaluation n=119.

42. Les résultats des sondages ont révélé une grande satisfaction à l'égard des services de SVC, bien qu'il y ait eu, au fil des ans, une légère diminution de la note accordée par les clients à certains aspects de la qualité de leurs services. On peut notamment remarquer que la satisfaction des clients à l'égard de la capacité de SVC à respecter les coûts et les calendriers convenus a sensiblement diminué. En ce qui concerne l'indice de satisfaction globale, on remarque un écart entre les résultats des sondages SVC et ceux du sondage d'évaluation dans plusieurs aspects de la qualité. Cet écart pourrait être attribuable, en partie, au fait que parmi les répondants au sondage d'évaluation, on comptait d'anciens clients qui avaient cessé d'utiliser les services de SVC en raison d'une certaine insatisfaction.

43. Il importe de noter que la plupart des clients interrogés dans le cadre de cette évaluation n'avaient pas eu recours aux services de fournisseurs du secteur privé dans les cinq dernières années, et que seul le tiers des répondants ont indiqué que leur unité avait retenu les services de vérification d'un fournisseur du secteur privé au cours de la dernière année. Pour rajuster le tir, l'équipe d'évaluation a examiné le sous-ensemble de clients (n=35) qui avaient reçu récemment des services à la fois du secteur privé et de SVC. Ce nouvel examen a révélé que le secteur privé avait obtenu un indice de satisfaction plus élevé que SVC dans le sondage (voir la pièce justificative 4). En outre, ces clients percevaient le secteur privé comme étant un fournisseur de services de valeur supérieure aux services de SVC.

Sommaire du tableau

Ce tableau établit une comparaison entre les taux de satisfaction des clients des services de vérification de SVC et des entreprises du secteur privé. Les données proviennent du sondage d'évaluation 2010-2011 mené par le BVE et sont limitées à un sous-ensemble de clients de SVC qui ont récemment reçu des services de SVC et du secteur privé.

Pièce justificative 4 : Indice de satisfaction : SVC parrapport au secteur privé

Question de sondage	Indice - SVC	Indice - Secteur privé
Le service rendu représente un bon rapport qualité-prix.	43 %	79 %
Les projets ont effectivement répondu aux besoins de l'organisation.	60 %	85 %
Le fournisseur a démontré une compréhension adéquate de votre ministère, des besoins de l'organisme central et du contexte gouvernemental.	77 %	81 %
Le fournisseur a fourni des ressources ayant des compétences et des connaissances appropriées.	74 %	79 %
Le fournisseur a formulé des constatations et des recommandations indépendantes et impartiales.	77 %	85 %
Globalement satisfait des services de vérification rendus.	65 %	82 %

Source : Sondage d'évaluation 2010-2011

Nota : Fondé sur un sous-ensemble des clients qui ont récemment reçu des services de SVC et du secteur privé.

44. Dans l'ensemble, l'évaluation a révélé que les services rendus par SVC sont rapides et de bonne qualité. Néanmoins, le respect des délais et des coûts convenus, combiné aux difficultés financières qu'a connues SVC au cours des dernières années, (telque discuté dans la section efficience et économie) constitue une préoccupation de taille. L'évaluation a également révélé que les clients qui avaient eu l'occasion d'utiliser à la fois les services de SVC et ceux du secteur privé avaient accordé une note plus élevée à la qualité des services du secteur privé qu'à ceux de SVC.

Appui à la bonne gouvernance et à la gestion efficace des risques

45. La gestion des risques et la bonne gouvernance constituent des priorités clés du gouvernement du Canada, tel qu'il est mentionné dans nombre de lois, règlements et politiques concernant la responsabilisation, le contrôle interne et l'intendance des fonds publics. Selon les normes de l'Institut des vérificateurs internes, auxquelles tous les vérificateurs fédéraux doivent se conformer, en plus des Normes relatives à la vérification interne du Conseil du Trésor, les activités de vérification interne doivent évaluer l'efficacité et contribuer à l'amélioration des processus de gestion des risques. L'Institut des vérificateurs internes mentionne également qu'on peut améliorer le processus de gouvernance par les moyens suivants :

• les activités de promotion des valeurs et de l'éthique;
• l'assurance de la gestion efficace du rendement et de la responsabilisation;
• la communication appropriée de renseignements sur le risque et le contrôle;
• la coordination efficace des activités et la communication des renseignements.

Il est prévu que le SVC offre des services de soutien à la vérification à ses clients et les aidera à assurer une bonne gouvernance et une gestion efficace des risques. Dans l'ensemble, l'évaluation a révélé que SVC avait réussi à atteindre ce résultat.

46. Dans le cadre de l'évaluation, nous avons réalisé trois études de cas de projets d'envergure réalisés par SVC au cours des dernières années. Dans deux de ces projets, les travaux de SVC ont contribué à améliorer la gestion des risques des organisations clientes.

47. Dans la première étude de cas, qui consistait en un examen de la gestion du temps, qui relève du Programme de vérification des coûts contractuels de TPSGC, les recommandations formulées par SVC ont mené à la prise de mesures de gestion visant : à réduire les risques associés à un système de facturation inadéquat, à établir et à mettre à jour des procédures, et à former davantage les utilisateurs finaux des comptes clients.

48. La deuxième étude de cas, qui consistait en une vérification d'un programme des Affaires autochtones et Développement du Nord Canada (anciennement Affaires indiennes et du Nord Canada), a révélé que les travaux de SVC avaient contribué de multiples façons à améliorer la gestion des risques et la bonne gouvernance grâce à un processus d'examens multiples. Le Programme a démontré que des améliorations avaient été apportées aux systèmes de contrôle interne des groupes des Premières Nations. En outre, les examens ont fourni au Ministère des éléments de preuve pouvant servir à améliorer et favoriser les contrôles internes et la gestion des risques au sein de ces organisations des Premières Nations. Il s'agit d'un objectif qui correspond aux normes nationales du Ministère. Selon le Programme, les vérifications ont contribué à améliorer la gestion des risques; les projets considérés comme étant à haut risque ont fait l'objet de multiples visites. Enfin, la vérification a aidé le Ministère à cibler les groupes qui nécessitent un renforcement des capacités afin de permettre au Programme de mieux gérer ses ressources.

49. En plus des études de cas, l'évaluation a révélé que les répondants au sondage étaient satisfaits en général de la capacité de SVC à appuyer la bonne gouvernance et la gestion efficace des risques. Comme on peut le constater à la pièce justificative 5, les répondants au sondage estimaient que les travaux de SVC avaient contribué à améliorer la gestion des risques, les systèmes de contrôle interne et la gestion générale de l'organisation du client. Soixante-dix pourcent des répondants au sondage d'évaluation ont affirmé que SVC avait réussi à cibler des aspects de gestion pouvaient être améliorés et soixante-neuf pour cent affirmaient que le SVC avait réussi à cibler des aspects de contrôle interne sur le projet effectué pour eux récemment.

Sommaire du tableau

Le présent tableau illustre les résultats du sondage d'évaluation de 2010-2011 en ce qui a trait à la capacité de SVC à appuyer la bonne gouvernance et la gestion efficace des risques dans les organisations des clients. Les répondants du sondage ont indiqué que les travaux réalisés par SVC dans le cadre du projet le plus récent ont contribué dans une certaine mesure.

Pièce justificative 5 : Contribution de SVC à la gestion des risques et à la bonne gouvernance

Les travaux réalisés par SVC dans le cadre du projet le plus récent ont contribué dans une certaine mesure ou de manière importante à :	Pourcentage des répondants au sondage d'évaluation
améliorer les systèmes de contrôle interne du client.	69 %
améliorer la gestion de l'organisation du client.	70 %
améliorer la gestion des risques du client.	72 %

Source : Sondage d'évaluation 2010-2011

50. Dans l'ensemble, l'évaluation a révélé que SVC avait été en mesure de soutenir la bonne gouvernance et la gestion efficace des risques d'un grand nombre de projets. Les indices de satisfaction auraient pu être plus élevés; toutefois, les faibles notes obtenues pourraient être en partie attribuables au fait que les résultats de ces types de projets étaient peu visibles.

Certification de l'exactitude des paiements contractuels

51. Le gouvernement du Canada accorde une grande importance à la responsabilisation. De plus, les vérifications des coûts contractuels et celles des paiements de transfert comptent parmi ses principales priorités. En ce qui concerne les vérifications des coûts contractuels, l'accent est mis particulièrement sur la garantie de réception des biens ou des services précisés dans le contrat (en particulier pour les achats spécialisés et complexes). Pour ce qui est des paiements de transfert, la Directive sur les paiements de transfert du Conseil du Trésor mentionne que les gestionnaires ministériels doivent « s'assurer que le bénéficiaire de la contribution s'est conformé aux obligations et aux objectifs de rendement de l'entente de financement ». On prévoit que la surveillance des contrats et des paiements de transfert permettra de veiller à ce que les fonds publics soient gérés de manière appropriée : c'est-à-dire que le gouvernement fédéral reçoive les biens ou services énumérés dans le contrat et que les modalités de paiement de transfert soient respectées. Grâce à sa collaboration avec le Programme de vérification des coûts contractuels de TPSGC et les clients du Programme de paiements de transfert, SVC est en mesure de certifier l'exactitude des paiements et de détecter les paiements en moins ou en trop.

52. SVC n'effectue pas systématiquement le suivi des recouvrements ou des moins payés mentionnés dans ses vérifications. Toutefois, l'examen fondamental des secteurs d'activité de SVC a mis au jour un cas où les travaux de SVC ont permis de recouvrer des coûts totalisant environ 160 M$ pour le gouvernement fédéral. De plus, l'étude de cas relative à l'évaluation des travaux de SVC effectués dans le cadre du Programme d'aide au revenu d'Affaires autochtones et Développement du Nord Canada a révélé que SVC avait aidé à détecter des cas où le bénéficiaire n'était pas admissible au Programme de soutien au revenu, ce qui certifiait la bonne gestion des fonds publics.

53. Les clients interrogés et les répondants au sondage ont transmis des renseignements d'ordre général concernant les réalisations de SVC. Les hauts fonctionnaires de TPSGC ont indiqué que certaines des vérifications effectuées par SVC avaient permis de recouvrer des fonds, mais que SVC ne pouvait pas estimer la valeur des recouvrements des coûts ou des crédits émis. Certains clients interrogés ont soulevé des cas où SVC avait recouvré des coûts importants en réussissant à identifier des bénéficiaires non admissibles et à cibler des cas où les programmes devaient émettre des crédits à des destinataires qui n'avaient pas reçu le plein paiement du montant qui leur était dû. Le sondage d'évaluation a révélé que, dans plus d'un tiers des projets, SVC avait ciblé des coûts pouvant être récupérés auprès de bénéficiaires de contributions ou de détenteurs de contrats. Dans certains cas, les recouvrements s'élevaient à plus de 100 000 $. Les répondants ont affirmé que dans presque la moitié des cas ciblés où il était possible d'appliquer le principe de recouvrement des coûts, la totalité ou la majeure partie des montants avait été récupérée.

54. Dans l'ensemble, SVC a été en mesure de certifier l'exactitude des paiements contractuels. On a pu observer des éléments de preuve qui établissaient un lien entre les efforts de SVC et des recouvrements de coûts importants liés à des demandes non admissibles et à des services rendus de façon inappropriée. Cependant, puisque SVC ne procède pas systématiquement à la collecte de ces renseignements, il n'est pas possible de comparer la valeur des sommes recouvrées et le coût des vérifications de SVC.

Augmentation de la capacité de vérification interne des clients

55. La Politique sur la vérification interne du Conseil du Trésor de 2009, mentionne que « les administrateurs généraux de grands ministères sont responsables d'établir une fonction de vérification interne adaptée aux besoins du ministère et qui fonctionne conformément à la présente politique et aux normes professionnelles de vérification interne. » Cette exigence politique est fondée sur les normes de l'Institut des vérificateurs internes qui précisent que le responsable de l'audit interne doit veiller à ce que les ressources affectées à cette activité soient adéquates, suffisantes et mises en œuvre de manière efficace pour réaliser le programme approuvé. En général, SVC contribue au renforcement de la capacité de vérification interne de la plupart de ses clients en leur offrant une expérience et des outils de vérification.

56. Les clients interrogés ont indiqué que SVC contribue à renforcer la capacité de vérification au gouvernement fédéral. Dans certains cas, les personnes interrogées ont mentionné que le déplacement des employés au gouvernement fédéral contribuait au renforcement des capacités, car les anciens employés de SVC utilisaient leurs compétences dans d'autres ministères et augmentaient ainsi la capacité de vérification de cette organisation. Les répondants au sondage d'évaluation étaient également satisfaits de la capacité de SVC à renforcer la capacité de vérification de leur ministère. Comme en témoigne la pièce justificative 6, les clients ont affirmé avoir appris de SVC et avoir pu améliorer leur organisation par la mise en œuvre des recommandations de SVC.

Sommaire du tableau

Le présent tableau illustre les résultats du sondage d'évaluation de 2010-2011 en ce qui a trait à la contribution de SVC à l'augmentation de la capacité de vérification au gouvernement fédéral. Les répondants du sondage ont indiqué que l'organisation du client a été en mesure, soit de manière importante ou dans une certaine mesure.

Pièce justificative 6 : Contribution de SVC à l'augmentation de la capacité de vérification

L'organisation du client a été en mesure, soit de manière importante ou dans une certaine mesure :	Pourcentage des répondants
d'apprendre des travaux réalisés par SVC.	84 %
d'adopter les recommandations formulées par SVC.	82 %
de mettre en œuvre des changements qui correspondent aux travaux menés par SVC.	73 %
de communiquer les changements recommandés par SVC à d'autres secteurs de l'organisation ou à d'autres organisations.	67 %

Source : Sondage d'évaluation 2010-2011

57. Dans l'ensemble, l'évaluation a révélé que SVC avait contribué à augmenter la capacité de vérification des ministères clients. Grâce aux produits livrés et aux recommandations du SVC, et au déplacement des vérificateurs de SVC dans les ministères et organismes clients, la plupart des clients ont pu, dans une certaine mesure, améliorer leurs activités et accroître leur capacité de vérification.

Les constatations des vérifications et recommandations qui servent de catalyseur pour améliorer les programmes et les politiques des clients

58. Grâce à ses travaux, SVC a pu contribuer à améliorer les programmes des clients et leurs politiques. Dans le sondage d'évaluation, les répondants ont mentionné plusieurs mesures prises à la suite d'une vérification de SVC. Elles comprennent :

• la mise en place d’un système de surveillance continue;
• des modifications aux contrôles internes;
• la réorganisation des activités des comptes fournisseurs;
• la restructuration des comités de gouvernance;
• la réingénierie des processus pour veiller au respect des politiques et des lois;
• l’amélioration des procédures de surveillance.

Dans quelques cas seulement, des répondants ont indiqué que les travaux de SVC n'avaient pas donné lieu à des modifications des activités, parfois en raison de la nature des travaux de vérification effectués.

59. Les études de cas permettent de mettre en lumière les cas où les travaux de SVC ont permis d'améliorer les systèmes et les contrôles de l'organisation cliente. Dans l'une des études de cas réalisées par l'équipe d'évaluation, on note que les travaux réalisés par SVC, dans le cadre du Programme d'aide au revenu d'Affaires autochtones et Développement du Nord Canada (anciennement Affaires indiennes et du Nord Canada), ont fait en sorte que les bénéficiaires du Programme ont fourni au Ministère un plan d'action pour aborder les enjeux définis. Les visites de suivi de SVC ont permis de constater que les organisations avaient amélioré les contrôles internes. En outre, les travaux de SVC ont aidé le Ministère à évaluer toutes les organisations des Premières Nations avec lesquelles il travaille, et de déterminer lesquelles d'entre elles avaient besoin d'aide. Un examen approfondi des secteurs d'activité de SVC s'est penché sur les cas où les travaux de SVC ont permis d'améliorer les activités du client.

60. Dans l'ensemble, l'évaluation a révélé que les travaux du SVC ont servi à améliorer les programmes et les politiques des clients. Toutefois, le secteur privé a la capacité d'offrir de bons conseils en matière de vérification qui auraient pour conséquence d'améliorer les programmes et politiques.

Renforcement de la capacité de vérification à long terme

61. Comme discuté précédemment, le renforcement de la capacité de vérification du gouvernement fédéral est une priorité actuelle pour le SVC . Afin de maintenir l'efficacité des activités, il importe que le renforcement de la capacité de vérification soit durable et soutenu.

62. L'Évaluation quinquennale de la Politique sur la vérification interne de 2006, commandée par le Secrétariat du Conseil du Trésor du Canada, indiquait que la capacité de vérification interne au gouvernement fédéral (employés nommés pour une période indéterminée) avait augmenté de 152 % de 2005 à 2010.

63. Des employés de SVC interrogés et d'autres répondants externes ont indiqué que SVC constituait un centre de formation pour les futurs vérificateurs du gouvernement fédéral. Cette observation a été confirmée par les répondants au sondage en ligne. Dans le sondage d'évaluation, 11 % des répondants étaient d'anciens employés de SVC. Toutefois, le secteur privé constitue également une source de vérificateurs formés, puisque 14 % des répondants au sondage d'évaluation avaient déjà travaillé pour un fournisseur de services de vérification du secteur privé.

64. Dans l'ensemble, l'évaluation a révélé que SVC, à titre de formateur de vérificateurs, renforce la capacité de vérification à long terme du gouvernement fédéral; cependant, il semblerait que c'est également le cas pour le secteur privé.

Amélioration des systèmes de contrôle interne, de la gestion des risques et de l'intendance au gouvernement du Canada

65. La gestion des risques et la bonne gouvernance sont des priorités clés du gouvernement du Canada. L'Institut des vérificateurs internes insiste sur le fait que la vérification doit contribuer à améliorer les processus de gestion des risques. Dans l'ensemble, l'évaluation a révélé que SVC avait contribué à atteindre ce résultat.

66. Comme mentionné précédemment, les clients croient que les vérifications de SVC ont contribué à améliorer les systèmes de contrôle interne et la gestion des risques de leur organisation, et ont permis d'améliorer leurs politiques et leurs programmes. Suivant ces constatations et le fait que SVC compte parmi ses clients un large éventail de ministères et d'organismes fédéraux, il est raisonnable de conclure que SVC contribue à améliorer les contrôles de gestion, la gestion des risques et l'intendance dans l'ensemble de l'appareil gouvernemental.

Efficience et économie

67. La démonstration de l'efficience et de l'économie se définit comme l'évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant les résultats escomptés. L'efficience renvoie à la mesure dans laquelle les ressources sont utilisées de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés. Un programme fait preuve d'une économie et d'une efficience démontrables élevées lorsque les ressources optimisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée.

Efficience

68. Depuis la dissociation de SVC et de Services conseils du gouvernement, le SVC a connu comme le démontre la pièce justificative 7, d'importantes fluctuations de ses niveaux de ressources humaines au cours des dernières années.Son effectif actuel est d'environ 130 personnes. Le SVC fait aussi appel à du personnel temporaire et au service de travail temporaire dans le but d'augmenter son effectif et de répondre aux besoins des clients.

Sommaire du tableau

Le présent tableau illustre les niveaux de ressources humaines de SVC sur une période de six ans, de 2004-2005 à 2009-2010, en utilisant les données de SVC.

Pièce justificative 7 : Niveaux de dotation historiques de SVC -Équivalents temps plein

	Exercice
	2004-2005	2005-2006	2006-2007	2007-2008	2008-2009	2009-2010
Équivalents temps plein	170	166	149	158	170	130

Source : Données de SVC

69. Le SVC a connu une augmentation de sa productivité au cours du dernier exercice, probablement attribuable, en partie, aux restrictions imposées à la dotation en personnel en 2009/10 et la mise en œuvre des honoraires pour le personnel au niveau exécutif. À la fin d'octobre 2010, le pourcentage de temps de travail facturable moyen était de 68 %, comparativement à une moyenne sur trois ans de 56 %. Cependant, le pourcentage de temps de travail facturable n'était pas le même dans tous les bureaux en 2010; cinq bureaux avaient atteint des taux de 70 à 87 %, tandis que quatre bureaux avaient connu un taux de 65 %. Malgré les différences dans les pourcentages de temps de travail facturable, les deux tiers des bureaux avaient affiché des augmentations à cet égard.

70. Dans l'ensemble, récemment le SVC a été en mesure d'augmenter son efficience opérationnelle dans la plupart des bureaux régionaux. En l'absence d'objectifs officiels concernant les pourcentages de temps de travail facturable, l'augmentation de ces pourcentages témoigne d'économies accrues.

Économie

71. Depuis la dissociation de SVC et de CVC, SVC n'a pas été en mesure de recouvrer ses coûts de façon constante. En conséquence, l'organisme avait cumulé à la fin de l'exercice 2009-2010 un déficit de 9,3 M$ dans son fonds renouvelable. SVC a obtenu la permission d'utiliser des crédits non utilisés du Fonds renouvelable de Conseils et Vérification Canada pour combler une partie de son déficit de fonctionnement de 2008-2009. En raison de ce manque à gagner récurrent, illustré à la pièce justificative 8, le rendement de SVC fait l'objet d'une étroite surveillance de la part de la haute direction de SVC et de TPSGC.

Pièce justificative 8 : Revenu brut et frais de fonctionnement antérieurs de SVC

Source : Données financières de SVC

Une longue description de la pièce justificative 8 : Revenu brut et frais de fonctionnement antérieurs de SVC est disponible sur une page séparée.

72. La pièce justificative 9 ci-après contient les recettes générées par les activités de recouvrement des coûts de SVC. Les vérifications de paiements de transfert ont été une source de revenus importante pour SVC et ont représenté près de la moitié de ses recettes sur une période de trois ans. Par le passé, les vérifications des coûts constituaient environ un tiers des recettes de SVC; toutefois, en 2008-2009, cette proportion a chuté à 19 % suivant le résultat d'un examen du Programme de vérification des coûts contractuels mené par TPSGC. Cet examen a entraîné une compression de 50 % par rapport aux attentes dans le financement du Programme visant les vérifications. La compression a contribué à la baisse des recettes de SVC pour cet exercice. Un récent protocole d'entente signé avec le Programme de vérification des coûts contractuels de TPSGC a permis d'augmenter les recettes de SVC dans ce secteur d'activité au cours de l'exercice 2010-2011. De manière assez constante, les travaux de vérification interne ont compté pour environ 20 % des recettes de SVC, alors que d'autres types d'activités représentaient 5 % et moins des recettes.

Sommaire du tableau

Le présent tableau contient les recettes de SVC par secteur de service pour trois exercices différents, soit de 2006-2007 à 2008-2009. Le programme de SVC a fourni les données relatives aux quatre secteurs de service suivants : vérifications des coûts, vérifications des paiements de transfert, vérifications internes et autres services. Les recettes sont exprimées en milliers de dollars.

Pièce justificative 9 : Recettes par secteur de service

Client	Recettes par exercice
	2006-2007		2007-2008		2008-2009
	(en k$)	% du total	(en k$)	% du total	(en k$)	% du total
Vérifications des coûts	5 820 $	32 %	5 802 $	35 %	2 938 $	19 %
Vérifications des paiements de transfert	8 489 $	47 %	7 076 $	43 %	8 441 $	55 %
Vérifications internes	2 981 $	17 %	3 224 $	20 %	2 860 $	19 %
Autre	772 $	4 %	419 $	3 %	1 206 $	8 %
Total	18 062 $	100 %	16 521 $	100 %	15 445 $	100 %

Source : Données de SVC

73. Plusieurs examens visant à évaluer la viabilité financière de SVC ont été menés avant le démantèlement de CVC, en 2005. Un examen du mandat du CVC a conclu qu'un organisme de vérification autonome œuvrant au sein du gouvernement fédéral « ne pourrait pas atteindre le seuil de rentabilité uniquement grâce à ses activités, et donc nécessiterait un investissement annuel d'environ 4 millions de dollars. » Cette prédiction est devenue une réalité pour SVC. Dans son contexte de fonctionnement actuel, surtout à la lumière des restrictions concernant l'embauche et les contrats, SVC a été incapable de maintenir une capacité suffisante pour répondre à la demande des clients durant les périodes de pointe (surtout é la fin de l'exercice fiscal). De même, un taux élevé de départ des employés a entraîné une diminution du pourcentage de temps de travail facturable, puisque les nouveaux employés qui n'avaient jamais travaillé dans un contexte gouvernemental exigeaient du temps de formation et de perfectionnement et, par conséquent, avaient moins de temps facturable. En outre, la Fonction de la pratique professionnelle, qui constitue une partie du processus d'assurance de la qualité de SVC, a entraîné un coût de renonciation élevé qui ne peut être recouvré par des projets, car le personnel utilise du temps non facturable pour aider à développer la fonction. Enfin, puisque les protocoles d'entente avec les clients ne sont pas légalement exécutoires, SVC court un risque lorsque les tarifs ne sont pas négociés de façon appropriée ou lorsque les clients ne disposent pas des fonds nécessaires pour procéder aux modifications. En 2008-2009, ces enjeux ont représenté des pertes de recettes estimées à 1,4 million de dollars.

74. En décembre 2009, un examen approfondi de SVC a été réalisé par un consultant externe pour le compte de TPSGC. Le mandat du consultant comprenait un examen du rendement de SVC des cinq années précédentes, y compris les changements et les tendances de sa clientèle. Selon le rapport, les facteurs de difficulté associés au seuil de rentabilité comprenaient des variations soudaines des recettes en raison de modifications aux plans de vérification de certains grands clients et de la perte du pouvoir de passation de marchés, qui représentait une importante source de revenus pour le volet des services de vérification de CVC. Ainsi, le rapport en est venu à deux constatations principales, soit une faible productivité et un apparent déficit structurel annuel de l'ordre de 5 millions de dollars.

75. Le rapport a soumis deux options. L'une d'elles consistait à consentir un dernier effort pour recouvrer la totalité des coûts, notamment en veillant à ce que le succès de SVC devienne une responsabilité d'entreprise et un objectif déclaré de TPSGC; en faisant la promotion active de SVC à l'interne et à l'externe; en levant les restrictions en matière d'embauche et en rétablissant le pouvoir de SVC d'embaucher des sous-traitants. La deuxième option comportait un éventail de solutions, notamment de changer l'approche de rentabilité, de transférer SVC à un autre ministère, de diminuer l'offre de services pour se concentrer principalement sur les clients principaux ou de quitter le secteur des services de vérification facultatifs.

76. En 2009, SVC a également entrepris un examen approfondi de ses secteurs d'activité, ce qui a mené à l'élaboration de son plan d'activités 2010-2011. L'examen a ensuite été évalué par PricewaterhouseCoopers, qui a trouvé des lacunes et a formulé des recommandations pour une analyse ultérieure. Plus précisément, PricewaterhouseCoopers affirmait que des plans détaillés seraient requis pour atteindre les objectifs de recettes prévus dans le plan d'activités 2010-2011 et augmenter la productivité.

77. En réponse à ces examens et à la situation financière globale, la haute direction a misé sur le rajustement de la capacité et la planification des activités pour améliorer le fonctionnement, comme en témoigne le plan d'activités de 2010-2011. Cette stratégie semble avoir eu un certain succès à court terme, le rendement financier de SVC s'étant considérablement amélioré au cours de l'exercice 2010-2011. Prestation alternative

Prestation alternative

78. La méthode de livraison d'un programme devrait idéalement corrélée avec l'efficacité et l'économie. Alors que d'autres méthodes de prestation des programmes existent, il est préférable d'utiliser la méthode de livraison qui maximise l'utilisation des intrants.

79. Le SVC offre des services de vérification aux ministères ou organismes qui n'ont pas les ressources internes ou, de compétences spécialisées, pour compléter leur travail de vérification. En tant que tel, le SVC fournit un service tarifé qui double les services offert par le secteur privé. La question, alors, est de savoir si le SVC peut offrir ces services plus efficacement et plus économiquement que le secteur privé ou que les ministères clients pourraient fournir à eux-mêmes en augmentant leurs ressources de vérification interne.

80. En 2009, un examen externe de SVC a conclu qu'après trois années consécutives de déficit de plus de 5 millions de dollars, on peut considérer le déficit comme étant structurel et non simplement causé par les fluctuations du marché. L'examen a également révélé que le faible rendement de SVC est causé, en partie, par des facteurs structurels (offre de travail inélastique, incapacité d'embaucher des entrepreneurs à court terme pour répondre à des périodes de pointe occasionnelles), ce qui signifie que pour parvenir au recouvrement complet des coûts, SVC aurait à majorer ses tarifs, à moins que ces facteurs soient modifiés. Ainsi, selon la ligne directrice « Faire ou faire faire », la décision de conserver ce service de vérification interne pourrait ne pas être avantageuse pour le gouvernement fédéral. Quand les ministères ont un programme de vérification non-ressourcé (par exemple le programme de vérification des coûts de TPSGC), il peut être plus efficace pour accroître les ressources internes. Pour les manque de ressources à court terme ou les exigences de compétences spécialisées, il ya une capacité dans le secteur privé pour fournir ces services.

81. Basé sur une analyse préliminaire des lignes directrices de la politique du Conseil du Trésor « Faire ou faire faire », il est difficile de savoir si l'ASC est l'option la plus rentable pour les ministères pour répondre à leurs besoins liés à la vérification. Dans son environnement d'exploitation actuel, le SVC ne semble pas être en mesure de récupérer entièrement les coûts.

Conclusions : Rendement

82. Dans l'ensemble, l'évaluation a révélé que SVC avait largement atteint ses résultats. Les clients ont indiqué que SVC offre des services de vérification rapides et de bonne qualité; cependant, en comparaison avec le secteur privé, les indices de satisfaction de SVC étaient considérablement plus faibles. La capacité de SVC à respecter les coûts et les calendriers semble être la principale préoccupation des clients.

83. En général, SVC a été en mesure de soutenir la bonne gouvernance et la gestion efficace des risques de ses clients et, grâce à ses travaux de vérification des coûts des marchés et de vérification des paiements de transfert, SVC a pu certifier l'exactitude des paiements contractuels. Grâce à ses travaux, SVC a pu également contribuer à accroître la capacité de vérification du gouvernement fédéral, bien que les ministères clients aient réalisé des progrès importants en améliorant leur propre capacité interne. De plus, les constatations et les recommandations relatives aux travaux de SVC ont été utilisées pour améliorer les politiques et les programmes des clients. Toutefois, la mesure dans laquelle l'atteinte de ces résultats est unique à SVC est discutable. Comme tous les vérificateurs doivent se conformer aux mêmes normes internationales, il n'y a aucune raison de croire que les vérificateurs du secteur privé ou les vérificateurs internes de chacun des ministères ou organismes ne peuvent pas obtenir les mêmes résultats pour leurs clients respectifs.

84. Les taux d'utilisation des services de SVC ont augmenté en 2010-2011. Cependant, alors que la plupart des bureaux régionaux ont affiché une augmentation de leur taux d'utilisation, d'autres demeurent très faibles, ce qui diminue les avantages financiers des bureaux les plus productifs. Le manque d'effectifs qu'a connu SVC récemment pourrait avoir été bénéfique, car le niveau de ressources correspondait alors davantage à la demande.

85. Au moment de l'évaluation, le SVC n'était pas en mesure de recouvrer de façon soutenue la totalité de ses coûts et a généré un déficit de fonctionnement considérable depuis sa création à titre d'organisme autonome. Le SVC a été en mesure de récupérer entièrement ses coûts et de générer un léger excédent en 2010/2011. La dépendance de l'organisme à l'égard de certains clients constitue un risque pour SVC; la baisse du nombre de demandes de services de ces clients aurait des effets immédiats sur le résultat net de SVC.

Conclusions générales

86. Pertinence : SVC dispose d'un mandat, mais n'a pas de solide raison d'être. La multitude de propositions de valeur citées par SVC comme preuves du besoin continu de ses services ne constitue pas une justification convaincante pour maintenir un fournisseur de services de vérification centralisé et facultatif au gouvernement fédéral. Bien qu'il existe une demande pour les services de SVC, des améliorations au processus de passation de marchés de services de vérification devraient diminuer la valeur de cet avantage et pourraient menacer la demande future de services de SVC. Bien que les activités de l'organisme concordent avec les objectifs stratégiques de TPSGC, elles ne figurent pas parmi les priorités fédérales ou ministérielles. SVC est indirectement lié à plusieurs politiques et lois fédérales et ministérielles, car il aide ses clients à s'acquitter de leurs responsabilités, lesquelles sont énoncées en détail dans ces documents d'établissement des priorités. Dans l'ensemble, il ne semble pas que SVC remplisse un rôle essentiel pour le gouvernement fédéral, et il pourrait être dans l'intérêt de ce dernier de se procurer ces services par impartition ou de renforcer sa capacité dans certains domaines, plutôt que de conserver SVC à titre d'organisme autonome de services facultatifs.

87. Rendement : SVC offre des services de vérification rapides et de qualité; cependant, la qualité de ses services est perçue par les clients comme étant plus faible que celle du secteur privé. Les services de vérification rendus par SVC contribuent à la bonne gouvernance et à la gestion efficace des risques au gouvernement fédéral. Toutefois, ces résultats bénéfiques pour les clients correspondent à ce dont on pourrait s'attendre de tout programme de vérification, peu importe le fournisseur des services de vérification, pour autant que le travail effectué soit de bonne qualité. Certains indices laissent croire que la capacité de SVC à offrir des services de vérification de qualité et avec rapidité, à investir dans l'amélioration de la qualité de ses travaux, et à investir dans le perfectionnement professionnel a été compromise en raison de son incapacité à recouvrer complètement ses coûts et des restrictions relatives à l'embauche de personnel et à la passation de marchés. SVC est un organisme qui lutte pour recouvrer la totalité de ses coûts tout en fournissant des services de vérification de bonne qualité, avec rapidité et à des tarifs qui concurrencent le secteur privé. En 2010-2011, SVC a été en mesure de recouvrer la totalité de ses coûts Et bien qu'il y ait euune augmentation importante du taux d'utilisation de SVC, certains bureaux affichent toujours des taux relativement faibles. Enfin le SVC a du faire face à des défis d'exploitation et a du équilibrer ses ressources au niveau de la demande pour ses services et à l'utilisation accrue des SPSV par les ministères pour passer des marchés avec des entreprises de vérification du secteur privé.

Conséquences de l'examen stratégique

88. Au moment de la réalisation cette évaluation, TPSGC a été l'un des 13 ministères a revoir ses priorités lors d'un examen stratégique. Dans le cadre du Budget 2011, le gouvernement a annoncé l'élimination de certains programmes que TPSGC mettra en œuvre. En identifiant SVC pour l'élimination, il a noté que les services professionnels de vérification sont facilement disponibles dans le secteur privé et que l'organisation n'a pas atteint son objectif de recouvrement des coûts. L'examen a également noté que l'introduction de nouveaux outils contractuels a simplifié et accéléré le processus pour obtenir des services privés de vérification. L'élimination de SVC vise à mieux aligner les activités de TPSGC à son mandat de base et mieux utiliser les services du secteur privé.

89. Tout en négociant des plans de continuité avec ses clients existants, le SVC réduira progressivement ses activités et cessera de fournir des services de vérification en mars 2012.

90. Compte tenu de la réduction progressive du programme, les réponse et les actions de la gestion du programme ne sont pas présentées dans cette évaluation comme une décision finale sur l'avenir du programme a été prise.

À propos de l'évaluation

L'évaluation a porté sur les activités de Services de vérification Canada (SVC), un organisme de service spécial relevant de la sous-ministre adjointe, Direction générale de la surveillance de Travaux publics et Services gouvernementaux Canada (TPSGC). L'objectif de l'évaluation de SVC était de déterminer la pertinence du Programme, c'est-à-dire de vérifier s'il existe un besoin continu à l'égard de ce programme, si ce dernier s'harmonise avec les priorités gouvernementales et s'il cadre avec les rôles et les responsabilités du gouvernement fédéral. L'évaluation a également déterminé le rendement du Programme, si le Programme donne les résultats escomptés et s'il satisfait aux critères d'efficience et d'économie.

Approche

L'évaluation a été menée conformément aux normes d'évaluation du gouvernement du Canada et du Bureau de la vérification et de l'évaluation de TPSGC. Elle s'est déroulée d'août 2010 à janvier 2011, en trois phases : la planification, l'examen et le rapport. Voici les sources de données utilisées pour évaluer les problèmes et les questions.

Examen des documents : Plus de 40 documents ont été examinés dans le but d'établir les questions d'évaluation portant à la fois sur la pertinence et le rendement. La majorité des documents contenaient des informations et des données liées aux activités de SVC, à la mesure du rendement, à l'assurance de la qualité et aux pratiques de marketing. Certains documents contenaient une analyse plus approfondie de SVC qui était fondée sur de nombreux examens réalisés au cours des dernières années. Les documents contenaient également des politiques gouvernementales pertinentes pour les travaux de SVC et des présentations au CT.

Examen des données secondaires et administratives : Un examen des données administratives a été réalisé afin d'étudier plus en détail la question du rendement. Les sources de données comprenaient des sondages réalisés de 2005 à aujourd'hui auprès de clients, des renseignements sur la mesure du rendement présentés dans des feuilles de calcul électronique, ainsi que des états financiers.

Entrevues avec des intervenants : Quarante-trois intervenants clés ont été interrogés dans le cadre de l'évaluation. Il s'agissait de client (20) ainsi que les cadres supérieurs de SVC (13). Des entrevues ont également été menées auprès de cadres supérieurs de TPSGC (3) et du Secrétariat du Conseil du Trésor-Bureau du contrôleur général (3). Quatre entrevues ont été réalisées auprès de fournisseurs de services de vérification du secteur privé, dans le but d'obtenir un point de vue externe. Les intervenants ont répondu à un certain nombre de questions portant sur la pertinence, le rendement et la rentabilité de SVC.

Études de cas : Trois études de cas ont été menées afin d'examiner trois projets réalisés par SVC. Les projets sélectionnés comprenaient l'un des projets du Programme de vérification des coûts contractuels de TPSGC; le deuxième projet était issu d'Accords d'aide financière en cas de catastrophe de Sécurité publique du Canada; le troisième projet avait été réalisé pour le compte d'Affaires autochtones et Développement du Nord Canada. Pour chacun des projets, un examen des dossiers a été réalisé et des entrevues ont été menées auprès du chef de projet et du client. Les questions de l'étude de cas portaient principalement sur le rendement de SVC au cours du projet.

Sondage en ligne auprès de clients et de dirigeants de la vérification : SVC nous a fourni une liste de tous ses clients à qui nous avons demandé par écrit de participer au sondage sur la satisfaction de la clientèle de SVC. Nous avons trouvé dans Internet une liste des dirigeants principaux de la vérification que nous avons fusionnée avec la liste des clients de SVC, afin de créer une liste complète de tous les clients des cinq dernières années et des dirigeants de la vérification actuels. Cette liste contenait les noms et les coordonnées de 546 personnes qui ont toutes reçu le sondage d'évaluation. En tout, 131 personnes ont répondu au sondage. Toutes les personnes qui n'ont pas répondu ont d'abord fait l'objet d'un suivi téléphonique, si le numéro de téléphone figurait sur la liste ou si on pouvait le trouver dans la base de données des Services d'annuaires gouvernementaux électroniques (SAGE). De cette liste, 156 personnes ont été retirées en raison de coordonnées non valides ou parce que ces personnes n'avaient pas participé aux projets en question. Après avoir supprimé ces cas de la liste, il restait 390 répondants potentiels au sondage. En utilisant ce nombre, on peut établir que le taux de réponse au sondage a été de 33,6 % (131/390). Certains participants n'ont pas répondu à toutes les questions; cependant, environ 30,5 % (119/390) d'entre eux ont répondu à presque toutes les questions.

Limites de la méthodologie

La méthodologie de cette évaluation comporte un certain nombre de points forts, notamment la rigueur et la précision, mais elle comporte plusieurs limitations. La principale façon de réduire la limitation de certaines méthodologies consiste à appliquer la méthode de la triangulation des données et d'utiliser plusieurs sources de données.

Entrevues avec les intervenants : Pendant les entrevues avec des intervenants, certaines situations peuvent nuire à la fiabilité et à la validité des données recueillies, par exemple, un biais d'échantillonnage, un biais dans les réponses, la sensibilité des répondants ou un biais lié à l'intervieweur. Pour réduire ces risques au minimum, on a eu recours à des intervieweurs d'expérience, et des efforts ont été déployés pour rejoindre les intervenants et planifier et réaliser les entrevues avec succès, tout en tentant de réduire le fardeau de réponse.

Études de cas : Les études de cas visaient à obtenir des renseignements plus précis au sujet de certains secteurs d'activité de SVC. En conséquence, seul un petit nombre d'études de cas ont été réalisées. Pour cette raison, on n'y traite que très peu des aspects d'ordre plus général qui ne concernent pas ces cas particuliers.

Sondage en ligne : Bien que le taux de réponse ait été assez élevé pour un sondage en ligne, surtout si l'on tient compte du fait que la liste contenait un grand nombre de cadres supérieurs, dont quelques-uns avaient déjà participé à d'autres activités de collecte de données (études de cas et entrevues avec les intervenants), un taux de réponse de 34 % soulève le risque de biais dans les réponses, ce qui pourrait nuire à l'exactitude des résultats du sondage. Dans la mesure du possible, les résultats ont été comparés aux autres sources de données recueillies pour cette évaluation, y compris le sondage de satisfaction des clients de SVC, les entrevues réalisées avec des intervenants et l'examen des documents.

Rapport

Nous avons formulé nos constatations dans le l'ébauche du rapport du directeur, qui a été vérifié par la fonction d'examen de la qualité du Bureau de la vérification et de l'évaluation. Nous transmettrons l'ébauche du rapport du directeur au président-directeur général du Programme, en lui demandant de valider les faits et de commenter le contenu. Une ébauche du rapport du Dirigeant principal de la vérification sera préparée et transmise à la sous-ministre adjointe, Direction de la surveillance ministérielle, qui agit à titre de bureau de première responsabilité, aux fins d'acceptation. On demandera au bureau de première responsabilité de réagir dans un Plan d'action de la gestion. L'ébauche du rapport final incluant le Plan d'action de la gestion sera présentée au Comité de vérification et d'évaluation de TPSGC, pour approbation par la sous-ministre en novembre 2011. Le rapport final sera soumis au Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada et affiché sur le site Web de TPSGC.

Appendice A

Sommaire du tableau

Ce tableau présente la matrice d'évaluation de SVC. La matrice d'évaluation comprend les enjeux, les questions, les indicateurs et les sources des données de l'évaluation.

Grille d'évaluation

Question d'évaluation	Indicateurs	Source des données
Pertinence
1. Est-ce que les services de SVC concordent avec les politiques et les priorités de TPSGC et du gouvernement?	Preuve que les activités de SVC, les extrants et les résultats prévus concordent avec les politiques et les priorités du gouvernement et de TPSGC.	Examen des documents discours du Trône; présentation au CT : accès aux crédits inutilisés du Fonds renouvelable de Conseils et Vérification Canada; décision du Conseil du Trésor, le 25 mars 2009; Rapport ministériel sur le rendement de TPSGC; Rapport sur les plans et les priorités de TPSGC 2009-2010. Opinions des intervenants, des cadres supérieurs de TPSGC et des employés anciens et actuels de SVC.
2. Est-ce que la justification de SVC est toujours valable et est-ce qu'elle concorde avec les rôles et les responsabilités fédérales?	Preuve que la justification de SVC concorde toujours avec les rôles et les responsabilités fédérales. Preuve que la justification de SVC est toujours valable et que SVC offre une proposition de valeur. Preuve des points forts de SVC et des possibilités de faire croître l'organisme. Preuve des enjeux et des points faibles de la proposition de valeur de SVC.	Examen des documents discours du Trône; présentation au CT : accès aux crédits inutilisés du Fonds renouvelable de Conseils et Vérification Canada; décision du Conseil du Trésor, le 25 mars 2009; Rapport ministériel sur le rendement de TPSGC; Rapport sur les plans et les priorités de TPSGC; Opinions des intervenants, des cadres supérieurs de TPSGC et des anciens et actuels employés de SVC. Données administratives et secondaires de SVC Études de cas Examens régionaux Sondage
3. SVC a-t-il atteint les résultats escomptés?	Ressources humaines Preuve que SVC a amélioré ses compétences nombre de vérificateurs formés; heures de formation par employé. Preuve que SVC a augmenté sa capacité (connaissances et expérience) relative au Programme nombre de vérificateurs parmi les employés, par niveau; changement dans le nombre de vérificateurs parmi les employés. Preuve que SVC a amélioré la souplesse en matière de ressources humaines et leur réactivité. Preuve que SVC a contribué au renforcement à long terme de la capacité de vérification au gouvernement. Preuve que SVC a créé des spécialisations en vérification qui répondent aux besoins des clients.	Données administratives et secondaires de SVC plans d'apprentissage et de formation pour le personnel; évaluation des compétences du personnel; examens du rendement du personnel; formations et partage des connaissances à l'interne et à l'externe; offres à commandes, processus de recrutement, taux de recrutement; plans de dotation et de relève; autorisations de contrats d'employés occasionnels et de personnel contractuel. Examen des documents directives et politiques relatives à la Fonction de la pratique professionnelle; budgets et prévisions semestriels; Rapports sur le rendement à la Direction générale de la surveillance. Entrevues avec des intervenants, des employés de TPSGC et de SVC, des clients internes et externes et des nouveaux diplômés à SVC. Études de cas Examen régional
	Gestion et administration Preuve que SVC a augmenté l'efficacité du budget et du contrôle internes. Preuve que SVC s'est doté d'un processus de passation des marchés amélioré et plus précis.	Données administratives et secondaires de SVC budget interne semestriel comptes de fin d'année; protocoles d'entente et coûts connexes; évaluation des risques associés aux protocoles d'entente; données sur le rendement des coûts réels du projet. Entretiens avec des cadres supérieurs de TPSGC et des employés de SVC Examen des documents rapports financiers à la Direction générale de la surveillance; rapports annuels; évaluations annuelles des risques opérationnels.
	Information sur le rendement et communication Preuve que SVC a amélioré la gestion des informations Preuve que SVC produit des rapports ministériels sur le rendement justes et fiables Preuve que SVC a augmenté sa productivité nombre de vérifications et de projets connexes; valeur des vérifications et des services rendus; changement au fil du temps dans le nombre et la valeur des vérifications et des services connexes.	Données administratives et secondaires de SVC plans de communication; données de mesure du rendement; comptes de fin d'année; carnets de commandes; taux de productivité du personnel; heures facturables et non facturables. Examen des documents rapports financiers à la Direction générale de la surveillance; rapports sur le rendement à la Direction générale de la surveillance. Entretiens avec des cadres supérieurs de TPSGC et des employés de SVC
	Services de vérification, de certification et de comptabilité Preuve que SVC a fourni aux clients des services rapides et de qualité pourcentage de clients indiquant que les services de vérification répondent à leurs besoins (qualité, rapidité et valeur des services); commentaires sur la façon dont SVC répond ou ne répond pas aux besoins de ses clients; nombre de recommandations mises en œuvre par les clients suivant les rapports de vérification; effets des activités de SVC signalées par les clients; Preuve que SVC appuie une bonne gouvernance et une gestion efficace des risques mesure dans laquelle les vérifications répondent aux normes de vérification; erreurs trouvées; preuve du respect du Code d'éthique et de déontologie, avril 2006; preuve de l'inspection externe des pratiques; niveau d'indépendance des clients; respect des politiques internes concernant les conflits d'intérêts. Preuve que les services de SVC ont engendré des économies pour les clients Preuve que les recommandations ont été mises en œuvre par les clients et que SVC a aidé les clients à améliorer leurs contrôles internes Preuve que SVC est en mesure de renforcer la capacité de vérification interne des clients nombre de projets qui aident et renforcent les capacités d'autres entreprises de vérification interne; nombre de clients qui ont établi un plan de vérification grâce au soutien de SVC; nombre et pourcentage d'anciens employés de SVC qui œuvrent auprès d'autres ministères. Preuve que SVC répond aux normes de service	Données administratives et secondaires de SVC données relatives à l'utilisation; résultats des sondages de satisfaction des clients actuels et antérieurs; commentaires des clients; données de mesure du rendement du projet; nombre d'employés de SVC qui assistent à des conférences; budget interne semestriel; protocoles d'ententes et coûts connexes proposés; évaluations des risques liés aux protocoles d'entente; directives et normes de fonctionnement liées aux normes de responsabilisation, aux conflits d'intérêts, à la responsabilisation et à l'assurance de la qualité; code d'éthique et de déontologie. Examen des documents examen de l'assurance de la qualité des projets; rapports financiers à la Direction générale de la surveillance; rapports sur le rendement à la Direction générale de la surveillance; évaluation annuelle des risques opérationnels; examens externes des inspections professionnelles. Entrevues avec des intervenants, des cadres supérieurs de TPSGC, des employés de SVC, des clients internes et externes et des nouveaux diplômés à SVC. Sondage Études de cas Examen régional
4. Est-ce que SVC mène ses activités de manière efficiente?	Preuve qu'ASC effectue le suivi de ses coûts coût par vérification (par catégorie de vérification / examen / région); coût par dollar épargné (par catégorie de vérification / examen / région); nombre d'heures non facturables par projet; coût par séance de formation; coûts de la Fonction de la pratique professionnelle; dépenses liées au Programme, dans le budget; frais généraux moyens par personne. Preuve que SVC augmente la qualité de ses extrants par rapport aux années antérieures, même si son effectif est insuffisant nombre de projets achevés dans les délais et les coûts prévus; diminution du nombre d'heures non facturables; amélioration des rapports sur l'assurance de la qualité; amélioration des examens externes des inspections professionnelles. Preuve que les ressources sont bien réparties Preuve que SVC offre des services de qualité au gouvernement de façon plus efficiente que le secteur privé	Données administratives et secondaires de SVC données relatives aux taux d'utilisation; résultats des sondages de satisfaction des clients actuels et antérieurs; commentaires des clients; données relatives à la mesure du rendement du projet; nombre d'employés de SVC qui assistent à des conférences; budget interne semestriel; protocoles d'ententes et coûts proposés; évaluations des risques liés aux protocoles d'entente. Examen des documents examen de l'assurance de la qualité des projets; rapports financiers à la Direction de la surveillance; rapports sur le rendement à la Direction de la surveillance; évaluation annuelle des risques opérationnels; examens externes des inspections professionnelles. Entrevues avec des cadres supérieurs de TPSGC, des employés de SVC, des clients internes et externes, des diplômés et des intervenants du secteur privé Études de cas Examen régional