2011-604 Évaluation du Secteur de l'intégration des services partagés - Gestion des groupes pluricellulaires de systèmes administratifs (Rapport final)

Le 30 janvier 2013

Bureau de la vérification et de l'évaluation

Table des matières

• Points saillants
• Introduction
• Profil
  • Contexte
  • Autorité
  • Rôles et responsabilités
  • Ressources
  • Modèle logique
• Activités
• Objectif de l'évaluation
• Constatations et conclusions
  • Pertinence
  • Conclusions : Pertinence
  • Rendement
  • Atteinte des résultats
  • Conclusions : Atteinte des résultats
  • Efficience et économie
  • Conclusions : Efficience et économie
  • Autres modes de prestation
  • Conclusions : Autres modes de prestation
  • Conclusions : Rendement
• Conclusions générales
• Recommandation
• Annexe A : À propos de l'évaluation
• Annexe B : Grille d'évaluation

Points saillants

Qu'avons-nous examiné?

1. La présente évaluation portait sur la pertinence et le rendement au cours des exercices 2006-2007 à 2011-2012 de la gestion des groupes pluricellulaires de systèmes administratifs (GGPSA), instaurée au sein du Secteur de l'intégration des services partagés de Travaux publics et Services gouvernementaux Canada (TPSGC). La GGPSA assure un soutien opérationnel aux ministères et organismes qui utilisent cinq systèmes de technologie de l'information (TI) pour la gestion des finances, du matériel et des ressources humaines. La GGPSA est mise à la disposition de tous les ministères et organismes du gouvernement fédéral à titre de service facultatif. La GGPSA fonctionne selon le principe de recouvrement des coûts. En 2011-2012, elle a généré 24,2 millions de dollars en recettes et ses coûts de fonctionnement s'élevaient à 23,9 millions de dollars.

2. Le présent rapport renferme les constatations d'une partie de l'évaluation du programme (Secteur) d'intégration des services partagés. Le Secteur de l'intégration des services partagés comprend les deux sous-activités suivantes : les Ressources humaines partagées et la GGPSA. Le Secteur de l'intégration des services partagés est le sous-programme 1.6.2 de l'architecture d'alignement des programmes du Ministère. Les constatations de l'évaluation en lien avec les Ressources humaines partagées sont présentées séparément.

3. La présente évaluation portait sur les activités, les extrants et les résultats immédiats propres à la GGPSA et sur sa contribution à l'atteinte des résultats immédiats et intermédiaires communs du sous-programme du Secteur de l'intégration des services partagés (1.6.2).

Pourquoi est-ce important?

4. Tous les ministères et les organismes font partie d'au moins un groupe pluricellulaire de systèmes. Les groupes pluricellulaires sont des mécanismes permettant aux ministères de collaborer pour l'acquisition, le développement et la maintenance des systèmes administratifs fondés sur la technologie de l'information. Les groupes pluricellulaires requièrent des services de soutien. Une approche centralisée permet de répondre aux besoins et peut améliorer l'efficience et l'efficacité tout en répondant à ces besoins. Plus particulièrement, GGPSA en offrant ses services de soutien, la GGPSA, promeut l'Initiative des systèmes partagés du Conseil du Trésor,qui vise à réaliser des économies pour le gouvernement du Canada en le dotant d'une infrastructure de systèmes administratifs plus efficaces.

Qu'avons-nous constaté?

5. Il existe un besoin continu pour le type de services offerts par la GGPSA. La raison d'être initiale pour la création de la GGPSA demeure la même car les groupes pluricellulaires de systèmes sont encore en place et nécessitent un soutien fiable et stable pour fonctionner. De plus, la priorité croissante accordée à la normalisation des systèmes à l'échelle du gouvernement du Canada a créé un second besoin auquel la GGPSA répond. Il est prévu que la demande de services augmentera au cours des prochaines années car, de plus en plus d'organismes fédéraux migreront vers des groupes pluricellulaires de systèmes soutenus par la GGPSA. Il incombe aux ministères de maintenir leurs systèmes administratifs et d'en assurer le soutien. Il ressort toutefois de la présente évaluation qu'il n'y a aucune organisation fédérale à qui il incombe clairement de veiller à ce que les ministères disposent de services de soutien. Par contre, le mandat de TPSGC à titre de fournisseur de services communs facultatifs pour l'acquisition de systèmes de soutien de la gestion de l'information, lui a permis de jouer un rôle de fournisseur de services pour les groupes pluricellulaires de systèmes.

6. En ce qui concerne les résultats immédiats, la GGPSA a atteint l'objectif d'accès aux fonctionnalités administratives améliorées pour les clients, comme le démontrent le déploiement des versions de systèmes et le respect des engagements à l'égard de l'amélioration des systèmes. Les clients indiquent que la GGPSA a fourni des fonctionnalités améliorées. La GGPSA a contribué à l'atteinte des résultats immédiats tels que celui de partage d'information et de collaboration accrus entre les clients et, d'utilisation par les clients des systèmes et processus administratifs normalisés conformes aux exigences du Conseil du Trésor.

7. En ce qui concerne les résultats intermédiaires, la GGPSA apporte sa contribution pour que les clients et les organismes centraux fasse davantage confiance à l'information sur les finances, le matériel et les ressources humaines pour la prise de décisions et la préparation de rapports et pour la réduction des risques chez les clients. La présente évaluation n'a pas permis de démontrer que l'objectif d'économies réalisées ou d'évitement de coûts par les ministères clients en raison des économies d'échelle a été atteint. La plupart des clients indiquent qu'ils ont réalisé des économies en recourant à la GGPSA, mais le manque de données ne permet pas de les mesurer. La personnalisation des systèmes ministériels qui prévaut donne à penser que les économies d'échelle ou l'évitement de coûts prévus avec la mise sur pied de la GGPSA ne sont pas optimisés. Les enjeux relatifs à la personnalisation des systèmes dépassent la portée de ce programme.

8. La GGPSA satisfait aux exigences de recouvrement des coûts. Près de la moitié des clients estime que la GGPSA optimise les ressources.

9. L'hébergement d'un système^{Note 1} d'un ministère par un autre ministère constitue une solution de remplacement au soutien direct de GGPSA (c.-à-d. recevoir les dernières versions déployées et le soutien directement du Secteur de l'intégration des services partagés [ISP]) pour certains ministères. Par contre, il n'existe actuellement aucune solution de remplacement de la GGPSA. La présente évaluation n'a pas permis de relever une autre organisation fédérale disposant de la capacité ou du mandat de gérer les groupes pluricellulaires de systèmes administratifs.

Recommandation

10. La sous-ministre adjointe de la Direction générale des services intégrés devrait clarifier les extrants et les résultats prévus du programme et élaborer en conséquence un cadre de stratégie de mesure du rendement pour l'évaluation de ceux-ci.^{Note 2}

Réponse de la gestion

11. La Direction générale des services intégrés est d'accord avec cette recommandation.

12. Pour mieux mesurer l'incidence du programme, le Secteur de l'intégration des services partagés élaborera, en consultation avec les intervenants concernés, une stratégie de mesure du rendement. Les tâches à cet égard sont les suivantes :

    1. examiner le modèle logique actuel et les résultats prévus

    2. établir les indicateurs de rendement pertinents et la méthodologie pour les mesurer

    3. se doter d'une stratégie d'établissement de rapports et d'outils de surveillance.

Introduction

1. Le présent rapport présente les résultats de l'évaluation de la gestion des groupes pluricellulaires de systèmes administratifs (GGPSA) qui fait partie du Secteur de l'intégration des services partagés (ISP) de la Direction générale des services intégrés de TPSGC. Le sous-ministre de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation à la lumière de la recommandation du Comité de vérification et d'évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques.

Profil

Contexte

2. Le gouvernement du Canada utilise des systèmes électroniques pour la gestion des finances, des ressources humaines et du matériel. Plusieurs de ces systèmes sont utilisés par les organisations fédérales, et nombre de celles-ci disposent d'une application logicielle unique et plus (appelée instance). Depuis les années 1980, des ministères et des organismes ont conclu des ententes de collaboration formelles et officieuses pour l'acquisition, le développement, la maintenance et le soutien de ces systèmes qui constituent souvent des groupes pluricellulaires. Dans certains cas, l'infrastructure physique sur laquelle l'application est installée est également partagée par des groupes pluricellulaires de systèmes. Ce type d'aménagement se prête bien à l'hébergement, faisant en sorte qu'un ministère et plus puisse accéder au système d'un autre ministère (moyennant des frais) sans devoir se doter de son propre système.

3. Dans le cadre de l'Initiative des systèmes partagés (1996) du Secrétariat du Conseil du Trésor (SCT), les ministères et les organismes (en vertu de la Loi sur la gestion des finances publiques) sont tenus d'utiliser l'un des six systèmes de gestion financière dûment approuvés par le Conseil du Trésor,^{Note 3} tout en les encourageant à se servir de l'un des deux systèmes de gestion des ressources humaines.^{Note 4} L'Initiativea été instaurée pour permettre le renouvellement administratif et réaliser des économies au gouvernement du Canada.

4. La GGPSA a été mise sur pied en 1996 à TPSGC afin de fournir des services de soutien regroupés^{Note 5} pour cinq des huit systèmes approuvés par le Conseil du Trésor. Au sein de la GGPSA, le soutien de chaque système relève d'un bureau du programme, qui assure l'approvisionnement, le soutien et la maintenance des produits, de même que des services de gouvernance et de défense des intérêts des groupes pluricellulaires. Les trois autres systèmes approuvés par le Conseil du Trésor comportent aussi des dispositions de collaboration pour les groupes pluricellulaires, qui reçoivent des services de soutien d'autres sources (les fournisseurs de services autres que la GGPSA mentionnés dans le présent rapport).

5. La GGPSA est demeurée à TPSGC depuis son instauration. En 2003, la prestation des services de la GGPSA est passée de Conseils et Vérification Canada au Secteur de l'ISP (situé dans l'ancienne Direction générale d'intégration des services). En 2006, le Secteur de l'ISP a déménagé à la Direction générale des services intégrés (auparavant la Direction générale des conseils, de l'information et des services partagés).

Autorité

6. La GGPSA mène ses activités à TPSGC conformément à la Politique sur les services communs (Appendice F, section 5.5) du Conseil du Trésor dans laquelle TPSGC figure comme fournisseur facultatif de systèmes de soutien de la gestion de l'information. La GGPSA mène ses activités d'approvisionnement, de soutien et de maintenance des produits conformément à cette politique.

7. La GGPSA fournit ses autres services en vertu de la Loi sur le ministère des Travaux publics et des Services gouvernementaux (article 15) qui stipule que « Le ministre peut fournir, sur demande des ministères ou organismes fédéraux […] les autres services qui relèvent de sa compétence. »

Rôles et responsabilités

8. Il incombe au Secrétariat du Conseil du Trésor d'établir une politique et une orientation stratégique telle que l'Initiative des systèmes partagés pour l'infrastructure des systèmes administratifs du gouvernement du Canada. Il incombe à la GGPSA de fournir des services de soutien pour les cinq groupes pluricellulaires qu'elle dessert. Les ministères et organismes qui décident de conclure un protocole d'entente avec la GGPSA sont tenus de verser les frais de service indiqués dans l'entente.

Ressources

9. La GGPSA fonctionne selon le principe de recouvrement des coûts et ne reçoit pas de financement des services votés. Afin d'être en mesure de poursuivre ses activités en attendant d'être payée par ses clients, la GGPSA bénéficie d'un crédit net (crédit 1) et de fonds consentis dans le cadre du processus de mise à jour annuelle des niveaux de référence. Les niveaux de référence de la GGPSA sont établis selon les revenus prévus du programme : pour l'exercice 2012-2013, ses recettes étaient estimées à 23,65 millions de dollars.

10. En 2011-2012, la GGPSA a généré 24,2 millions de dollars en recettes et ses coûts de fonctionnement s'élevaient à 23,9 millions de dollars. Le personnel de la GGPSA est constitué de 67 équivalents temps plein.

Modèle logique

11. Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme. Cet outil visuel et systématique illustre la théorie d'un programme et démontre la façon dont celui-ci peut atteindre les objectifs prévus. Ce modèle peut aussi servir de fondement à l'élaboration des stratégies de mesure et d'évaluation du rendement, y compris la grille d'évaluation.

12. Un modèle logique a été élaboré à partir d'un examen détaillé des documents, de réunions avec les gestionnaires du programme et d'entrevues avec les principaux intervenants. Le modèle a ensuite été validé auprès du personnel du programme. Le modèle logique se trouve à la page suivante.

2011-604 : Modèle logique de l'évaluation du Secteur de l'intégration des services partagés

Description texte du Modèle logique est disponible sur une page séparée.

Activités

Approvisionnement

13. Lorsque des logiciels commerciaux sont achetés, la GGPSA administre et gère le processus d'approvisionnement pour ses groupes pluricellulaires. La GGPSA négocie des contrats pour des services de fournisseurs et des services professionnels et les administre pour chacun des groupes pluricellulaires. Les contrats conclus pour des services de fournisseurs et des services professionnels destinés à tous les systèmes qu'elle gère constituent les extrants des activités d'approvisionnement de la GGPSA.

Soutien et maintenance des produits

14. La GGPSA apporte le soutien et la maintenance à ses groupes pluricellulaires. Le soutien aux produits est fourni au personnel technique et aux utilisateurs finaux des ministères clients. Les extrants du soutien des produits comprennent la conception de matériel de formation et de la fourniture de formation aux représentants des clients. La maintenance des produits comprend la planification, l'essai et la gestion des versions des logiciels utilisés dans les groupes pluricellulaires. Les procédures, les lignes directrices, le matériel de formation et les séances de formation fournis aux clients constituent les extrants des activités de soutien. Les versions déployées, les programmes correctifs, les mises à jour, les améliorations et les mises à niveau fournis aux clients constituent les extrants des activités de maintenance.

Governance

15. La GGPSA fournit des services de secrétariat pour les activités de gouvernance de chaque groupe pluricellulaire. La GGPSA collabore avec les ministères clients et d'autres clients en vue de dresser des plans d'affaires pour chaque groupe pluricellulaire. Les plans d'affaires servent à gérer l'évolution des systèmes de technologie de l'information en établissant les priorités annuelles et pluriannuelles. Les plans d'exploitation annuels et les plans stratégiques pluriannuels dressés pour chaque groupe pluricellulaire de systèmes constituent les extrants de cette activité.

Défense des intérêts

16. Les activités de défense des intérêts de la GGPSA comprennent la consultation auprès d'organismes centraux et de clients éventuels. La GGPSA promeut également les initiatives de transformation des systèmes administratifs du Secrétariat du Conseil du Trésor (SCT). Les activités de défense des intérêts contribuent à générer les extrants des plans d'exploitation annuels et des plans stratégiques pluriannuels, ainsi que des protocoles d'entente.

Objectif de l'évaluation

17. Cette évaluation visait essentiellement à déterminer la pertinence et le rendement du programme quant à l'atteinte de ses résultats prévus, conformément à la Politique sur l'évaluation du Conseil du Trésor.

18. De plus amples renseignements sur l'approche et les méthodologies utilisées dans le cadre de la présente évaluation figurent à la section intitulée « À propos de l'évaluation » à la fin du présent rapport (voir l'annexe A). Une grille d'évaluation, portant notamment sur les enjeux, les questions, les indicateurs et les sources de données utilisées a été élaborée au cours de la phase de planification (voir l'annexe B).

19. La présente évaluation portait sur le Secteur de l'intégration des services partagés (ISP) (sous-programme 1.6.2 de l'architecture d'alignement des programmes du Ministère). L'ISP comprend deux sous-activités distinctes (GGPSA et Ressources humaines partagées) qui font l'objet de rapports distincts. Chaque sous-activité a été examinée en fonction de ses résultats immédiats respectifs, ainsi que de ses résultats intermédiaires et finaux communs. L'évaluation du programme portait sur la période 2006-2007 à 2011-2012.

Approche et méthodologie

20. De nombreuses sources de données ont été utilisées pour évaluer le programme, En voici quelques-uns :

    1. Examen des documents : L'examen des documents a permis d'obtenir de l'information sur les activités du programme et sur les politiques et initiatives qui y sont associées. Ces documents comprennent des textes de loi et des documents de politiques, des présentations au Conseil du Trésor, des analyses de rentabilisation, des plans annuels et pluriannuels, des protocoles d'entente, ainsi que des documents ministériels tels que des rapports annuels sur les plans et les priorités et des rapports ministériels sur le rendement.

    2. Analyse documentaire : Une analyse documentaire a permis de mettre le programme dans le contexte national et international, de déterminer le fondement théorique du modèle adopté par le programme, de fournir des données de base comparatives aux fins d'évaluation du programme et de cerner d'autres modèles de prestation grâce à l'analyse d'autres administrations.

    3. Entrevues : L'équipe d'évaluation a mené des entrevues auprès des gestionnaires et des employés de TPSGC (4), des représentants de clients de la GGPSA (4), des représentants de clients et des fournisseurs de services de soutien pour les groupes pluricellulaires autres que celles desservies par la GGPSA (4) et des représentants d'organismes centraux (3). Les personnes interrogées ont donné des renseignements sur les activités, les extrants, les résultats prévus, les intervenants, la pertinence et le rendement du programme.

    4. Études de cas : L'expérience d'autres administrations a été examinée dans le cadre des études de cas. Des États australiens et le Royaume-Uni ont été choisis en raison de leur expérience semblable et de la grande quantité de rapports et d'études qui y sont disponibles. Chaque étude de cas reposait sur l'information colligée au cours de l'analyse documentaire décrite en b).

    5. Sondage auprès des clients de GGPSA et sondage auprès des clients autres que ceux de GGPSA : Deux sondages électroniques ont été menés.

       Sondage auprès des clients de GGPSA : Le sondage auprès des clients de GGPSA visait à obtenir des données sur la satisfaction des clients à l'égard des services de soutien fournis par la GGPSA, sur les caractéristiques des groupes pluricellulaires, sur l'atteinte des résultats et sur la contribution de la GGPSA à leur atteinte. Ce sondage a été transmis à 639 représentants ministériels de conseils de gouvernance, de comités et de groupes de travail. Au total, on a reçu 386 réponses au sondage, soit un taux de participation acceptable de 60 %. Le taux de réponse variait selon les questions, car certains répondants au sondage n'étaient pas en mesure de répondre à toutes les questions ou parce que toutes les questions ne leur ont pas été posées.

       Sondage auprès d'autres services de soutien aux groupes pluricellulaires : Ce sondage visait à obtenir des données sur les caractéristiques d'autres groupes pluricellulaires et sur les services de soutien qu'elles reçoivent comparativement à ceux de la GGPSA. Ces données ont aussi contribué à évaluer le rendement de la GGPSA par rapport à celui d'autres fournisseurs de services de soutien aux groupes pluricellulaires. Ce sondage a été transmis à 84 représentants de groupes pluricellulaires^{Note 6}. Au total, 38 personnes ont répondu au sondage, soit un taux de participation acceptable de 45 %. Le taux de réponse variait selon les questions, car certains répondants au sondage n'étaient pas en mesure de répondre à toutes les questions ou parce que toutes les questions ne leur ont pas été posées.

21. Pour en savoir davantage sur l'approche et les méthodologies utilisées pour réaliser cette évaluation, veuillez consulter la section intitulée « À propos de l'évaluation » à la fin du rapport. La grille d'évaluation est présentée à l'annexe B.

Constatations et conclusions

22. Les constatations et les conclusions présentées ci-dessous sont fondées sur de nombreuses sources de données utilisées pendant l'évaluation. Elles sont présentées par enjeu d'évaluation (pertinence et rendement).

Pertinence

23. La pertinence s'évalue par la capacité d'un programme à répondre à un besoin continu, à s'harmoniser avec les priorités du gouvernement fédéral et les résultats stratégiques du Ministère, et à représenter une responsabilité et un rôle pertinents du gouvernement fédéral.

Besoin continu

24. Le besoin continu s'évalue par la capacité du programme à répondre à un besoin manifeste et aux besoins de ses clients. Les sources de données examinées pour évaluer le besoin continu de la GGPSA sont, entre autres, la pertinence constante de la raison d'être initiale du programme qu'est la GGPSA, les exigences législatives ou politiques et la demande de services. La présente évaluation a permis de constater qu'il y avait un besoin continu, auquel répond le programme.

25. En 1996, une entente conclue entre le Conseil du Trésor et TPSGC a mené à la mise sur pied d'un centre d'expertise et de services de soutien consolidés pour un certain nombre de groupes pluricellulaires de systèmes déjà implantés. La mise sur pied de la GGPSA par TPSGC visait à combler le manque de soutien stable et fiable au fonctionnement des groupes pluricellulaires et à la gestion des systèmes relevé par le Comité des systèmes gouvernementaux. Dans le cadre de la présente évaluation, il a été impossible de trouver un document expliquant pourquoi TPSGC a été choisi comme fournisseur de services de soutien pour un groupe pluricellulaire de systèmes mais, la prestation de ces services par le Ministère a permis de combler un besoin dans la communauté du gouvernement fédéral. La justification de ce choix réside probablement dans le pouvoir général de TPSGC et dans l'expertise pertinente de (l'ancien organisme) Conseils et Vérification Canada, l'organisme au sein duquel le programme a été mis sur pied. Comme le gouvernement du Canada continue d'utiliser des systèmes administratifs et que ces systèmes requièrent des services de soutien, il ressort de la présente évaluation que la raison d'être initiale du programme est toujours pertinente et que celui-ci répond à un besoin démontrable.

26. Il ressort également de la présente évaluation que la GGPSA répond aux besoins du Secrétariat du Conseil du Trésor et de ses clients. La GGPSA soutient et promeut l'objectif du Secrétariat du Conseil du Trésor de normaliser les systèmes au gouvernement du Canada. Le Secrétariat du Conseil du Trésor reconnaît la contribution de la GGPSA en vue d'atteindre cet objectif en faisant état du programme dans plusieurs directives, politiques et initiatives du SCT lorsqu'il est question de normalisation des systèmes.

27. La Loi sur le ministère des Travaux publics et des Services gouvernementaux ne mentionne pas précisément la GGPSA ni les services de soutien aux groupes pluricellulaires qu'elle fournit. La Politique sur les services communs porte sur l'acquisition de biens et de services destinés aux systèmes de soutien de la gestion de l'information, à titre de service facultatif offert par TPSGC. L'évaluation n'a toutefois pas permis de conclure que TPSGC a le mandat ou l'obligation, en vertu d'une loi ou d'une politique, d'un programme comme la GGPSA ou d'exécution un tel programme.

28. La participation aux services est un indicateur de la demande et, selon les résultats de l'évaluation, on a constaté que la GGPSA, au cours des dernières années (2007 et années ultérieures), avait fourni des services de soutien pour cinq groupes pluricellulaires de systèmes à environ la moitié des ministères et organismes fédéraux.

29. À la suite de l'approbation par le Conseil du Trésor de la Norme sur les systèmes de planification des ressources de l'organisation (entrée en vigueur le 1^er mai 2012), on prévoit une augmentation de la demande des services de la GGPSA par les ministères et organismes au cours des prochaines années. Cette norme limite le financement accordé aux mises à niveau futures des systèmes administratifs de gestion des ressources humaines et des finances ministérielles à deux systèmes^{Note 7}, pour lesquels la GGPSA est actuellement le fournisseur des services de soutien aux groupes pluricellulaires de systèmes. Les exigences de cette norme devraient encourager les ministères et organismes à migrer vers ces systèmes, ce qui augmentera le besoin pour les services de soutien, tant de manière directe qu'indirecte^{Note 8}. L'augmentation de la demande des services prévue selon l'évaluation a également été corroborée dans le sondage mené par le Bureau de la vérification et de l'évaluation (BVE) auprès des utilisateurs des autres groupes pluricellulaires de systèmes : 39 % (9/23) des répondants au sondage prévoient déjà migrer^{Note 9} vers les deux systèmes approuvés par le SCT au cours des deux prochaines années.

30. Dans l'ensemble, l'évaluation a permis de constater que les ministères fédéraux avaient un besoin continu d'accès à des services de soutien pour leurs systèmes administratifs. La raison d'être initiale de la mise sur pied de la GGPSA demeure la même puisque les groupes pluricellulaires de systèmes sont toujours pertinentes et requièrent une forme de soutien fiable et stable pour assurer leur bon fonctionnement. De plus, la priorité accrue accordée à la normalisation des systèmes à l'échelle du gouvernement du Canada a donné lieu à un besoin secondaire de soutien, auquel répond également la GGPSA. Au terme de l'évaluation, on n'a toutefois trouvé aucune preuve de l'existence d'une exigence législative ou politique, que ce soit pour la prestation de services de soutien en général, ou pour la fourniture de ces services par TPSGC (au-delà de ses pouvoirs habituels). La GGPSA offre des services aux organisations fédérales qui participent aux groupes pluricellulaires de cinq systèmes administratifs. On prévoit une augmentation de la demande de services au cours des prochaines années en raison de la migration d'autres organisations fédérales vers les groupes pluricellulaires de systèmes pour lesquels la GGPSA offre du soutien.

Harmonisation avec les priorités du gouvernement fédéral et les résultats stratégiques de TPSGC

31. Le degré d'harmonisation du programme est déterminé en examinant les liens entre celui-ci et les priorités du gouvernement et les résultats stratégiques du Ministère. L'évaluation a permis de démontrer que la GGPSA s'harmonise avec les priorités du gouvernement fédéral liées au regroupement et à la modernisation, et s'harmonise aussi avec les résultats stratégiques de TPSGC.

32. Le Plan budgétaire 2012 dégageait les priorités du gouvernement fédéral de regrouper les services ministériels internes, de normaliser les activités administratives et d'accroître l'efficience au moyen d'ententes de services partagés. Plus précisément, les entités fédérales ont entamé un processus de simplification et de fusionnement des fonctions de leurs services ministériels (y compris l'approvisionnement, la technologie de l'information, les services juridiques, les communications et les ressources humaines) en vue de réduire le chevauchement de ces services. L'évaluation a permis de démontrer que les groupes pluricellulaires sont bien placés pour appuyer l'orientation stratégique du gouvernement du Canada visant à accroître la normalisation. La GGPSA contribue précisément au respect de l'accroissement de la normalisation par le biais de ses activités, notamment l'approvisionnement centralisé, le soutien centralisé des systèmes de gestion de l'information et l'appui des initiatives de transformation des systèmes administratifs du SCT. Ces activités correspondent aux priorités fédérales de regroupement et de normalisation, puisqu'elles réduisent la nécessité pour les ministères de fournir des services de soutien à l'interne pour l'acquisition de leurs systèmes de soutien de la gestion de l'information.

33. Sur le plan ministériel, on a observé que la GGPSA s'harmonisait avec le résultat stratégique prévu dans le Rapport sur les plans et les priorités (RPP) de TPSGC pour 2012-2013 qui vise à « offrir des services et des programmes de première qualité adaptés aux besoins des organismes fédéraux et assurer une saine intendance au profit de la population canadienne ». Bien que la GGPSA ne soit pas précisément citée comme une priorité opérationnelle du Ministère dans son RPP pour 2012-2013, elle s'harmonise tout de même avec ce résultat par la fourniture de services de soutien centralisés pour les groupes pluricellulaires de systèmes administratifs.

34. Dans l'ensemble, la prestation des services de la GGPSA aux ministères fédéraux s'harmonise avec les priorités récentes du gouvernement fédéral de regrouper et de normaliser les services ministériels. Puisqu'un service commun est offert aux ministères, la GGPSA s'harmonise avec ce résultat stratégique de TPSGC.

Rôles et des responsabilités appropriés pour le gouvernement fédéral

35. Pour déterminer si le programme relève du rôle du gouvernement fédéral, trois éléments ont été examinés : la décentralisation de la responsabilité du programme vers d'autres ministères ou organismes fédéraux, la délégation de la responsabilité du programme à un autre ordre de gouvernement et l'impartition au secteur privé. On compte deux éléments de reddition de comptes : (i) veiller à ce que les ministères aient accès à des services centralisés (ii) assurer la prestation de ces services.

36. Les ministères et organismes fédéraux sont responsables des systèmes qu'ils achètent et utilisent aux fins d'administration des finances et de gestion des ressources humaines et du matériel, et sont tenus de fournir les services de soutien nécessaires au bon fonctionnement de ces systèmes. Les groupes pluricellulaires des systèmes ont vu le jour en 1980, sous forme d'approche informelle entreprise par les ministères et organismes en vue de collaborer à l'atteinte de buts communs découlant de l'utilisation de ces systèmes.

37. L'évaluation n'a pas permis de trouver d'organisation fédérale à qui il incombait clairement de veiller à ce que les ministères aient accès à la gamme de services de soutien offerts par la GGPSA. Néanmoins, le SCT est tenu de fournir des directives et des conseils afin d'atteindre les objectifs prévus dans son Initiative des systèmes partagés et d'encourager la normalisation des données, des systèmes et des processus (initiative des processus opérationnels communs en gestion financière et initiative de configuration commune des systèmes de gestion financière). Bien que cette responsabilité ne soit pas clairement définie, le SCT peut être chargé de veiller à ce que les ministères aient accès à certains services de soutien actuellement offerts par la GGPSA. Un aspect encore moins clair est de savoir si la fourniture de ces services relève en partie du SCT. À titre d'étude de cas comparative, il est intéressant de noter que le Conseil du Trésor a accepté d'assumer la responsabilité de veiller à ce que les petits ministères et organismes aient accès à des services de vérification interne et a procédé à des vérifications de petits ministères et organismes au nom du gouvernement du Canada.

38. En ce qui concerne la responsabilité de fournir des services de soutien, le mandat de TPSGC, à l'heure actuelle, à titre de fournisseur de services communs facultatifs dans l'acquisition de systèmes de soutien de la gestion de l'information, lui permet d'assumer un rôle de fournisseur de services pour les groupes pluricellulaires de systèmes. Il y a également la possibilité de décentraliser la responsabilité du programme vers divers ministères ou organismes fédéraux, comme c'était le cas avant la mise sur pied du programme. Toutefois, la centralisation des services de soutien peut convenir aux rôles et aux responsabilités du gouvernement fédéral dans la mesure où elle appuie l'atteinte des objectifs horizontaux, comme la normalisation des processus et des systèmes administratifs au gouvernement du Canada.

39. Le transfert de la responsabilité de veiller à ce que les ministères aient accès à des services de soutien pour les systèmes administratifs employés par le gouvernement du Canada, soit dans le cas de tâches précises de la GGPSA ou d'une responsabilité générale de l'ensemble des systèmes vers d'autres ordres de gouvernement, n'est pas une option viable et serait probablement impossible à réaliser. La responsabilité ultime du soutien des systèmes administratifs du gouvernement du Canada relève du gouvernement fédéral.

40. Dans la même optique, le transfert au secteur privé de la responsabilité de veiller à ce que les ministères aient accès à des services de soutien pour les systèmes administratifs n'est pas une option viable et serait probablement impossible à réaliser. Il incombe au gouvernement fédéral de déterminer la vision et les priorités qui orienteront l'élaboration et l'utilisation des systèmes administratifs et des ententes qui sont prises pour en assurer le soutien. Toutefois, en ce qui concerne la prestation des services de soutien, bien qu'elle ne soit pas de la responsabilité du secteur privé, ce dernier a et continuera de fournir au gouvernement du Canada des logiciels et de l'expertise pour ses systèmes administratifs. Par conséquent, la délégation au secteur privé de la responsabilité de veiller à ce que les ministères aient accès à des services de soutien pour leurs systèmes administratifs n'est pas une option viable. La possibilité de faire participer le secteur privé à la prestation des services de la GGPSA est abordée à la section « Autres modes de prestation » du présent rapport.

41. Les ministères sont responsables de leurs systèmes administratifs. L'évaluation n'a toutefois pas permis de trouver d'organisation fédérale à qui il incombait clairement de veiller à ce que les ministères aient accès à la gamme de services de soutien offerts par la GGPSA. Bien que cette responsabilité ne soit pas clairement définie, le SCT peut être chargé de veiller à ce que les ministères aient accès à certains services de soutien actuellement offerts par la GGPSA. Un aspect encore moins clair est de savoir si la fourniture de ces services relève du SCT. De plus, la responsabilité de veiller à ce que les ministères aient accès à des services de soutien pour leurs groupes pluricellulaires de systèmes ne peut pas être cédée à un autre ordre de gouvernement ou au secteur privé. Toutefois, le gouvernement fédéral peut assumer le rôle de centraliser les services de soutien pour les groupes pluricellulaires de systèmes, puisque ceux-ci peuvent appuyer les initiatives horizontales.

Conclusions : Pertinence

42. La raison d'être initiale de la mise sur pied de la GGPSA demeure la même, puisque les groupes pluricellulaires de systèmes existent toujours et requièrent un soutien fiable et stable pour garantir leur bon fonctionnement. De plus, la priorité accrue accordée à la normalisation des systèmes à l'échelle du gouvernement du Canada a donné lieu à un besoin secondaire de soutien, auquel répond également la GGPSA. On prévoit une augmentation de la demande de services au cours des prochaines années en raison de la transition d'autres organisations fédérales vers les groupes pluricellulaires de systèmes pour lesquelles la GGPSA offre du soutien.

43. Dans le cadre de l'évaluation, on n'a toutefois trouvé aucune preuve d'une exigence législative ou politiques, que ce soit pour la prestation de services de soutien en général ou pour la fourniture de ces services par TPSGC. La GGPSA s'harmonise avec les priorités du gouvernement fédéral liées au regroupement et à la modernisation, et s'harmonise aussi aux résultats stratégiques de TPSGC puisqu'elle répond aux besoins en matière programmes des ministères et organismes fédéraux.

44. L'évaluation a permis de démontrer que les ministères sont responsables de la gestion et du soutien de leurs systèmes administratifs, mais aucune organisation fédérale n'est chargée de garantir l'accès à la gamme de services de soutien offerts par la GGPSA. Le SCT peut être responsable de garantir l'accès à certains services de soutien, mais cette responsabilité n'est pas clairement définie. Étant donné que cette option est difficile à réaliser et peu viable, la responsabilité de veiller à ce que les ministères et organismes aient accès à des services de soutien pour leurs groupes pluricellulaires de systèmes ne peut être cédée à un autre ordre de gouvernement ou au secteur privé. Toutefois, le gouvernement fédéral peut assumer le rôle de centraliser les services de soutien pour les groupes pluricellulaires de systèmes.

Rendement

45. Le rendement s'évalue par la capacité d'un programme à atteindre les objectifs fixés, et la mesure dans laquelle il le fait de manière efficiente et rentable. D'autres modes de prestation de services pourraient être utilisés afin d'atteindre les résultats du programme et de réduire les coûts de celui-ci.

Atteinte des résultats

46. L'évaluation a permis d'examiner la capacité du programme à atteindre les résultats immédiats, intermédiaires et finaux. Les résultats escomptés du programme sont indiqués en italique ci-dessous et sont suivis d'une évaluation permettant de savoir dans quelle mesure ces résultats ont été atteints.

Résultat immédiat : Accès aux fonctionnalités administratives améliorées pour les clients

47. L'accessibilité aux fonctionnalités administratives améliorées pour les clients est définie comme suit : la fourniture des fonctionnalités logicielles commerciales les plus récentes, et le développement de fonctionnalités logicielles supplémentaires visant à améliorer le système de manière qu'il réponde aux besoins communs des ministères et aux exigences des organismes centraux. Ce résultat est appuyé par les extrants de la GGPSA, comme par la fourniture des programmes correctifs, des mises à jour, des mises à niveau et des versions pour les produits. Ce résultat a été évalué en mesurant les éléments suivants : l'utilisation des versions les plus récentes des systèmes, la capacité de la GGPSA à s'acquitter de ses engagements planifiés et le degré de satisfaction des clients à l'égard de l'accès aux fonctionnalités améliorées des systèmes administratifs. Nous avons conclu que la GGPSA avait atteint ce résultat.

48. L'analyse présentée à la figure 1 montre qu'en juillet 2012, la majeure partie des ministères et organismes clients utilisent la version la plus récente des systèmes déployée par la GGPSA. Tous les clients du Système intégré des finances et du matériel (SIFM) utilisent la version la plus récente et la majorité des clients du Système de gestion des ressources humaines du gouvernement du Canada (SGRH GC) emploient également la version la plus récente. La majeure partie des ministères et organismes qui utilisent le Système d'information sur les ressources humaines (SIRH) et FreeBalance utilisent la version la plus récente et plus de la moitié des clients du Système automatisé d'information sur la gestion du matériel (SAIGM) utilisent la version la plus récente.

Sommaire du tableau

Ce tableau présente le nombre total de clients de la GGPSA ainsi que le nombre et le pourcentage de clients qui utilisent la version la plus récente des systèmes déployée par la GGPSA. Le Secteur de l'intégration des services partagés de la Direction générale des services intégrés de TPSGC a fourni les données.

Le tableau comprend quatre colonnes et cinq rangées. La première colonne est intitulée « Système », la deuxième, « Nombre total de clients (ministères/organismes) », la troisième, « Nombre de clients utilisant la version la plus récente », et la dernière, « Pourcentage de clients utilisant la version la plus récente ». Les cinq rangées du tableau comprennent les cinq groupes pluricellulaires de la GGPSA : FreeBalance, SIFM, SGRH GC, SIRH et SAIGM.

Selon le tableau, 27 des 28 clients (96 %) utilisent la plus récente version du système FreeBalance, 16 des 16 clients (100 %) utilisent la plus récente version du système SIFM, 21 des 22 clients (95 %) utilisent la plus récente version du système SGRH GC, 27 des 31 clients (87 %) utilisent la plus récente version du système SIRH et 5 des 9 clients (56 %) utilisent la plus récente version du système SAIGM.

Figure 1 : Utilisation des versions les plus récentes des systèmes, 2011-2012

Système	Nombre total de clients (ministères/organismes)	Nombre de clients utilisant la version la plus récente	Pourcentage de clients utilisant la version la plus récente
FreeBalance	28	27	96 %
SIFM	16	16	100 %
SGRH GC	22	21	95 %
SIRH	31	27	87 %
SAIGM	9	5	56 %

Source : Base de données : 2.11.11. Examen des versions des systèmes.

49. Pour examiner la rapidité de la GGPSA à s'acquitter de ses engagements envers ses clients concernant l'amélioration des systèmes, on a examiné un échantillon aléatoire des engagements contenus dans les plans annuels (2010-2011) de FreeBalance et du SIFM. À la lumière des résultats de cet examen, 75 % (6/8) des engagements (FreeBalance) et 63 % (5/8) des engagements (SIFM) ont respecté les échéances précisées dans les plans annuels.^{Note 10} Le sondage mené par le BVE auprès des clients confirme cette conclusion, puisque 71 % des répondants (106/150) étaient d'accord ou fortement d'accord avec l'énoncé selon lequel la GGPSA a respecté les engagements définis dans son plan annuel.

50. Selon les résultats du sondage mené par le BVE auprès des clients, les répondants sont satisfaits de la qualité des fonctionnalités qu'ils reçoivent. En effet, 85 % (159/187) des clients qui ont répondu au sondage croient que leur groupe pluricellulaire a atteint ou plutôt atteint le résultat « produits et fonctionnalités améliorés » et 88 % (107/121) de ces répondants jugent que la GGPSA joue un rôle important ou un certain rôle dans l'atteinte de ce résultat. Les clients qui ont répondu au sondage du BVE ont indiqué qu'ils étaient satisfaits ou très satisfaits de la qualité (75 % ou 118/157) des programmes correctifs, des mises à jour, des mises à niveau et des versions pour les produits fournis par la GGPSA, ainsi que de la rapidité à laquelle ils étaient fournis (73 % ou 116/160). Tous les clients qui reçoivent des services de soutien pour leurs groupes pluricellulaires de la part d'un fournisseur autre que la GGPSA croient que leurs groupes pluricellulaires ont bénéficié de produits et de fonctionnalités améliorés (100 % ou 21/21). Ces résultats indiquent que les autres fournisseurs de services de soutien pour les groupes pluricellulaires peuvent faire preuve d'une plus grande efficacité dans la fourniture de produits et de fonctionnalités améliorés, bien qu'ils mènent leurs activités dans un environnement moins complexe.

51. Dans l'ensemble, la GGPSA a atteint ce résultat en donnant accès à des fonctionnalités améliorées, comme il est montré par le degré d'utilisation des versions déployées des systèmes, la capacité du programme à respecter ses engagements concernant l'amélioration des systèmes conformément au plan, et l'opinion des clients selon laquelle la GGPSA a fourni des fonctionnalités améliorées.

Résultat immédiat : Utilisation par les clients des systèmes et des processus administratifs normalisés et conformes aux exigences du CT

52. L'utilisation des clients est définie comme suit : Ministères et organismes qui ont recours à des systèmes conformes aux exigences du CT qui ont été acquis et distribués par la GGPSA et pour lesquels elle offre des services de soutien. Ce résultat a été évalué selon les perceptions des clients et des intervenants quant à l'atteinte de l'objectif de normalisation des systèmes et des processus, et selon les activités de gouvernance menées par la GGPSA dans le but de favoriser la normalisation des systèmes et des processus. À la lumière de l'évaluation, les activités de la GGPSA contribuent à l'atteinte de ce résultat, mais la pleine atteinte de ce résultat dépend des activités indépendantes menées par les clients de la GGPSA.

53. La majeure partie des clients qui ont répondu au sondage du BVE croient que l'objectif de normalisation des systèmes et des processus administratifs a été réalisé ou plutôt réalisé (76 % ou 133/174), et sont d'avis que la GGPSA a joué un rôle important ou un certain rôle dans l'atteinte de cet objectif (90 % ou 89/99). Les clients de la GGPSA et les personnes interrogées du bureau du programme croient également que la GGPSA est en voie d'atteindre l'objectif de normalisation. De plus, le Bureau du contrôleur général (BCG) a reconnu que les groupes pluricellulaires du système de gestion financière ont contribué à la normalisation. Au niveau le plus général, la GGPSA, acquiert, distribue et gère les systèmes administratifs approuvés par le SCT. Toutefois, la majorité des personnes des organismes centraux interrogées dans le cadre cette évaluation croient que l'objectif de normalisation des systèmes n'a pas été atteint, et ce, en raison de la personnalisation. La personnalisation ou la sur adaptation des instances de système en vue de répondre aux besoins individuels des ministères est contraire à l'objectif de normalisation du gouvernement du Canada. L'évaluation de la capacité des clients à utiliser leurs systèmes et processus administratifs de façon conforme et normalisée dépend de la compréhension des enjeux créés par les instances individuelles des systèmes dans l'ensemble des ministères.

54. L'Initiative des systèmes partagés du Conseil du Trésor favorise une diminution du nombre de systèmes administratifs particuliers utilisés au gouvernement du Canada. Tout en répondant aux exigences du SCT, les ministères clients de la GGPSA maintiennent leur propre application d'un système approuvé, que l'on appelle une « instance ». Dans le cas de ces groupes pluricellulaires pour lesquels la GGPSA offre des services de soutien, le nombre d'instances de système détenu par les ministères clients est demeuré stable ou a connu une hausse depuis 2007. Les ministères qui disposent de leur propre instance de système sont libres de le modifier et de le personnaliser^{Note 11}. Bien que les ministères puissent utiliser les systèmes administratifs normalisés conformes aux exigences du CT, la personnalisation d'une instance individuelle peut freiner la normalisation des processus, ce qui, à son tour, peut nuire à la préparation des rapports. La personnalisation peut réduire l'interopérabilité et compliquer le regroupement des données pour les besoins de préparation des rapports ou de reddition de comptes; on doit ainsi traiter et manipuler les données manuellement. On s'attend à ce qu'une réduction du nombre d'instances de système contribue à réaliser des économies par la réduction du nombre d'employés nécessaires dans l'ensemble des ministères clients pour gérer les instances individuelles, et par la diminution des ressources requises pour regrouper les données provenant des instances personnalisées de système.

55. L'équipe de la GGPSA a travaillé à trouver une façon d'améliorer la normalisation des systèmes et des processus administratifs en ajoutant récemment un objectif visant à réduire le nombre d'instances du SIFM et du SGRH GC. Dans le cadre de son Initiative de la feuille de route du SIFM élaborée par le bureau de programme de la GGPSA, l'équipe du SIFM a suggéré de réduire le nombre d'instances de système de l'ordre de 50 % d'ici à 2017 en encourageant un plus grand recours aux ententes d'hébergement. Cette initiative est une démarche de normalisation exhaustive qui décrit l'orientation à prendre pour adopter une conception de système unique d'ici à 2020 qui serait utilisée par les ministères hôtes. Par suite de cette initiative, la GGPSA fournirait des services de soutien à plusieurs ministères hôtes (qui représentent de nombreux ministères), au lieu de fournir ces services en double pour chaque ministère qui utilise son système. De la même manière, l'équipe du SGRH GC a fait de la réduction de la personnalisation l'une de ses priorités dans son plan pluriannuel et élabore actuellement une stratégie de transition et un plan d'action pour atteindre cet objectif.

56. De plus, il convient de noter que d'autres organisations contribuent à l'atteinte de ce résultat. Le Bureau du contrôleur général a lancé certains plans concrets visant à réduire le nombre d'instances de système et l'ampleur de la personnalisation. Aux termes de ces plans, la majorité des ministères ne détiendront plus ou ne soutiendront plus leur propre système Software Application Program (SAP), et le gouvernement du Canada assurera la gestion et le contrôle de la configuration commune de ce système. Les effets de cette initiative sur la GGPSA seraient semblables à celles de l'Initiative de feuille de route du SIFM, puisque la GGPSA devrait continuer à fournir des services de soutien aux ministères hôtes pour répondre aux besoins des ministères. Ces deux scénarios seraient essentiels à la normalisation des systèmes.

57. Dans l'ensemble, on a conclu que la GGPSA contribuait à l'atteinte de ce résultat. Les clients de la GGPSA indiquent qu'elle a contribué à instaurer des systèmes et des processus administratifs normalisés. Cependant, la personnalisation d'instances individuelles chez certains clients de la GGPSA freine la normalisation en réduisant l'interopérabilité et en compliquant le regroupement des données. D'autres travaux doivent être menés du point de vue des organismes centraux. De plus, la GGPSA aide, dans la mesure du possible, à réduire le nombre d'instances de système et de systèmes personnalisés, situation qui nuit à la normalisation complète des systèmes et des processus.

Résultat immédiat : Partage d'information et collaboration accrus entre les clients.

58. On a défini le partage d'information et la collaboration entre les clients dans le but d'évaluer l'augmentation du partage d'information au sein des groupes pluricellulaires de systèmes. L'accroissement du partage d'information se mesure essentiellement grâce à plusieurs outils : plans annuels et pluriannuels et autres documents, résultats de sondages et d'entrevues sur le degré de mise en commun des pratiques exemplaires et des leçons tirées de l'expérience. Nous avons constaté que la GGPSA avait contribué à atteindre ce résultat.

59. La GGPSA a contribué au partage d'information par diverses activités, à savoir la fourniture de plans annuels et pluriannuels, la distribution de documents (manuels techniques, guides, etc.) à des groupes de travail et à des comités regroupés en groupes pluricellulaires. Pour 90 % (172/191) des répondants au sondage du BVE réalisé auprès des clients, la mise en commun des pratiques exemplaires parmi les membres des groupes pluricellulaires est réalisée ou plutôt réalisée. De ces 90 %, 83 % (105/126) déclarent que la GGPSA a joué un rôle important (48/105) ou un certain rôle (57/105) pour atteindre ce résultat. Selon les personnes interrogées, la GGPSA facilite le partage d'information et la collaboration entre les groupes pluricellulaires parce qu'elle fournit des documents de communication, cerne et met en commun les pratiques exemplaires. La GGPSA a aussi contribué à atteindre ce résultat parce qu'elle a soutenu les comités des groupes pluricellulaires : 76 % (134/176) des clients interrogés par le BVE déclarent être satisfaits ou très satisfaits de l'échéancier associé à l'information fournie aux comités des groupes pluricellulaires par les bureaux du programme de la GGPSA.

60. Globalement, l'évaluation a permis de mettre en lumière le fait que la GGPSA a contribué à atteindre ce résultat grâce à des plans annuels et pluriannuels et à d'autres documents fournis à ses clients; ce qui a été confirmé par les résultats du sondage auprès des clients.

Résultat intermédiaire : Les clients et les organismes centraux font davantage confiance à l'information sur les finances, le matériel et les ressources humaines pour la prise de décisions et la préparation de rapports

61. Un système de planification des ressources de l'entreprise (SGRH GC, SIFM) est censé donner lieu à une plus grande intégrité des données et favoriser la production d'une information de meilleure qualité, plus fiable, plus rapidement pour la prise de décisions. Un système intégré de planification des ressources de l'entreprise ne permet d'entrer les données qu'une fois, ce qui élimine les risques de redondance et d'erreur. Au fil du temps, l'amélioration de l'information doit amener une augmentation de l'efficacité ainsi qu'à une réduction du chevauchement et des coûts administratifs. Par conséquent, les ministères qui utilisent des systèmes de planification des ressources de l'entreprise (SIFM et SGRH GC) et les organismes centraux qui reçoivent de l'information de ces ministères devraient faire davantage confiance à l'information sur les finances, le matériel et les ressources humaines lorsqu'ils prennent des décisions et préparent leurs rapports. Plusieurs paramètres mesurent ce résultat : la confiance perçue des répondants au sondage dans l'information; les évaluations du Cadre de responsabilisation de gestion du client pour l'information financière avant et après la réception des services de la GGPSA, et la confiance perçue des personnes interrogées dans l'information. L'évaluation a permis de constater que la GGPSA a contribué à l'augmentation de la confiance dans l'information sur les finances, le matériel et les ressources humaines lors de la prise de décisions et la préparation des rapports.

62. D'après le sondage du BVE, les clients ministériels affichent une plus grande confiance dans l'information sur les finances, le matériel et les ressources humaines dans leur prise de décisions et la préparation de leurs rapports à la suite des services fournis par la GGPSA; 86 % des répondants (152/177) croient que le groupe pluricellulaire auquel ils appartiennent a réalisé ou plutôt réalisé les résultats en matière de systèmes et de processus qui produisent une information plus précise et plus fiable, et 91 % (96/106) de ces personnes ont noté que la GGPSA a joué un certain rôle ou un rôle important pour atteindre cet objectif; 75 % des répondants (135/180) sont convaincus que le groupe pluricellulaire auquel ils appartiennent a réalisé ou plutôt réalisé une amélioration des capacités de préparation de rapports; 93 % (97/104) ont indiqué que la GGPSA avait joué un certain rôle ou un rôle important pour atteindre cet objectif. Toutefois, selon cinq personnes interrogées (provenant de deux clients et de trois organismes centraux), le degré de personnalisation du système et le manque de données et de processus normalisés ont entravé les améliorations de l'exactitude de l'information. Le nombre restreint de réponses des personnes interrogées ne permet cependant pas de généraliser ces perceptions à tous les intervenants. Soulignons que l'incidence négative de la pratique de personnalisation sur l'atteinte ce résultat dépasse la portée du programme; il n'est donc pas possible d'adopter des mesures d'atténuation.

63. Les évaluations du Cadre de responsabilisation de gestion de Sécurité publique, de TPSGC et de la Commission de la fonction publique ont été analysées pour déterminer si la cote attribuée à « Mesure dans laquelle l'information de gestion intégrée tirée des systèmes d'information sur les finances, les Ressources humaines (RH), la paye, les biens et les biens immobiliers est rapidement disponible aux fins de la prise de décisions ministérielles » avait augmenté après avoir fait la transition vers un groupe pluricellulaire qui accueille la GGPSA.^{Note 12} Selon l'évaluation, Sécurité publique et TPSGC sont passés des cotes Possibilité d'amélioration (2005-2006) et Attention requise (2006-2007) aux cotes Acceptable (2010-2011) et Fort (2010-2011), respectivement; quant à la Commission de la fonction publique, elle conserve sa cote Acceptable (2006-2007 et 2010-2011).

64. Globalement, la GGPSA a contribué à atteindre ce résultat. Les clients interrogés dans le cadre du sondage déclarent faire davantage confiance à l'information et croient que la GGPSA a contribué à atteindre cet objectif; constatation qui est appuyée par les évaluations du Cadre de responsabilisation de gestion réalisées auprès d'un petit échantillon de ministères. Ces évaluations ont mis en lumière une amélioration après l'adoption d'un système soutenu par la GGPSA. Cependant, les représentants de l'organisme central ne font pas davantage confiance à l'information pour la prise de décisions et la préparation des rapports en raison de préoccupations constantes qui touchent la personnalisation et la normalisation. Ces préoccupations dépassent la portée du programme; il n'est donc pas possible d'adopter des mesures d'atténuation.

Résultat intermédiaire : Réduction des risques chez les clients

65. Grâce à ses liens avec le Secrétariat du Conseil du Trésor, la GGPSA veille à ce que les améliorations apportées au système qu'elle transmet à ses clients soient conformes aux politiques, aux procédures, aux normes et aux directives qui relèvent des systèmes de gestion des finances, du matériel et des ressources humaines. En utilisant les services de la GGPSA, les clients devraient constater une réduction des risques de non-conformité aux politiques en vigueur des organismes centraux pour les systèmes de gestion administrative. L'évaluation a permis de constater que la GGPSA a contribué à atteindre ce résultat puisque les clients déclarent une réduction des risques. L'évaluation n'a pas permis de tirer d'autres conclusions dans ce domaine.

66. L'évaluation a permis de constater que les clients déclaraient une réduction des risques. Les personnes interrogées croient que la GGPSA réduit les risques pour les ministères et les organismes. Alors que 31 % (44/143) des répondants au sondage du BVE auprès des clients ont indiqué que les risques avaient été entièrement réduits, 55 % (79/143) ont pour leur part indiqué que les risques avaient été plutôt réduits. Vingt-cinq pour cent des répondants au sondage du BVE auprès des clients (21/85) déclarent que la GGPSA a joué un rôle important dans la réduction des risques, et 64 % (54/85) qu'elle a joué un certain rôle. L'évaluation n'a pas permis de déterminer les risques précis qui ont été réduits ni de mesurer l'ampleur de la réduction.

67. En conclusion, la GGPSA a contribué à atteindre ce résultat. Les clients déclarent que la GGPSA a contribué à atteindre ce résultat. L'évaluation n'a pas permis de trouver des données grâce auxquelles on aurait pu cerner les différents types de risques réduits ou une mesure quantifiable de l'ampleur de la réduction.

Résultat intermédiaire : Économies réalisées ou évitement de coûts par les ministères clients en raison d'économies d'échelle

68. Pour les besoins de cette évaluation, ce résultat est axé sur les économies réalisées ou l'évitement de coûts éventuels perçus, générés par la GGPSA. Les économies réalisées ou l'évitement de coûts ont été évalués à partir des perceptions des clients, des perceptions des personnes interrogées, de l'estimation de l'évitement de coûts et de facteurs contextuels qui auraient une incidence sur l'optimisation des économies réalisées ou de l'évitement de coûts. L'évaluation n'a pas permis d'évaluer si ce résultat avait été atteint.

69. La GGPSA doit contribuer à réduire les coûts liés au soutien des groupes pluricellulaires de systèmes administratifs grâce à la mise en commun des ressources par l'entremise d'un fournisseur centralisé. Pour ce faire, on centralise l'approvisionnement et la distribution des services de soutien du système plutôt que de décentraliser la prestation par les différents ministères. Les clients et le personnel de la GGPSA croient que des économies sont réalisées en réduisant le chevauchement des efforts des ministères qui soutiennent l'organisation en groupes pluricellulaires : 81 % des clients qui ont répondu au sondage du BVE sont convaincus que la GGPSA a réalisé ou plutôt réalisé cet objectif (127/157). La plupart des clients et le personnel de la GGPSA sont convaincus que des économies sont réalisées en réduisant le chevauchement des efforts des ministères qui soutiennent l'organisation en groupes pluricellulaires. Dans l'intervalle, le Secrétariat du Conseil du Trésor a grosso modo évalué que la GGPSA aurait contribué à l'évitement de coûts annuels pour un montant de 44,2 millions de dollars.

70. L'évaluation n'a pas permis de vérifier les résultats du sondage du BVE réalisé auprès des clients en raison d'un manque d'information sur les arrangements et les coûts de prestation des services de soutien avant l'adoption de la GGPSA par un client. L'équipe chargée de l'évaluation a tenté de recueillir cette information, mais ni la GGPSA, ni ses clients n'étaient en mesure de fournir les données financières nécessaires à l'équipe. L'examen de programmes semblables dans d'autres administrations a mis en lumière l'importance de procéder à des analyses comparatives et de faire un suivi des résultats tout au long de l'implantation du programme afin d'étayer les examens des économies réalisées.

71. De plus, les personnes interrogées indiquent que les économies réalisées dans les ministères ne sont pas optimisées en raison de la prévalence de la personnalisation des instances de système par les ministères et les organismes. Certains grands ministères ont du personnel interne qui élabore et soutiennent leurs instances de système personnalisées. La personnalisation entreprise par les ministères clients augmente les coûts de soutien. L'expérience du secteur privé confirme que des modifications ou des ajouts (personnalisation) importants apportés à un système augmentent les frais de mise à niveau et la maintenance. Par ailleurs, l'expérience d'autres administrations gouvernementales montre que la personnalisation nuit aux économies réalisées (Australie-Occidentale, Queensland et Royaume-Uni). Par conséquent, les plus importantes économies réalisées ou évitement de coûts dans le domaine des systèmes administratifs dépassent la portée du programme de la GGPSA. Selon une étude de Pricewaterhouse Coopers pour le compte de TPSGC, le regroupement des instances utilisées par les ministères et les organismes serait la source d'une « valeur réelle ».

72. En conclusion, l'évaluation n'a pas réussi à démontrer l'atteinte de ce résultat. Les clients et les organismes centraux sont convaincus que la GGPSA amène des économies d'échelle, mais on manque d'information pour vérifier le montant des économies réalisées ou d'évitement de coûts estimés et pour déterminer les données réelles. Enfin, l'expérience d'autres administrations gouvernementales montre que la personnalisation nuit aux économies réalisées.

73. Dans la mesure où la GGPSA a atteint la majorité des résultats escomptés, immédiats et intermédiaires, ou y a contribué, elle a enregistré des progrès en vue d'atteindre ces résultats finaux. L'évaluation n'a pas permis d'évaluer la capacité de la GGPSA à enregistrer des progrès en vue d'atteindre la majorité de ces résultats. Par ailleurs, toute contribution de la GGPSA en vue d'atteindre ses résultats s'ajouterait à la contribution d'autres programmes, à l'intérieur et à l'extérieur de TPSGC, qui partage ces résultats finaux escomptés.

Conclusions : Atteinte des résultats

74. La GGPSA a atteint le résultat immédiat, à savoir « Accès aux fonctionnalités administratives améliorées pour les clients », comme le démontrent le déploiement des versions des systèmes, le fait d'honorer les engagements pris pour l'amélioration des systèmes et la confirmation des clients, qui déclarent que la GGPSA a fourni des fonctionnalités améliorées.

75. La GGPSA a contribué à atteindre les deux autres résultats immédiats : « Les clients utilisent des systèmes et des processus administratifs normalisés conformes aux exigences du Conseil du Trésor » et « Partage d'information et collaboration accrus entre les clients ». Quant au premier résultat, la GGPSA a soutenu et favorisé la normalisation des systèmes administratifs, mais la personnalisation des systèmes et les nombreuses instances utilisées par les ministères clients entravent d'importants progrès en terme de normalisation. La GGPSA demeure un soutien essentiel pour les organismes centraux qui doivent atteindre des objectifs liés à la normalisation des systèmes à l'échelle du gouvernement du Canada. Au chapitre du deuxième résultat, la GGPSA fournit des plans annuels et pluriannuels ainsi que d'autres documents à ses clients; les résultats du sondage auprès des clients confirment que la GGPSA a contribué à atteindre ce résultat.

76. La GGPSA contribue aux résultats intermédiaires suivants : « Les clients et les organismes centraux font davantage confiance à l'information sur les finances, le matériel et les ressources humaines pour la prise de décisions et la préparation de rapports » et « Réduction des risques chez les clients ». Les clients affichent une confiance accrue dans les données et l'information produites par les systèmes qui bénéficient du soutient de la GGPSA et déclarent une réduction des risques connexes à la suite des services de la GGPSA.

77. L'évaluation n'a pas permis de conclure que le résultat intermédiaire de la GGPSA avait été atteint : « Économies réalisées ou évitement de coûts en raison d'économies d'échelle ». Les clients déclarent que les services de la GGPSA permettent des économies d'échelle. Les estimations relatives aux économies réalisées ou à l'évitement de coûts à l'issue de l'implantation de la GGPSA n'ont pu être confirmées en raison d'un manque de données sur les coûts pour les services de soutien en groupes pluricellulaires avant l'implantation de la GGPSA. Dans le cadre de l'évaluation, l'examen de l'atteinte du résultat escompté au titre des économies réalisées ou d'évitement de coûts a mis en lumière que les pratiques de personnalisation des ministères et des organismes avaient une grande incidence sur les économies réalisées ou l'évitement de coûts globaux dans les ministères et les organismes qui participent aux groupes pluricellulaires de systèmes. L'effet négatif des pratiques de personnalisation des ministères sur l'atteinte des résultats escomptés est un enjeu qui dépasse la portée du programme; il n'est donc pas possible d'adopter des mesures d'atténuation.

78. Par l'atteinte de ses résultats immédiats et intermédiaires ou sa contribution, la GGPSA a participé à l'atteinte son résultat final. Il est toutefois impossible de déterminer sa contribution différentielle compte tenu que d'autres programmes de TPSGC contribuent aux résultats finaux.

Efficience et économie

79. La démonstration de l'efficience et de l'économie se définit comme étant l'évaluation de l'utilisation des ressources relativement à la production des extrants et des résultats. L'efficience renvoie à la capacité à utiliser les ressources de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. L'économie correspond à la réduction des ressources utilisées. Un programme fait preuve d'une économie et d'une efficience démontrables élevées lorsque les ressources optimisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée.

Efficience

80. La présente section est axée sur l'efficience, mesurée selon que la GGPSA est ou non en mesure de fournir un soutien aux groupes pluricellulaires à un coût inférieur par rapport aux groupes pluricellulaires pour lesquelles les services de soutien ne sont pas fournis par la GGPSA.

81. C'est la taille des ministères qui détermine les frais d'adhésion annuels permettant de devenir membre des groupes pluricellulaires, particulièrement le nombre d'équivalents temps plein représentés par chaque organisation. D'après une évaluation des frais d'adhésion de deux groupes pluricellulaires où une comparaison a pu être effectuée, le Système d'information sur les ressources humaines et FreeBalance, l'évaluation a mis en lumière que le coût moyen par équivalent temps plein était inférieur dans les grands ministères (170 $ et 30 $, respectivement) et plus élevé dans les petits ministères et organismes (204 $ et 37 $, respectivement) et les très petites organisations (684 $ et 284 $, respectivement). Cela laisse à penser qu'en raison de leur taille, les grandes organisations sont mieux placées pour réaliser des gains en efficience.

82. Une tendance semblable a été observée dans les systèmes qui ne relèvent pas de la GGPSA (Système financier ministériel commun (SFMC), Oracle et G/X) bien qu'une comparaison directe des coûts avec la GGPSA de l'ISP n'ait pu être effectuée en raison de différences dans la portée et l'échelle des services fournis par ces groupes. Ainsi, le SFMC est une instance unique de système de production dont l'hébergement est centralisé. Il remplit deux fonctions : 1) hôte pour le receveur général – grand livre général du système de la paye – grand livre général et pension de retraite et 2) groupe pluricellulaire du système de gestion des finances et du matériel ministériel approuvé par le Conseil du Trésor. Cette double fonction produit des synergies et de l'efficience au niveau des opérations du groupe pluricellulaire du SFMC qui ne se retrouvent dans aucun autre groupe pluricellulaire. Dans l'intervalle, dans les groupes pluricellulaires Oracle et G/X, les fournisseurs ainsi que les ministères et les organismes jouent un rôle plus important pour organiser ou fournir les services (gestion des licences, essai de produits et soutien technique) qui sont actuellement offerts par les groupes pluricellulaires de la GGPSA. Les différences entre la nature des services limite les possibilités de comparer directement les coûts entre les services de soutien des groupes pluricellulaires fournis par l'ISP et les autres.

Économie

83. L'économie a été mesurée par la capacité de recouvrement des coûts de la GGPSA et la capacité de réduction des coûts pour ses clients.

84. La GGPSA finance ses opérations grâce à des recettes qui peuvent de nouveau être dépensées; celle-ci sont générées par des services offerts aux ministères et organismes fédéraux. Pour ce qui est du recouvrement des coûts, la figure 2 indique que la GGPSA a recouvré ses coûts au cours des exercices de 2008-2009 à 2011-2012, les recettes couvrant 99 % des dépenses des exercices 2008-2009 à 2010-2011 et 101 % au cours de l'exercice 2011-2012. Des pertes mineures ont été enregistrées au cours des exercices 2008-2009, 2009-2010 et 2010-2011; la GGPSA a généré un léger excédent au cours de l'exercice 2011-2012.

Sommaire du tableau

La figure 2 indique les recettes, les dépenses ainsi que l'excédent ou la perte de la GGPSA en 2008-2009, 2009-2010, 2010-2011 et 2011-2012. Le Secteur de l'intégration des services partagés de la Direction générale des services intégrés de TPSGC a fourni les données.

En 2008-2009, les recettes et les dépenses de la GGPSA totalisaient 29 465 443 $ et 29 668 762 $, respectivement, ce qui a entraîné une perte de 203 319 $. En 2009-2010, les recettes et les dépenses de la GGPSA totalisaient 23 602 900 $ et 23 810 100 $, respectivement, ce qui a entraîné une perte de 207 200 $. En 2010-2011, les recettes et les dépenses de la GGPSA totalisaient 24 280 928 $ et 24 533 882 $, respectivement, ce qui a entraîné une perte de 252 954 $. Enfin, en 2011-2012, les recettes et les dépenses de la GGPSA totalisaient 24 222 438 $ et 23 932 205 $, ce qui a entraîné un excédent de 290 233 $.

Figure 2 : Recettes et dépenses annuelles de la GGPSA^{Note 13}

	2008-2009	2009-2010	2010-2011	2011-2012
Recettes	29 465 443	23 602 900	24 280 928	24 222 438
Dépenses	29 668 762	23 810 100	24 533 882	23 932 205
Excédent/(perte)	(-203 319)	(-207 200)	(-252 954)	290 233

Source : BD : 2.10.01.04. ISP – Situation financière globale 2011-2012.
Source : BD : 2.10.01.02 Intégration des services partagés – Budget de 2008-2009 à 2010-2011.

85. Le modèle de services regroupés utilisé ne permet pas d'établir de corrélation entre les services reçus par les membres de chaque groupe pluricellulaire et les frais d'adhésion aux groupes pluricellulaires; ainsi, il est impossible d'évaluer la réduction des coûts pour chaque client. Globalement, les clients pensent que la GGPSA optimise les ressources pour les services qu'elle offre.

86. Dans le cadre du processus annuel de planification d'affaires de chaque groupe pluricellulaire, les initiatives éventuelles sont recensées pour être analysées par les membres des groupes pluricellulaires. Les membres des groupes pluricellulaires approuvent un plan d'affaires annuel; le financement des initiatives que le plan englobe découle des frais qui figurent au protocole d'entente. Ces frais sont calculés selon la moyenne pondérée établie en fonction de la taille du client plutôt que selon les initiatives et les services auxquels le ministère aura directement accès ou dont il bénéficiera en cours d'année. Parmi les répondants au sondage du BVE auprès des clients, environ la moitié d'entre eux déclare que la GGPSA optimise les ressources (55 % sont satisfaits ou très satisfaits [72/130]).

Conclusions : Efficience et économie

87. D'après un examen des frais d'adhésion de deux groupes pluricellulaires où il a été possible de procéder à une comparaison, les frais d'adhésion par équivalent temps plein sont inférieurs pour les grands ministères, vraisemblablement en raison des gains en efficience que leur taille génère.

88. L'évaluation a permis de constater que la GGPSA recouvre ses coûts. Environ la moitié des clients sont satisfaits de l'optimisation des ressources de la GGPSA.

Autres modes de prestation

89. Les autres modes de prestation possibles sont examinés dans cette section du rapport en tant que moyens pour atteindre les résultats du programme et réduire les coûts de celui-ci. Les autres modes de prestation examinés sont les suivants : hébergement, impartition de la GGPSA au secteur privé ou à d'autres ministères fédéraux.

90. Pour les ministères et les organismes qui maintiennent leur propre instance de l'un des cinq systèmes administratifs approuvés par le Conseil du Trésor, il n'y a actuellement aucun autre fournisseur pour les services fournis par la GGPSA. Les organismes fédéraux qui veulent avoir accès à l'un de ces cinq systèmes administratifs ont deux options : 1) implanter et maintenir leur propre système, frais d'adhésion aux groupes pluricellulaires et ainsi avoir accès à la GGPSA ou 2) participer à des accords d'hébergement où un ministère utilise le système d'un autre ministère plutôt que d'implanter et maintenir le sien.

91. Des accords d'hébergement (ministère ayant accès au système d'un autre ministère, habituellement moyennant des frais, plutôt que d'implanter son propre système) constituent, pour certains ministères et organismes, particulièrement les plus petits, une solution de rechange aux frais d'adhésion à des groupes pluricellulaires, mais, de façon générale, ne constituent pas une solution de rechange à la GGPSA. Les organisations hébergées ne participent pas aux comités des groupes pluricellulaires de systèmes ni aux autres fonctions de gouvernance. Grâce à l'hébergement, les ministères membres des groupes pluricellulaires fonctionnent comme des fournisseurs de services partagés et proposent aux ministères hébergés de nombreux services semblables à ceux qu'ils reçoivent de la GGPSA (gestion des incidents et des problèmes, gestion des versions déployées et conception des systèmes, services de développement et essai) parallèlement à un accès au système administratif. Des accords d'hébergement peuvent s'avérer plus économiques que la maintenance d'une instance distincte parce que le coût total d'implantation et de maintenance d'un système peut être évité. Selon l'analyse de rentabilisation entreprise pour un ministère, l'implantation d'une instance unique d'un système coûterait 5 200 $ par équivalent temps plein, contre 3 340 $ par équivalent temps plein pour son hébergement.

92. L'hébergement prévaut et la participation augmente : 50 % (55/109) des ministères et des organismes étaient hébergés en 2008-2009 contre 60 % (71/119) en 2011-2012, même s'il s'agit essentiellement de petits et très petits ministères qui représentent une petite partie des employés de la fonction publique fédérale. Depuis 2006-2007, la plupart des utilisateurs de systèmes administratifs approuvés par le Conseil du Trésor sont de petites ou très petites organisations auxquelles l'hébergement permet de donner accès. Ainsi, des solutions d'hébergement comblent les besoins des petits ministères et organismes. Cependant, les grands ministères qui hébergent ces organisations continuent d'avoir recours à la GGPSA, ce qui indique que le programme dessert indirectement les organisations hébergées.

93. La sous-traitance avec le secteur privé a aussi été explorée. La GGPSA compte beaucoup sur les experts-conseils (au nombre de 35, alors que l'effectif total de l'ISP est de 102^{Note 14}) pour mener ses activités. Certaines personnes interrogées et les répondants au sondage du BVE auprès des clients considèrent que la majeure partie de l'expertise nécessaire provient de ces experts-conseils. L'examen des études de cas a permis de démontrer que d'autres pays comptent souvent, de manière importante, sur les experts-conseils et que le recours à ces derniers pour la prestation des systèmes partagés a donné des résultats variables : des économies réalisées dans certains cas (Royaume-Uni) et des dépassements de coûts dans d'autres (Australie). Il convient de noter que certaines activités, comme l'approvisionnement en systèmes administratifs, ne peuvent être confiées au secteur privé.^{Note 15}

94. La prestation de services par d'autres ministères a aussi été examinée. Nous avons constaté qu'aucune organisation fédérale n'a actuellement la capacité ou le mandat d'assurer la prestation de la GGPSA. Une étude menée par Pricewaterhouse Coopers pour le compte de TPSGC, dans la cadre du programme de normalisation du gouvernement du Canada, indique que la centralisation des applications utilisées par le gouvernement fédéral pourrait faciliter la normalisation et générer des économies de coûts pour le gouvernement du Canada.

Conclusions : Autres modes de prestation

95. Il existe actuellement peu de solutions de remplacement à la GGPSA. Pour certains ministères et organismes, les arrangements d'hébergement représentent un autre mode d'accès aux groupes pluricellulaires de systèmes, comme le montre leur nombre important, mais ils ne représentent pas une solution de remplacement à la GGPSA. Bien qu'on fasse appel au secteur privé pour aider à la prestation de la GGPSA, certaines activités ne peuvent lui être confiées. Aucune organisation fédérale n'a actuellement la capacité ou le mandat d'assurer la prestation de la GGPSA.

Conclusions : Rendement

96. La GGPSA a fait des progrès dans la réalisation de la plupart de ses résultats. La GGPSA donne accès, à ses clients, à des systèmes administratifs dotés de fonctionnalités améliorées. La GGPSA a contribué à la normalisation des systèmes en s'occupant de l'approvisionnement et du soutien des systèmes administratifs approuvés par le SCT. La GGPSA a aussi contribué à l'atteinte du résultat lié à l'augmentation du partage et de la collaboration au sein des groupes pluricellulaires de systèmes, et de la confiance des clients dans l'information et les données générées par les systèmes soutenus par la GGPSA. Les clients ont déclaré que, grâce aux services de la GGPSA, ils avaient réussi à réduire leurs risques.

97. L'évaluation n'a pas permis de conclure que le résultat immédiat visant la réalisation d'économies ou d'évitement de coûts en raison d'économies d'échelle. Les économies réalisées ou l'évitement de coûts attribuables à la création de la GGPSA ne peuvent pas être confirmés en raison de l'absence de données sur les coûts antérieurs et postérieurs à la participation, à titre de membre, aux groupes pluricellulaires. En raison du nombre de systèmes personnalisés utilisés par les clients, les prévisions relatives aux économies réalisées ou à l'évitement de coûts escomptés liés à la GGPSA doivent probablement être révisées en baisse.

98. Par l'atteinte de ses résultats immédiats et intermédiaires, la GGPSA a contribué à l'atteinte de son résultat final. Toutefois, il n'est pas possible de déterminer sa contribution différentielle par rapport à la contribution des autres programmes dans l'atteinte des résultats finaux.

99. Les bureaux des groupes pluricellulaires ont satisfait à l'exigence de recouvrement des coûts. Environ la moitié des clients sont satisfaits de l'optimisation des ressources que leur offre la GGPSA.

100. Il existe actuellement peu de solutions de remplacement à la GGPSA. Le modèle de prestation actuel comprend le recours aux instances du secteur privé et les arrangements d'hébergement entre les ministères et les organismes. L'évaluation n'a pas permis de trouver une autre organisation fédérale qui a la capacité ou le mandat d'offrir les services de GGPSA.

Conclusions générales

101. Il existe un besoin continu pour la gestion des groupes pluricellulaires de systèmes administratifs. TPSGC a créé la GGPSA pour répondre à un besoin de soutien opérationnel stable et fiable des groupes pluricellulaires de systèmes. La raison d'être initiale de la GGPSA demeure la même puisque des groupes pluricellulaires de systèmes sont toujours en place et que ces systèmes nécessitent un soutien stable et fiable pour assurer leur fonctionnement. De plus, la priorité accrue donnée à la normalisation des systèmes dans l'administration fédérale a créé un deuxième besoin que la GGPSA doit aussi satisfaire. La demande de services devrait augmenter au cours des années à venir alors que les organisations fédérales adhéreront de plus en plus aux groupes pluricellulaires des systèmes administratifs de la GGPSA.

102. La GGPSA s'harmonise avec le résultat stratégique de TPSGC et les initiatives de modernisation et de regroupement de l'administration fédérale. Le transfert des responsabilités de la GGPSA à un autre ordre de gouvernement ou au secteur privé n'est pas approprié et probablement irréalisable. Bien que les ministères soient responsables du soutien apporté à leurs systèmes administratifs, l'équipe d'évaluation n'a pas pu trouver d'organisation qui a la responsabilité de veiller à ce que les ministères aient accès à des services de soutien. Le mandat de TPSGC comme fournisseur de services communs facultatifs pour l'acquisition de systèmes de soutien de la gestion de l'information lui permet de jouer le rôle de fournisseur de services auprès des groupes pluricellulaires des systèmes administratifs.

103. La GGPSA a réalisé des progrès relativement à l'atteinte de la plupart de ses résultats attendus. Des fonctionnalités administratives améliorées ont été livrées, comme l'indiquent le déploiement des versions des systèmes, le respect des engagements relatifs à l'amélioration des systèmes et le fait que les clients considèrent que la GGPSA fournit des fonctionnalités améliorées. La normalisation accrue des systèmes utilisés dans les ministères et les organismes fédéraux est maintenant considérée comme une priorité de la GGPSA (comme le montrent plusieurs projets et initiatives). La GGPSA a aussi contribué à l'atteinte du résultat lié à l'augmentation du partage et de la collaboration au sein des groupes pluricellulaires de systèmes, et de la confiance des clients dans l'information et les données générées par les systèmes soutenus par la GGPSA. Les clients ont déclaré que, grâce aux services de la GGPSA, ils avaient réussi à réduire leurs risques.

104. Selon les estimations du Secrétariat du Conseil du Trésor, la GGPSA a contribué à la réalisation d'économies ou d'évitement de coûts, mais l'équipe d'évaluation n'a pas pu évaluer les économies ou les coûts potentiels en raison de l'absence de données sur les coûts antérieurs et postérieurs à la réception des services offerts par la GGPSA. De plus, les économies de coûts réalisées éventuellement par la centralisation des services de soutien pourraient être compensées par les coûts d'autres pratiques, comme la personnalisation des systèmes des ministères et des organismes fédéraux.

105. Bien que la GGPSA ait contribué à l'atteinte des résultats finaux de TPSGC, sa contribution différentielle n'a pas pu être établie puisque d'autres programmes de TPSGC contribuent aussi à ses résultats finaux.

106. L'équipe d'évaluation a constaté que la GGPSA recouvre ses coûts. Environ la moitié des clients sont satisfaits de l'optimisation des ressources que leur offre la GGPSA.

107. L'équipe a trouvé peu de solutions de remplacement à la GGPSA. Pour certains ministères, l'hébergement est une solution de remplacement à la GGPSA viable. Toutefois, les organisations qui ont recours à l'hébergement comptent indirectement sur la GGPSA, puisque le ministère qui héberge les systèmes d'une organisation reçoit les services de la GGPSA. L'évaluation n'a pas permis de trouver une autre organisation fédérale qui a la capacité ou le mandat d'assurer la prestation de la GGPSA.

Recommandation

108. La sous-ministre adjointe de la Direction générale des services intégrés devrait clarifier les extrants et les résultats prévus du programme et élaborer en conséquence un cadre de stratégie de mesure du rendement pour l'évaluation de ceux-ci^{Note 16}.

Réponse de la gestion

La Direction générale des services intégrés est d'accord avec cette recommandation.

Pour mieux mesurer l'incidence du programme, le Secteur de l'intégration des services partagés élaborera, en consultation avec les intervenants concernés, une stratégie de mesure du rendement. Les tâches à cet égard sont les suivantes :

1. examiner le modèle logique actuel et les résultats prévus

2. établir les indicateurs de rendement pertinents et la méthodologie pour les mesurer

3. se doter d'une stratégie d'établissement de rapports et d'outils de surveillance.

Annexe A : À propos de l'évaluation

Autorité

La sous-ministre de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation, qui est recommandée par le Comité de vérification et d'évaluation dans le cadre de son Plan de vérification et d'évaluation axé sur les risques de 2011–2016.

Objectifs

L'évaluation portait sur la GGPSA, qui fait partie du Secteur de l'intégration des services partagés de la Direction générale des services intégrés. Elle avait deux objectifs :

• déterminer la pertinence du programme : déterminer s'il répond à un besoin continu, s'il s'harmonise avec les priorités gouvernementales et s'il est conforme aux rôles et aux responsabilités du gouvernement fédéral;

• mesurer le rendement du programme : déterminer s'il a atteint les résultats prévus et s'il fait preuve d'efficience et d'économie.

Méthode

L'évaluation a été réalisée conformément aux Normes d'évaluation pour le gouvernement du Canada. Elle s'est déroulée de juin 2011 à septembre 2012, en trois étapes : planification, examen et rapport. Pour évaluer les enjeux et les questions, nous avons utilisé les sources de données suivantes :

1. Examen des documents : Un examen initial des documents a permis de mieux comprendre le programme et son contexte afin de faciliter la planification. Les documents examinés comprennent ceux fournis par les responsables du programme et ceux rédigés sur le programme. Les documents examinés comprennent les textes législatifs et les documents sur les politiques; les demandes de financement; les études de cas; les plans annuels et pluriannuels; les protocoles d'entente; les documents ministériels comme les rapports sur les plans et priorités et les rapports ministériels sur le rendement.

2. Analyse documentaire : Une analyse documentaire a permis de mettre le programme dans le contexte national et international, de déterminer le fondement théorique du modèle adopté par le programme, de fournir une base de données comparatives aux fins d'évaluation et de cerner d'autres modes de prestation grâce à l'analyse d'autres administrations.

3. Entrevues : L'équipe d'évaluation a mené des entrevues auprès de gestionnaires et du personnel de TPSGC (4), de clients de la GGPSA (4), de membres d'autres groupes pluricellulaires et du personnel de programmes à l'extérieur du Secteur de l'intégration des services partagés (4) et des membres d'organismes centraux (3). Les personnes interrogées ont donné des renseignements sur les activités, les extrants, les résultats prévus, les intervenants, la pertinence et le rendement du programme. L'analyse qualitative des entrevues a permis d'obtenir de l'information sur les activités, les extrants, les résultats prévus, les intervenants, la pertinence et le rendement du programme, du point de vue des gestionnaires du programme, des ministères clients et d'autres intervenants. Des guides d'entrevue ont été utilisés.

4. Études de cas : L'expérience d'autres administrations ont été évaluées dans le cadre d'études de cas. Des États australiens et le Royaume-Uni ont été choisis en raison de leurs pratiques variées dans le domaine et de la grande quantité de rapports et d'études disponibles dans ces administrations. Chaque étude de cas comprend l'examen de documents, de données financières et une analyse documentaire.

5. Sondage auprès des clients de la GGPSA et sondage auprès de clients potentiels : Deux sondages par voie électronique ont été effectués.

   Sondage auprès des clients de la GGPSA. Le sondage mené auprès des clients de la GGPSA visait à obtenir des données sur divers points; la satisfaction des clients concernant les services de soutien fournis par la GGPSA; les caractéristiques des groupes pluricellulaires de systèmes; l'atteinte des résultats et la mesure dans laquelle la GGPSA y a contribué. Le sondage a été envoyé à 639 représentants ministériels qui font partie des conseils de gouvernance, des comités ou des groupes de travail des groupes pluricellulaires. Au total, 386 réponses ont été reçues, soit un taux de réponses recevables de 60 %. Le taux de réponse varie selon les questions, puisque certains répondants au sondage n'étaient pas en mesure de répondre à toutes les questions ou que toutes les questions ne leur ont pas été posées.

   Sondage auprès d'autres groupes pluricellulaires de GGPSA : Le sondage mené auprès de groupes pluricellulaires de GGPSA à l'extérieur de l'ISP (Système financier ministériel commun, G/X et Oracle) visait à obtenir des données sur les caractéristiques de ces groupes pluricellulaires aux fins de comparaison avec la GGPSA de l'ISP, et à évaluer le rendement de la GGPSA de l'ISP par rapport à celui d'autres groupes pluricellulaires de GGPSA. Le sondage a été envoyé à 84 membres de comités des groupes pluricellulaires et du personnel de programmes. Au total, 38 réponses ont été reçues, soit un taux de réponses recevables de 45 %. Le taux de réponse varie selon les questions, puisque certains répondants au sondage n'étaient pas en mesure de répondre à toutes les questions ou que toutes les questions ne leur ont pas été posées.

Limites de la méthodologie

1. Examen des documents : Il y a un manque de données sur les coûts antérieurs et postérieurs à l'implantation des systèmes de la GGPSA, en raison de l'absence de rapports centralisés sur les coûts des systèmes ministériels de gestion des ressources humaines, de gestion financière et de gestion du matériel. Il n'est pas possible de faire un examen des coûts ministériels antérieurs et postérieurs à la participation, à titre de membre, à un groupe pluricellulaire en raison des coûts d'implantation d'un nouveau système.

   De plus, les coûts supplémentaires des membres d'un groupe pluricellulaire autres que les frais d'adhésion au groupe pluricellulaire (comme les coûts des licences, les honoraires des experts-conseils et les coûts des équipes ministérielles de soutien technique) ne sont pas l'objet d'un suivi par la GGPSA de l'ISP ou d'autres groupes pluricellulaires de GGPSA. Par conséquent, la figure 2 donne une représentation incomplète des coûts totaux engagés par les ministères fédéraux.

2. Sondage : L'échantillon utilisé pour les sondages comprenait des organisations dont les systèmes étaient hébergés par un autre ministère, de sorte que ces organisations ne reçoivent pas directement des services de GGPSA et qu'elles ne sont probablement pas informées des services offerts par les bureaux de programme. La population des utilisateurs de systèmes de la GGPSA de l'ISP comprend divers groupes de travail et comités. Tous les membres de ces groupes ne sont pas nécessairement familiarisés avec la GGPSA en raison de la nature technique de leur rôle au sein de ces groupes.

   L'échantillon pour le sondage auprès d'autres groupes pluricellulaires de GGPSA était beaucoup plus petit que celui du sondage auprès des clients de la GGPSA de l'ISP, en raison de la structure de gouvernance moins étendue et moins formelle (dans la plupart des cas) de ces groupes pluricellulaires. Par conséquent, la signification statistique des résultats de ce sondage n'est pas aussi solide que pour le sondage des clients de l'ISP.

Établissement du rapport

Nous avons consigné nos constatations dans une ébauche du rapport du directeur, qui a été examinée par la fonction de l'examen de la qualité du Bureau de la vérification et de l'évaluation. Cette ébauche a ensuite été transmise au directeur général du Secteur de l'intégration des services partagés (ISP), à qui on a demandé de valider les faits et commenter le contenu. Par la suite, une ébauche du rapport de la dirigeante principale de la vérification et de l'évaluation a été préparée et transmise à la sous-ministre adjointe des Services intégrés de TPSGC, aux fins d'acceptation à titre de bureau de première responsabilité. Ce dernier devait également répondre par un plan d'action de la gestion. L'ébauche du rapport final, incluant le plan d'action de la gestion, a été présentée au Comité de vérification et d'évaluation de TPSGC pour être approuvée par la sous-ministre. Le rapport final sera soumis au Secrétariat du Conseil du Trésor et affiché sur le site Web de TPSGC.

Équipe de projet

L'évaluation a été effectuée par des employés du Bureau de la vérification et de l'évaluation, sous la supervision du directeur de l'évaluation et sous la direction générale de la dirigeante principale de la vérification et de l'évaluation. L'évaluation a été passée en revue par la fonction d'examen de la qualité du Bureau de la vérification et de l'évaluation.

Annexe B

Sommaire du tableau

Ce tableau présente la matrice d'évaluation des services d'administration des pensions de TPSGC. La matrice d'évaluation présente les éléments de l'évaluation, les questions, les indicateurs de rendement et les sources de données.

Grille d'évaluation^{Note 17}

Enjeu/Question	Mesure de rendement	Source d'information/ Méthode
PERTINENCE
Les ministères et organismes fédéraux ont-ils un besoin continu : de services de soutien pour l'exploitation de certains groupes pluricellulaires de systèmes administratifs? de services de RH partagés?	Systèmes partagés
	1.1) Ministères et organismes appartenant à un groupe pluricellulaire de l'intégration des services partagés (ISP) (nombre et pourcentage de la population totale de l'administration publique) comparés aux autres	Examen des documents
	1.2) Adhésion actuelle vs adhésion prévue (d'ici deux ans) à un groupe pluricellulaire de l'ISP Pourcentage de changement dans l'adhésion à un groupe pluricellulaire de l'ISP sur cinq ans Nombre de nouveaux membres et de membres ayant mis fin à leur adhésion Évaluation des conditions et tendances susceptibles d'influencer le besoin de services partagés	Examen des documents Consultations avec les intervenants
	1.3) Engagements législatifs et administratifs visant la prestation d'un soutien de programme aux groupes pluricellulaires de systèmes administratifs	Examen des documents
	1.4) Points de vue des principaux répondants et des clients actuels et potentiels sur la question du besoin continu	Sondage Consultations avec les intervenants
	Services de RH partagés
	1.5) Importance de la demande de services de RH partagés (nombre de clients et pourcentage de la population totale des petits ministères et organismes)	Examen des documents Rapport sur le rattachement des populations
	1.6) Proportion des clients actuels ne constituant pas de nouveaux clients	Examen des documents
	1.7) Estimation de la part de marché relative des services de RH partagés	Examen des documents Rapport sur le rattachement des populations
	1.8) Preuves de défis permanents pour les petits ministères et organismes souhaitant préserver leur capacité interne en matière de RH	Examen des documents Consultations avec les intervenants
	1.9) Points de vue des principaux intervenants et des clients à ce sujet	Consultations avec les intervenants
La prestation : du soutien de gestion de programmes par des groupes pluricellulaires de systèmes administratifs de services partagés en RH s'harmonise-t-elle avec les priorités du gouvernement et les résultats stratégiques du ministère?	2.1) Mesure de l'harmonisation du programme de l'ISP avec les résultats stratégiques du ministère	Examen des documents
	2.2) Points de vue des principaux intervenants	Consultations avec les intervenants
	2.3) Mesure de l'harmonisation de l'ISP avec les priorités du gouvernement concernant l'efficience administrative	Examen des documents
La prestation : du soutien de gestion de programmes par des groupes pluricellulaires de systèmes administratifs de services partagés en RH est-elle compatibles avec les rôles et les responsabilités du gouvernement fédéral et de TPSGC?	3.1) Clarté de la loi, des politiques et autres documents qui définissent les rôles et les responsabilités de TPSGC quant aux services et aux systèmes partagés	Consultations avec les intervenants Examen des documents
	3.2) Mesure dans laquelle le rôle de TPSGC en matière de services et de systèmes partagés est conforme à la raison d'être initiale de la politique	Consultations avec les intervenants Sondage
RENDEMENT – Atteinte des résultats
Le programme d'Intégration des services partagés (ISP) donne-t-il les résultats prévus?
Les clients profitent de fonctionnalités administratives améliorées	4.1) Satisfaction des clients à l'égard des fonctionnalités améliorées	Examen des documents Sondage
	4.2) Nombre de programmes correctifs, mises à jour, améliorations et versions déployées offertes aux clients	Consultations avec les intervenants Sondage
Les clients utilisent des systèmes et des processus administratifs uniformes, conformes aux exigences du Conseil du Trésor	4.3) Taux d'utilisation des programmes correctifs, mises à jour, améliorations et versions déployées chez les clients	Examen des documents
	4.4) Nombre et pourcentage de ministères clients utilisant la configuration de système la plus récente	Examen des documents
Le partage d'information et la collaboration se sont accrus entre les clients	4.5) Preuves de transfert de connaissances ou d'expérience entre les groupes pluricellulaires de l'ISP	Entrevues avec les membres des groupes pluricellulaires Sondage
Les petits ministères et organismes utilisent des services et des processus normalisés et partagés en matière de ressources humaines	4.6) Nombre de petits ministères et d'organismes ayant recouru à des services de RH partagés	Examen des documents
	4.7) Satisfaction des clients	Sondage
Les ministères clients font état d'économies d'échelle attribuables aux économies réalisées ou à l'évitement de coûts	4.8) Économies attribuables à l'adhésion à un groupe pluricellulaire de l'ISP (approvisionnement, achat de licences, développement, essai et maintenance de produits, soutien de programme)	Examen des documents Consultations avec les intervenants Analyse des économies réalisées ou de l'évitement de coûts
	4.9) Estimation de l'évitement de coûts attribuables aux services de RH partagés	Examen des documents Consultations avec les intervenants Analyse des économies réalisées ou de l'évitement de coûts
Les clients et les organismes centraux font davantage confiance à l'information sur les finances, le matériel et les ressources humaines dans leur prise de décisions et la préparation de leurs rapports	4.10) Opinions sur la capacité des systèmes administratifs normalisés à améliorer l'information	Consultations avec les intervenants
Réduction des risques chez les clients	4.11) Degré de confiance des clients et des organismes centraux quant au fait que l'utilisation de systèmes administratifs normalisés entraîne une réduction des risques	Consultations avec les intervenants
Les organisations fédérales ont accès à des services de RH et de soutien des systèmes administratifs ministériels, de grande qualité, en temps opportun et rentables, et contribuant à améliorer l'efficacité et la gestion de la fonction publique	4.12) Mesure de la capacité des organismes fédéraux à avoir accès à un soutien pour les systèmes administratifs de l'ISP et les services de RH	Consultations avec les intervenants
	4.13) Expérience des organismes fédéraux en matière d'utilisation des systèmes administratifs de l'ISP et du soutien connexe, et des services de RH	Consultations avec les intervenants
	4.14) Connaissance des services de l'ISP et des avantages qu'ils représentent chez les ministères et organismes de petite taille (n'appartenant pas à un groupe pluricellulaire)	Consultations avec les intervenants Sondage
Les clients du programme de l'ISP reçoivent-ils des services de qualité, en temps opportun et rentables?	5.1) Évaluation par les clients de la qualité du service par rapport à la qualité offerte par les autres fournisseurs	Consultations avec les intervenants Sondage
RENDEMENT – Démonstration d'efficience et d'économie
Y a-t-il d'autres moyens d'obtenir les mêmes résultats à un coût inférieur?	Systèmes partagés
	6.1) Existence d'autres moyens d'obtenir un soutien de programme et utilisation de ces moyens par les groupes pluricellulaires de systèmes administratifs.	Études de cas Consultations avec les intervenants Sondage
	6.2) Expérience des ministères et organismes qui ne sont pas membres d'un groupe pluricellulaire de l'ISP	Études de cas Consultations avec les intervenants Sondage
	6.3) Perceptions des clients en ce qui concerne l'évitement de coûts et les conséquences de leur appartenance à un groupe pluricellulaire de l'ISP sur leurs coûts totaux	Études de cas Consultations avec les intervenants Sondage
	6.4) Coût du soutien de programme des organismes n'appartenant pas à un groupe pluricellulaire de l'ISP	Études de cas Consultations avec les intervenants Sondage
	Services partagés en RH
	6.5) Chevauchement avec d'autres services fédéraux	Consultations avec les intervenants Examen des documents
	6.6) Estimation des économies d'échelle que représente pour les petits ministères et organismes le recours à l'ISP en RH	Consultations avec les intervenants Examen des documents
	6.7) Coût journalier de l'ISP par rapport aux honoraires des experts-conseils du secteur privé	Consultations avec les intervenants Examen des documents