2009-602 Évaluation du secteur d'activité des services de télécommunications des Services partagés de TI (Rapport final)
Le 24 mars 2011
Table des matières
- Principaux points
- Introduction
- Profil du programme
- Objet de l'évaluation
- Constatations et conclusions
- Conclusions générales
- Réponse de la direction
- À propos de l'évaluation
- Annexe A : Matrice d'évaluation
Principaux points
Points examinés
Les services partagés de technologie de l'information (SPTI) de Travaux publics et Services gouvernementaux Canada (TPSGC) fournissent des services de technologie de l'information (TI) aux ministères et aux organismes du gouvernement du Canada dans quatre secteurs d'activité : services de télécommunications, services des centres de données, services d'informatique répartie et services de sécurité de la TI. Ce rapport présente les résultats de l'évaluation du secteur d'activité des Services de télécommunications (le programme) des SPTI, qui offre un éventail de services de transmission de données et de services téléphoniques divisés en services d'infrastructure de réseau de données et en services de réseau téléphonique.
Importance
Les services de télécommunications fournissent des outils de télécommunications opérationnels de base (services téléphoniques et de transmission de données) aux ministères et aux organismes fédéraux, à l'appui de leur programme approuvé. Ils permettent de réaliser des économies de coûts grâce au regroupement des besoins opérationnels et à l'amélioration des processus gouvernementaux, tout en offrant une perspective pangouvernementale sur l'évolution rapide de l'industrie des télécommunications, des technologies connexes et de leur application au gouvernement.
TPSGC est un organisme de services communs en vertu de la Loi sur le ministère des Travaux publics et des Services gouvernementaux. La Politique sur les services communs du Conseil du Trésor stipule que TPSGC est chargé de la fourniture d'une infrastructure et de services de télécommunications aux ministères et organismes fédéraux, ce qui comprend la planification et la construction de l'infrastructure informatique nécessaire à l'appui des services centraux et autres services communs. On a créé les SPTI à la suite de la restructuration, en 2005, de la Direction générale des services d'infotechnologie pour renforcer les capacités de service et établir un centre d'excellence en TI chargé de la prestation de services de TI à l'échelle du gouvernement.
Constatations
Dans l'ensemble, le programme demeure pertinent pour le Ministère et le gouvernement fédéral. TPSGC est un fournisseur de services communs en vertu de la loi, et il est tenu, aux termes de la Politique sur les services communs du Conseil du Trésor, de fournir des services de TI facultatifs, sur demande, aux autres ministères fédéraux. L'évaluation a permis de constater qu'il existe un besoin continu à l'égard des services offerts par le programme, comme le prouvent la demande et l'utilisation continues des ministères clients. L'évaluation a également permis de constater que le programme s'harmonise avec les politiques et les priorités du gouvernement fédéral et de TPSGC. À titre de fournisseur de services de télécommunications aux organismes fédéraux, le programme remplit un rôle approprié et exerce une responsabilité adéquate du gouvernement.
En ce qui a trait au rendement, des progrès considérables ont été accomplis par le programme vers l'atteinte des résultats escomptés. L'évaluation a révélé que l'adoption des services facultatifs offerts par le programme était à la hausse, ce qui a permis de réduire la fragmentation de l'infrastructure des télécommunications dans l'ensemble du gouvernement du Canada. En outre, les clients étaient généralement satisfaits de la qualité des services, même si certains remettaient en question l'optimisation des ressources concernant les services de données. Le programme a été en mesure de démontrer des économies et des réductions de coûts dans le cas de certains services. Lorsqu'il était impossible de quantifier les économies de coûts, on a estimé que les activités du programme avaient permis d'accroître l'efficacité des activités d'approvisionnement, ce qui, au bout du compte, entraîne un apport net sur le plan des coûts. En ce qui concerne la capacité de réduire les risques liés à la TI dans l'exécution du programme, les perceptions des clients n'ont pu être validées en raison du manque de données sur le rendement. Dans l'ensemble, même si le programme possède un solide fondement pour ce qui est des mesures de rendement, il existe des lacunes entre ces mesures du rendement et les indicateurs d'atteinte des résultats.
Le programme n'a pas été en mesure de surveiller, de manière sûre, l'efficacité de ses activités, puisque la méthode d'établissement des coûts au cours de la période d'évaluation ne permettait pas d'affecter les coûts indirects aux facteurs de coûts appropriés. De plus, l'utilisation du processus d'appel d'offres concurrentiel pour obtenir des services de télécommunications auprès du secteur privé n'est pas assez robuste pour être utilisée à des fins de comparaison des activités.
Le fonds renouvelable à partir duquel est financé le programme a fonctionné, de manière constante, suivant la méthode du recouvrement des coûts tout au long de la période d'évaluation de cinq ans. Comme il existe un service obligatoire dans l'éventail des services offerts par le programme, les exigences de démonstration d'économies étaient quelque peu différentes de celles liées aux services facultatifs. Le programme n'a pas été en mesure de démontrer des économies pour le service obligatoire. Il n'existait pas de méthode alternative viable pour la livraison du programme.
Réponse de la direction
La Direction générale des services d'infotechnologie approuve les recommandations et les conclusions formulées dans le rapport et a l'intention de prendre des mesures par rapport aux recommandations de l'évaluation en mettant en œuvre le plan d'action de la gestion, détaillé comme suit.
Recommandations et Plan d'action de la gestion
Recommandation 1 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait élaborer et mettre en œuvre une méthode d'établissement des coûts conforme aux pratiques exemplaires de l'industrie, en consultation avec le Chef des finances.
- Plan d'action de la gestion 1.1 : Un cadre de comptabilité par activités été élaboré et sera mis en œuvre à la Direction générale des services d'infotechnologie au début de 2011-2012. Cette initiative permettra d'adopter une méthode d'établissement des coûts qui sera, de manière constante, conforme aux pratiques recommandées. Le projet de CAP est harmonisé aux politiques et aux pratiques du Secrétariat du Conseil du Trésor en matière d'établissement des coûts.
- Plan d'action de la gestion 1.2 : La méthode d'établissement des coûts utilisée pour chaque service de télécommunications est décrite et consignée dans un document intégré, de même que les mises à jour à venir. Ce document fournira les détails des résultats escomptés améliorés en ce qui concerne l'application, à chaque service, de la méthode d'établissement des coûts. Ce document amélioré sera passé en revue chaque année pour s'assurer que la méthode d'établissement des coûts de chaque service a été examinée en fonction du cadre de gestion du cycle de vie.
Recommandation 2 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait élaborer et mettre en œuvre une stratégie d'analyse comparative permettant d'assurer des prix concurrentiels à ses clients et de garantir l'optimisation des ressources, en consultation avec le Chef des finances.
- Plan d'action de la gestion 2.1 : La Direction générale des services d'infotechnologie procède actuellement à l'élaboration et à la mise en œuvre d'une stratégie d'analyse comparative afin de garantir des prix concurrentiels à ses clients et d'optimiser les ressources. La stratégie sera mise à jour en fonction des nouveaux éléments du cadre d'analyse comparative, conformément aux normes et aux pratiques exemplaires de l'industrie.
- Plan d'action de la gestion 2.2 : Des points repères seront établis pour tous les services de télécommunications à l'aide des méthodes mises à jour dans le cadre de la stratégie d'analyse comparative de la Direction générale des services d'infotechnologie. Ce processus a pour but de veiller à assurer l'optimisation des ressources pour les ministères et les organismes.
- Plan d'action de la gestion 2.3 : Le processus actuel qui vise à s'assurer que des analyses comparatives sont effectuées périodiquement par des tierces parties pour les services clés sera également amélioré en fonction des besoins du cycle de vie et des demandes relatives au catalogue de produits et services.
Recommandation 3 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait effectuer des analyses des besoins pour chacun des services de transmission de données et élaborer un plan d'action permettant de traiter les questions relatives à l'optimisation des ressources, aux relations avec les clients et à l'adoption de l'ensemble des services de données.
- Plan d'action de la gestion 3.1 : Un document sur la stratégie et les besoins en télécommunications est actuellement mis à jour, et il intégrera une analyse des besoins pour chacun des services de données.
- Plan d'action de la gestion 3.2 : Un plan d'action àjour ou élaboré pour traiter les questions d'optimisation des ressources, de relations avec les clients et d'adoption du portefeuille complet des télécommunications, y compris chacun des portefeuilles des services de données. La première version révisée du document sur la stratégie et les besoins sera terminée cette année, et un processus sera mis en œuvre pour s'assurer que le document est révisé chaque semestre.
Recommandation 4 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait consolider et formaliser la stratégie de mesure du rendement afin de mieux rendre compte des résultats.
- Plan d'action de la gestion 4.1 : La Direction générale des services d'infotechnologie mettra à jour la stratégie de mesure du rendement du Comité des opérations de la Direction générale de la sécurité des TI (CODG) – comité et processus d'établissement de rapports mensuels sur le rendement opérationnel de la DGSTI – afin de fournir de meilleurs rapports sur les résultats. La stratégie continuera d'être harmonisée aux politiques de la Direction du dirigeant principal de l'information (DDPI) du Secrétariat du Conseil du Trésor (SCT) et de se conformer aux normes et aux pratiques exemplaires de l'industrie.
- Plan d'action de la gestion 4.2 : Le tableau de bord et le rapport sur la mesure du rendement des services de télécommunications seront améliorés, et le Comité des opérations de la Direction générale de la sécurité des TI (CODG) les utilisera, conformément à la stratégie de mesure du rendement de la Direction générale des services d'infotechnologie. Le tableau de bord de la gestion du rendement comprendra les objectifs principaux et les indicateurs de rendement correspondants. Le rapport et le tableau de bord seront examinés régulièrement par le Comité d'examen du portefeuille de produits et le Comité exécutif des produits et des services (CEPS), et feront l'objet d'un rapport.
Introduction
Les SPTI de TPSGC fournissent des services de TI aux ministères et aux organismes du gouvernement du Canada dans quatre secteurs d'activité : services de télécommunications, services des centres de données, services d'informatique répartie et services de sécurité de la TI. Ce rapport présente les résultats de l'évaluation du secteur d'activité des Services de télécommunications (le programme) des SPTI. Le Comité de vérification et d'évaluation de TPSGC a approuvé la présente évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques de 2009-2010 à 2013-2014.
Profil du programme
Contexte
Les services de télécommunications comprennent les services de transmission de données et les services téléphoniques offerts au sein d'une organisation. Les services de réseau de données comprennent la fourniture et le soutien permanent des réseaux de données et de communication électroniques, y compris tous les logiciels de même que le câblage, les commutateurs, les concentrateurs, les routeurs et tout autre matériel nécessaire au soutien de la communication de données entre les appareils informatiques. Les services de communication vocale englobent la prestation des services locaux et interurbains dans leur ensemble, de même que des services de transmission par télécopieur, de messagerie vocale, de vidéoconférence, de cryptophonie et autres services connexes, y compris tous les environnements logiciels et matériels des entreprises de télécommunications.
Les dépenses en matière de télécommunications, à l'exception des salaires, ont totalisé environ 1,18 milliard de dollars en 2008-2009. Depuis 2006-2007, l'augmentation des dépenses de télécommunications du gouvernement fédéral a été de plus du double (9,5 %) de l'augmentation des dépenses totales du gouvernement fédéral en matière de TI (4,35 %).
En 2005, le Conseil du Trésor a approuvé une initiative de transformation de la planification et du développement des produits, des services, des systèmes et de l'infrastructure de TI en faveur d'une infrastructure de TI pangouvernementale. Le but était d'établir une capacité de soutien grâce à l'établissement d'un centre d'excellence en TI chargé de la prestation de services de TI dans l'ensemble du gouvernement. En octobre 2005, on a restructuré la Direction générale des services d'infotechnologie de TPSGC pour appuyer ces changements et mieux positionner les SPTI en vue de sa croissance à grande échelle.
En 2008, la Direction générale des services d'infotechnologie a élaboré des plans d'affaires quinquennaux pour les SPTI et le Fonds renouvelable des Services communs de télécommunications et d'informatique, à partir duquel fonctionne le programme (voir la section « Ressources »). L'un des buts des SPTI était d'établir un ensemble pangouvernemental d'infrastructure et de services de télécommunications communs permettant d'éliminer les dédoublements et d'assurer un modèle plus efficace de prestation des services de télécommunications.
Ressources
Les SPTI fonctionnent suivant le principe de recouvrement des coûts. Au moment de l'évaluation, le secteur d'activité des télécommunications était le seul à fonctionner entièrement à partir du Fonds renouvelable des Services communs de télécommunications et d'informatique, les trois autres fonctionnant principalement suivant la méthode du crédit net. Par exemple, en 2008-2009, 94 % des recettes (221 millions de dollars) comptabilisées dans le fonds renouvelable provenaient des télécommunications, les 6 % restants (14 millions de dollars) correspondant aux recettes partielles d'autres secteurs d'activité. Pour le même exercice, les autres secteurs d'activité ont cumulé au total 210 millions de dollars de recettes suivant la méthode du crédit net. Au moment de l'évaluation, on prévoyait que le secteur d'activité de la sécurité de la TI fonctionnerait à partir du fonds renouvelable à compter 2009-2010.
Pouvoirs
Le programme est mis en œuvre en vertu de la Loi sur le ministère des Travaux publics et des Services gouvernementaux, qui stipule que
« Le ministère est un organisme de services communs pour le gouvernement, sa mission en tant que tel[le] consistant surtout à fournir aux ministères et organismes fédéraux des services destinés à les aider à réaliser leurs programmes. »
Le programme est également mis en œuvre en vertu de la Politique sur les services communs du Conseil du Trésor, dans le cadre de laquelle TPSGC est désigné comme organisme de services communs. En vertu de l'article 5.2 de la Politique, TPSGC est tenu de fournir une infrastructure et des services de télécommunications au gouvernement fédéral, ce qui comprend la planification et la réalisation d'une infrastructure informatique permettant de soutenir les services centraux et les autres services communs. En outre, en vertu de la Politique sur la gestion des technologies de l'information du Conseil du Trésor, TPSGC est responsable de la gestion et du fonctionnement des services communs et partagés en matière de TI, en consultation avec les ministères et le Secrétariat du Conseil du Trésor du Canada. Tous les services du programme, à l'exception du Réseau de la Voie de communication protégée, sont fournis sur une base optionnelle.
Les services du programme sont financés à l'aide du Fonds renouvelable des Services communs de télécommunications et d'informatique (le fonds renouvelable), de sorte que des pouvoirs supplémentaires sont conférés au ministre des Travaux publics et des Services gouvernementaux. L'article 5.2 (1) de la Loi sur les fonds renouvelables stipule que : « Le ministre des Travaux publics et des Services gouvernementaux peut engager des dépenses sur le Trésor au titre des postes prévus aux alinéas 6g) et 15b) de la Loi sur le ministère des Travaux publics et des Services gouvernementaux. » Aux deux alinéas pertinents de la Loi, les pouvoirs et fonctions du ministre sont définis ainsi :
- alinéa 6(g) : le ministre des Travaux publics et des Services gouvernementaux détient les pouvoirs et fonctions liées à la planification et à la coordination des services de télécommunications pour les ministères et organismes fédéraux;
- alinéa 15(b) : le ministre des Travaux publics et des Services gouvernementaux peut fournir, sur demande des ministères ou organismes fédéraux, des services de gestion de l'information et des services et systèmes liés à l'informatique.
Gouvernance du programme
Au moment de l'évaluation, les SPTI étaient organisés en six fonctions de gestion. Chacune de ces fonctions offrait son soutien aux quatre secteurs d'activité des SPTI, y compris à celui des Services de télécommunications. Après la période d'examen de l'évaluation, les SPTI ont fait l'objet d'une restructuration, mais l'organisation emploie toujours une structure de gouvernance matricielle.
Les SPTI comptent plusieurs groupes de travail et comités chargés de guider les divers aspects des activités. Il y a un comité externe, présidé par le Président-directeur général de la Direction générale des services d'infotechnologie, appelé le « Conseil des services partagés d'infotechnologie ». Les membres en sont généralement les sous-ministres adjoints des services ministériels et de TI d'autres ministères et organismes fédéraux, un représentant du Réseau des administrateurs de petits organismes, le dirigeant principal de l'information et le codirigeant principal de l'information du gouvernement du Canada ainsi que des représentants des universités et des organisations de recherche en TI. Le conseil est un forum où les membres peuvent fournir des conseils et une orientation stratégique au Président-directeur général de la Direction générale des services d'infotechnologie sur les plans d'affaires et les stratégies opérationnelles afin de garantir que ces derniers répondent de façon adéquate aux besoins des clients et du gouvernement du Canada en tant qu'entreprise. Il agit comme organisme principal de surveillance pour le programme de transformation des services partagés de TI en examinant et en déterminant les principaux risques de la stratégie de croissance opérationnelle et du plan de mise en œuvre des services partagés de TI.
Modèles de prestation
Dans le cadre du programme, les services sont fournis suivant les trois modèles, décrits ci-après.
Service en courtage avec majoration : Un contrat est établi par les SPTI avec un fournisseur de services du secteur privé pour la prestation directe des services aux organisations clientes. Le programme facture au client le coût des services fournis (pour le fournisseur de services) majoré pour couvrir les coûts d'administration des SPTI pour le courtage, puis paie le fournisseur de services pour les services fournis. Les services fournis en courtage représentent, pour la plupart, des coûts variables, c'est-à-dire qu'ils varient directement en fonction du volume de production ou d'activité.
Ce modèle s'applique aux services téléphoniques interurbains, aux services de cartes d'appel, au service gouvernemental de téléconférence, aux services téléphoniques sans frais, aux services de réseaux convergents (entreprise et transport), au service de gestion de réseau, aux services de câblage gérés par le gouvernement, au Réseau de la Voie de communication protégéeNote de bas de page 1, aux services fixes par satellite et aux services mobiles par satellite.
Service en courtage sans majoration : Les organisations clientes utilisent des mécanismes d'acquisition établis dans le cadre du programme et payent directement les fournisseurs de services. Ce modèle ne rapporte pas de recettes au programme; certains frais généraux sont recouvrés au moyen des accords sur les niveaux de service.
Le service local et le service de communications sans fil sont regroupés dans les services de base, qui comprennent les coûts directs du programme et certains coûts indirects connexes. Les clients des services du matériel de réseau signent des accords sur les niveaux de service qui prévoient des coûts directs pour le programme ainsi que des coûts indirects.
Service géré à l'interne : Le programme fournit les services et le matériel aux organisations clientes par l'entremise de fonctionnaires et d'experts-conseils. Les services gérés à l'interne représentent pour la plupart des coûts fixes pour le Ministère, c'est-à-dire des coûts qui demeurent assez stables dans l'ensemble, peu importe le volume de production ou d'activité, et ce volume peut être relativement important.
Ce modèle s'applique aux services de télécommunications gérés, au réseau local de TPSGC, au service de réseau métropolitain partagé et au service de contrôle du temps de réponse des applications. Parmi ces services, le réseau local de TPSGC est particulier, car les biens et l'équipement appartiennent au Ministère. Pour les autres services, le programme loue les biens et l'équipement auprès du secteur privé.
Modèle logique
Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme, qui illustre de façon systématique et visuelle la théorie du programme et qui démontre la logique à suivre pour qu'un programme, une politique ou un projet atteigne ses objectifs. Il fournit également le fondement nécessaire à l'élaboration des stratégies de mesure et d'évaluation du rendement, y compris la matrice d'évaluation.
En ce qui concerne le cadre d'évaluation des services partagés de TI (2007-607), l'équipe d'évaluation a mis au point un modèle logique pour les SPTI en se fondant sur les renseignements fournis par la Direction générale des services d'infotechnologie (DGSIT) et par d'autres intervenants. Le personnel des SPTI a examiné ce modèle et en a confirmé la logique. Le modèle logique a été inclus dans le rapport sur le cadre d'évaluation présenté au Comité de vérification et d'évaluation en juillet 2008.
Puisque le modèle logique initial comprenait les résultats souhaités pour les quatre secteurs d'activité des SPTI (soit les services de télécommunications, les services des centres de données, les services d'informatique répartie et les services de sécurité de la TI), nous avons dû remanier le modèle logique préexistant de façon à ce qu'il reflète les caractéristiques particulières du secteur d'activité des services de télécommunications (le programme). Au début de l'évaluation, le personnel du programme a examiné le modèle logique révisé et l'a approuvé. Vous trouverez ce modèle logique à la section « Pièce 1 » du présent document.
Pièce 1 : Modèle logique du programme
Une plus grande image et une description texte de la pièce 1 : Modèle logique du programme est disponible sur une page séparée.
Objet de l'évaluation
L'objectif de l'évaluation était de déterminer la pertinence et le rendement du programme par rapport à l'atteinte de ses résultats prévus, conformément à la Politique d'évaluation du Conseil du Trésor.
Une matrice d'évaluation, faisant état des problèmes, des questions, des indicateurs et des sources de données utilisées, a été élaborée au cours de la phase de planification. De nombreux éléments de preuve ont été utilisés pour évaluer le programme, notamment les suivants :
- Examen des documents : L'examen des documents a permis de comprendre le programme et son contexte. Nous avons examiné entre autres les documents fournis par l'équipe responsable du programme et les documents qui portent sur ce dernier. Les autres documents pertinents sont les lois et les politiques, les discours du Trône, les rapports sur les plans et les priorités de TPSGC et les rapports ministériels sur le rendement.
- Analyse documentaire : Un examen de plusieurs documents a permis de placer le programme dans un contexte national et international, d'appuyer son modèle par des connaissances théoriques, de fournir une base de comparaison aux fins d'évaluation et de cerner d'autres modèles de prestation par une analyse des autres administrations.
- Entrevues : L'équipe d'évaluation a mené des entrevues avec les gestionnaires et le personnel de TPSGC à l'intérieur et à l'extérieur du programme (n=23). De plus, elle a interrogé des représentants des ministères et des organismes clients (n=16) et du Secrétariat du Conseil du Trésor (n=3). Les personnes interrogées ont donné des renseignements sur les activités, les extrants, les résultats prévus, les intervenants, la pertinence et le rendement du programme du point de vue des gestionnaires du programme, des ministères clients et des autres intervenants connexes.
- Sondage : L'équipe d'évaluation a mené un sondage afin d'obtenir le point de vue des clients sur le rendement du programme. Ce sondage a permis d'étayer et d'approfondir davantage les constatations. Au total, 84 ministères et organismes ont été invités à y participer, ce qui représente 98 % des revenus du programme en 2008-2009. Cinquante-huit répondants représentaient 84 % des revenus du programme en 2008-2009. Le taux de participation au sondage a été de 69 % dans l'ensemble.
- Analyse financière : On a examiné et analysé les données financières relatives aux budgets, aux recettes et aux dépenses du programme afin de mieux comprendre quels ministères et organismes avaient adopté les services de télécommunications et quels services ils avaient adoptés, et connaître la rentabilité relative de chaque service du programme.
- Analyse des données : On a analysé les données provenant du cube des dépenses de la Direction générale des approvisionnements pour obtenir des renseignements sur les dépenses relatives aux réseaux de communication vocale et de transmission de données à l'échelle du gouvernement du Canada. Ces données ont servi à calculer la part de marché relative du programme pour les télécommunications. De plus, on a examiné les données sur le rendement du programme afin de déterminer dans quelle mesure le programme atteignait les résultats escomptés sur le plan de la qualité des services. L'analyse des données a porté sur cinq exercices (de 2004-2005 à 2008-2009). Le cas échéant, la période visée a été modifiée comme suit :
- mesures du taux d'adoption des services (de 2004-2005 à 2008-2009);
- mesures des économies ou des réductions (de 2006-2007 à 2008-2009);
- lorsqu'elles étaient disponibles, et au besoin, les données de 2009-2010 ont été utilisées.
- Opinion d'experts : L'équipe d'évaluation a utilisé l'opinion d'experts pour évaluer la conformité des activités du programme aux pratiques exemplaires de l'industrie.
De plus amples renseignements sur les démarches et les méthodes d'évaluation adoptées sont fournis dans la section « À propos de l'évaluation » du présent rapport. La matrice d'évaluation est présentée à l'annexe A.
Constatations et conclusions
Les constatations et les conclusions suivantes reposent sur les multiples éléments de preuve utilisés durant l'évaluation. Elles sont présentées par type d'enjeu (pertinence et rendement).
Pertinence
Nous avons évalué la pertinence du programme en fonction du degré auquel il avait permis de répondre à un besoin démontrable et continu, était conforme aux priorités du gouvernement fédéral et aux résultats ministériels stratégiques, et remplit un rôle approprié pour le gouvernement fédéral.
Besoin continu
Nous avons évalué le besoin continu du programme à l'aide de trois éléments principaux : la pertinence de la raison d'être du programme d'origine, les exigences des lois ou politiques, et l'utilisation des services du programme. D'après ces éléments, nous avons constaté au cours de l'évaluation qu'il existait un besoin continu concernant le programme.
La raison d'être du programme repose sur la grande question de la fragmentation de la TI à l'échelle du gouvernement fédéral. Comme il n'existe aucune infrastructure commune de télécommunications au gouvernement du Canada, les organismes fédéraux ont mis en place leurs propres infrastructures de télécommunications de façon autonome, et en 2008, le gouvernement fédéral comptait plus de 125 réseaux distincts de communication vocale et de transmission de données. Lorsque plusieurs ministères partagent un immeuble à bureaux, chaque ministère s'occupe, en règle générale, de gérer sa propre infrastructure. Cela entraîne une redondance des systèmes et une augmentation des coûts. Le programme vise à corriger ce problème en simplifiant l'infrastructure de télécommunications dans les organismes fédéraux de manière à réduire les coûts pour l'ensemble du gouvernement. Les infrastructures de télécommunications restent redondantes. Par conséquent, la première raison d'être du programme demeure valable.
En ce qui a trait aux exigences juridiques et politiques, TPSGC est tenu, en vertu de l'article 5 de la Loi sur le ministère des Travaux publics et des Services gouvernementaux, d'agir en tant qu'organisme de services communs. Les articles 6 (g) et 15 (b) de la Loi désignent TPSGC en tant que fournisseur de services de TI et de services de systèmes liés à l'informatique sur demande auprès de tous les ministères et organismes fédéraux. De plus, le Ministère est un organisme de services communs aux termes de la Politique sur les services communs du Conseil du Trésor. En vertu de cette politique, TPSGC est tenu de fournir des services de télécommunication sur demande aux organismes du gouvernement fédéral selon le principe du recouvrement des coûts. Bien que le programme soit tenu de fournir les services, l'adoption de ces derniers par les organismes fédéraux est facultative, sauf en ce qui concerne le réseau de la Voie de communication protégée que le Conseil du Trésor a rendu obligatoire en 2006. Conformément à la Politique sur les services communs du Conseil du Trésor, les responsabilités du ministère en ce qui a trait aux télécommunications comprennent entre autres :
- l'élaboration d'une architecture de télécommunications à l'échelle de l'administration fédérale et l'identification des exigences relatives aux interfaces avec l'architecture des divers ministères;
- la planification et la gestion de l'infrastructure commune des télécommunications gouvernementales ainsi que la coordination de l'utilisation des installations et des services partagés de télécommunications;
- la détermination d'avantages possibles aux points de vue stratégique, opérationnel et économique pour l'administration fédérale.
La Politique sur la gestion des technologies de l'information du Conseil du Trésor décrit un des résultats escomptés comme suit :
« accroître le recours à des services de TI communs ou partagés par les ministères et les organismes afin d'assurer une économie d'efficience. »
Selon cette politique,« les administrateurs généraux doivent s'assurer que […] leur ministère utilise les services communs ou partagés de TI pour éviter le double emploi lorsque ces biens et services sont disponibles et pertinents. »
Bien qu'il n'existe aucune politique obligatoire concernant l'utilisation des services facultatifs fournis par le programme, le taux d'adoption des services du programme est relativement élevé, et il a augmenté pendant la période d'évaluation. Lors de l'évaluation, nous avons pu estimer que le taux d'adoption approximatif des services du programme était de 32 % à 44 % pendant l'exercice 2008-2009, ce qui représente une augmentation par rapport au taux d'adoption de 24 % à 29 % en 2004-2005 (le taux d'adoption est abordé de façon plus détaillée dans la partie sur le rendement du programme du présent rapport).
Le besoin relatif au programme reste élevé. Les motifs ayant motivé initialement la mise en place du programme demeurent valides. Malgré le soutien mitigé du programme sur le plan des politiques, il existe une demande manifeste concernant ses services. Bien que TPSGC soit tenu, en tant que fournisseur de services communs, de fournir des services facultatifs aux autres organismes fédéraux, le soutien en matière de politique obligeant les autres ministères à utiliser les services du programme est minime.
Concordance avec les priorités et les objectifs du gouvernement et du Ministère
Nous déterminons la concordance du programme avec les priorités fédérales et ministérielles en observant dans quelle mesure le problème qui doit être résolu par le programme est abordé dans les rapports et documents sur l'établissement des priorités du gouvernement fédéral et des ministères. Nous avons constaté lors de l'évaluation que la raison d'être du programme répondait à un grand nombre des priorités fédérales et ministérielles. Étant donné les efforts accrus dans l'ensemble du gouvernement fédéral pour réduire les coûts, le programme vise à répondre aux priorités relatives aux économies de coûts.
Dans le discours du Trône de mars 2010, le gouvernement s'est particulièrement engagé à rétablir l'équilibre fiscal. Il y a également décrit les étapes qu'il entend franchir pour réduire l'ensemble des dépenses de programmes fédérales. Le programme est également visé par l'examen des services administratifs mené par le Bureau du Conseil privé et dont les résultats doivent être publiés. Cet examen vise à évaluer les services administratifs et les frais généraux au gouvernement afin de cerner des possibilités d'améliorer l'accès aux services du gouvernement, de simplifier la prestation des services et de réduire les coûts d'exécution du programme. Les économies qui peuvent être réalisées grâce à la mise en œuvre efficace des services partagés correspondent à ces priorités du gouvernement fédéral. Le programme répond à cette priorité, car un de ses objectifs est de « faire en sorte que les ministères du gouvernement du Canada partagent un ensemble commun d'infrastructure et de services de télécommunications qui permette d'éliminer le double emploi et offre un modèle de prestation plus efficient ».
Dans certains discours du Trône antérieurs, le gouvernement a également déjà pris des engagements qui s'harmonisent avec les activités du programme. En effet, dans son discours de novembre 2008, il s'est engagé à entreprendre « des réformes innovatrices de l'administration des programmes et des services […] et à établir des partenariats avec des tierces parties et le secteur privé afin de pouvoir offrir des services améliorés à moindre coût ». Les SPTI se sont engagés pour leur part à développer les services partagés « en travaillant avec des partenaires du secteur public et de l'industrie pour offrir des produits et des services qui répondent aux besoins du gouvernement en matière de TI en tenant des consultations permanentes ».
Le Cadre de responsabilisation de gestion comprend un élément concernant l'« utilisation commune ou partagée des biens et services de la TI dans l'organisation afin d'éviter le double emploi, lorsque ces biens et services sont disponibles et appropriés ». Le programme fournit aux organisations les moyens leur permettant de respecter cet élément du cadre, même si l'élément en question porte sur l'utilisation de tous les services de TI, pas seulement celle des services de télécommunications. Selon une présentation faite en août 2009 sur les résultats d'une évaluation quinquennale du cadre, la gestion de la TI se fera par rotation pour les ministères et les organismes importants, c'est-à-dire que la gestion de la TI dans ces organisations (sauf celles dont les résultats ont été jugés moins qu'acceptables) sera évaluée tous les trois ans.
En ce qui a trait aux priorités du Ministère, dans le Rapport sur les plans et les priorités de 2009-2010, TPSGC s'est dit déterminé à fournir, à l'échelle du gouvernement, un ensemble uniforme de produits et de services en matière d'infrastructure des technologies de l'information afin de permettre aux ministères du gouvernement de respecter leurs priorités. De plus, le résultat stratégique de TPSGC consiste à fournir « des services et des programmes centraux de grande qualité qui assurent une saine intendance au nom de la population canadienne et qui répondent aux besoins opérationnels des institutions fédérales ». Le modèle de gouvernance du programme vise à atteindre ce résultat, car son but est de promouvoir les produits et les services des SPTI et de continuer à répondre aux besoins des ministères et des organismes fédéraux.
Les diverses priorités fédérales et ministérielles précitées fournissent un contexte pertinent pour la poursuite des activités du programme. Vu qu'il contribue à la réduction de l'infrastructure et des coûts administratifs, le programme répond aux priorités fédérales et ministérielles.
Concordance avec les rôles et les responsabilités du gouvernement fédéral et des ministères
Pour savoir si le programme concorde avec les rôles et responsabilités du gouvernement fédéral, nous avons examiné trois éléments : a) la responsabilité du programme peut-elle être transférée à un autre niveau du gouvernement (c'est-à-dire aux provinces); b) la responsabilité du programme peut-elle être transférée au secteur privé; c) la responsabilité du programme peut-elle être décentralisée et affectée à des ministères et organismes.
Le programme répond à des besoins internes du gouvernement fédéral; à ce titre, il n'est pas approprié de transférer à un autre niveau de gouvernement la responsabilité relative à la prestation des services. Bien que les services de télécommunications fournis par le programme soient disponibles dans le secteur privé, le gouvernement fédéral doit rester le responsable général du programme. Il optimise le recours au secteur privé comme il se doit pour fournir des services de télécommunications aux autres organismes fédéraux dans le cadre de marchés consolidés. Une analyse des autres modèles de mise en œuvre du programme est présentée dans la partie consacrée au rendement du programme du présent rapport.
Comme la Politique sur les services communs du Conseil du Trésor stipule que la TI est une compétence essentielle de TPSGC, il est plus approprié que TPSGC soit chargé de coordonner les services de télécommunications pour le gouvernement fédéral. Bien que certains organismes fédéraux aient la capacité de gérer leurs propres services de télécommunications, aucun autre organisme fédéral n'est en mesure d'assumer la responsabilité totale de ce programme. Le programme répond donc fortement aux rôles et responsabilités du gouvernement fédéral et des ministères.
Conclusions : Pertinence
Il existe un besoin continu à l'égard du programme. Bien que TPSGC soit tenu par la loi, en tant qu'organisme de services communs, de fournir des services, l'utilisation des services offerts dans le cadre du programme est facultative (sauf en ce qui concerne le réseau de la Voie de communication protégée qui est obligatoire). Bien qu'aucune politique et aucune loi n'obligent officiellement les autres organismes fédéraux à utiliser les services du programme, il existe une demande continue concernant ceux-ci. Le programme est fortement lié aux priorités du gouvernement fédéral et des ministères, et répond aux rôles et aux responsabilités de ceux-ci.
Rendement
Le rendement s'entend de la mesure dans laquelle un programme ou une initiative réussit à atteindre les objectifs fixés, et la mesure dans laquelle il ou elle le fait de manière efficiente et rentable.
Atteinte des résultats
Les résultats présentés dans un modèle logique sont conçus de manière à permettre au Ministère d'atteindre ses objectifs stratégiques. Par conséquent, l'évaluation a permis d'examiner dans quelle mesure les activités du programme suffisaient à atteindre les résultats escomptés. Bien que le programme comprenne des mesures de rendement, celles-ci n'étaient pas suffisantes pour permettre de mesurer l'atteinte des résultats. À cette fin, l'équipe d'évaluation a créé et mis en place d'autres méthodes. L'évaluation a permis de déterminer que le programme avait fait des avancées vers la réalisation des objectifs, comme il est indiqué ci-dessous.
Adoption et défragmentation des services de télécommunications
Le taux d'adoption est la mesure de l'utilisation d'un service au sein du gouvernement fédéralNote de bas de page 2. Puisque les services du programme sont pour la plupart facultatifs, lorsque des utilisateurs s'engagent à acheter et à utiliser ces services, cela constitue un indicateur clé de la valeur du programme. Un taux d'adoption élevé témoigne également de la réussite du programme. Plus le nombre d'utilisateurs est important, plus le programme parvient à réaliser ses objectifs, soit la réduction de la fragmentation des TI.
Au moment de l'évaluation, il n'existait aucune mesure de rendement pour permettre au gouvernement fédéral de déterminer de façon adéquate le taux d'adoption de chacun des quatre secteurs d'activité des SPTI. Bien que le programme mesure le volume d'activité tous les mois, les organisations fédérales ne sont pas tenues de présenter un rapport sur l'ensemble de leurs dépenses en TI à un organisme central.
Pour calculer le taux d'adoption général estimatif du programme, nous avons mesuré les recettes du programme en pourcentage des dépenses totales du gouvernement fédéral pour les biens et services de télécommunications qui sont indiquées dans la base de données du cube des dépenses de la Direction générale des approvisionnements. D'après ce calcul, nous avons estimé que le taux d'adoption approximatif du programme était de 32 % à 44 % pendant l'exercice 2008-2009, ce qui représente une augmentation par rapport au taux d'adoption de 24 % à 29 % de 2004-2005.Note de bas de page 3 Les responsables du programme estiment que le calcul du taux d'adoption peut être erroné en raison de la taille de certains ministères qui ont choisi de refuser les services. Par exemple, le ministère de la Défense nationale se procure certains de ses propres services et représente une partie importante des achats de services de télécommunications dans l'ensemble du gouvernement. D'un point de vue organisationnel, presque toutes les organisations citées dans la Loi sur la gestion des finances publiques ont utilisé au moins un des services facultatifs du programme pendant la période d'examen de l'évaluation. Par exemple, pendant l'exercice 2008-2009, des services de réseau local ont été fournis à 141 clients.
Les ministères clients qui n'ont pas souscrit aux services du programme ont déterminé les obstacles qui les avaient empêchés d'adopter ces services. Dans beaucoup de cas, les clients estiment que les coûts des services de données sont trop élevés. Peut-être que ces clients ne connaissent pas totalement le coût complet des services. Quand un client obtient d'un fournisseur de services un prix inférieur pour le même service offert par TPSGC, il ne prend peut-être pas en compte la totalité des coûts de gestion du service à l'interne (frais administratifs, techniciens de soutien technique, etc.) et qu'il devrait assumer, ce qui représente fondamentalement la valeur ajoutée du programme. En outre, il est possible que les clients ne puissent pas voir la valeur ajoutée de la consolidation de l'infrastructure de télécommunications dans l'ensemble du gouvernement du Canada, ce qui entraîne finalement à une efficacité accrue, une diminution des coûts liés à la duplication, et une modernisation des réseaux et systèmes. D'autres obstacles sont liés au service à la clientèle, comme la résolution tardive des plaintes, la réception tardive des propositions de prix et le fait que le programme ne répond pas aux besoins des clients.
En utilisant d'autres méthodes, nous avons pu constater lors de l'évaluation que le taux d'adoption des services du programme augmentait au fil du temps. D'autres organismes fédéraux ont indiqué que les problèmes de communication constituaient les principaux obstacles concernant l'adoption des services du programme.
Qualité des services
En ce qui concerne les services facultatifs, la satisfaction de la clientèle est une mesure importante de la capacité du programme de répondre aux besoins de ses clients, parce que ces derniers peuvent annuler les services dont ils ne sont pas satisfaits. L'excellence du service est un facteur important de la satisfaction de la clientèle. Le programme doit demeurer concurrentiel quant à la qualité des services et à l'optimisation des ressources s'il veut conserver ses clients et réaliser des progrès dans l'atteinte des résultats escomptés en ce qui a trait à l'adoption. Dans l'ensemble, l'évaluation a révélé que les clients étaient très satisfaits des services du programme, en particulier des services de communication vocale. Nous avons constaté que les clients sont un peu moins convaincus de l'optimisation des ressources des services de données que de celle des services téléphoniques, et que le principal enjeu en matière de satisfaction de la clientèle est le caractère inadéquat de la communication.
Satisfaction de la clientèle
Pour mesurer la satisfaction de la clientèle, l'équipe d'évaluation a mis en place et administré un sondage dont les résultats sont généralement positifs. Bien que les intervenants soient en général très satisfaits de l'optimisation des ressources des services de communication vocale, les clients se déclarent moins satisfaits de l'optimisation des ressources des services de données. Toutefois, ces résultats sont peut-être biaisés par le prix du réseau de la Voie de communication protégée. Quoi qu'il en soit, les intervenants ont estimé que le programme était bien géré et crédible. Les principaux résultats du sondage sur la satisfaction de la clientèle sont présentés dans la partie intitulée « Pièce 2 ».
Sommaire du tableau
Ce tableau représente les principaux résultats du sondage sur la satisfaction de la clientèle.Voix | Données | |
---|---|---|
Taux de satisfaction à l'égard de la qualité des services |
93 % | 80 % |
Recommandation des services à d'autres clients éventuels |
93 % | 75 % |
Services bien gérés et crédibles |
94 % | 67 % |
Optimisation des ressources
|
91 % | 51 % |
Malgré les taux de satisfaction élevés, des utilisateurs ont mentionné certains secteurs où le programme pourrait améliorer la qualité de ses services dans l'ensemble. Ces secteurs comprennent notamment : les solutions intégrées; l'utilisation de mécanismes d'acquisition plus petits; la rationalisation des processus comprenant notamment un moins grand nombre d'accords sur les niveaux de service.
De plus, l'évaluation a montré que, dans certains cas, le programme n'a pas été en mesure de satisfaire les besoins de certaines organisations. Parmi les répondants du sondage, certains considèrent que le programme n'a pas pu respecter des exigences particulières relatives à la sécurité dans le cadre de son approche actuelle en matière de services partagés. D'autres ont cherché à être exemptés du service de données obligatoire offert par le programme.Note de bas de page 4 Il s'agit de cas où les exigences de la situation mèneraient à des solutions de service qui dépasseraient de beaucoup les besoins de la plupart des organisations, de sorte que l'application d'un modèle de services partagés ne serait pas appropriée.
En mars 2009, le programme a mis en œuvre un processus d'examen de portefeuille dans le but d'obtenir les commentaires des clients et d'évaluer leur satisfaction. Les examens de portefeuille ont été menés périodiquement (environ une fois par mois), et seulement un client était interrogé à la fois. Onze clients avaient fait l'objet d'un examen de portefeuille au moment de l'évaluation. Grâce à ce processus, le programme peut établir les mesures de base de chaque organisation. Toutefois, au moment de l'évaluation, en raison du processus de collecte de données adopté pour l'examen de portefeuille, la quantité des renseignements recueillis au début du processus d'examen s'avérait insuffisante pour constituer une base de référence pour l'ensemble du programme. De plus, les résultats obtenus ne pouvaient être extrapolés pour refléter la population générale.
Dans l'ensemble, la satisfaction de la clientèle était généralement élevée. Les clients ont indiqué les éléments qui pourraient être améliorés pour accroître davantage la satisfaction de la clientèle. Le programme a mis en œuvre un processus de surveillance de la satisfaction de la clientèle des ministères. Toutefois, les résultats de ce processus ne peuvent être généralisés pour refléter la clientèle du programme dans son ensemble.
Rapports sur les services
Les accords sur les niveaux de service signés entre le programme et ses clients ont été surveillés par le Secteur de la gestion et de la prestation des services (SGPS), au sein de la Direction générale des services d'infotechnologie. Chaque mois, le programme présente un rapport à la haute direction sur les normes négociées dans le cadre des accords sur les niveaux de service. Outre les rapports opérationnels mensuels, le programme a affiché des rapports trimestriels sur le site Web des mesures de la Gestion et prestation des services.
Dans le cadre de l'examen des rapports opérationnels mensuels du programme, l'évaluation a permis de constater que le programme a respecté, pour la période d'octobre 2008 à janvier 2010, les cibles établies dans les accords sur les niveaux de service. L'évaluation a montré que 64 % des répondants au sondage considèrent que les rapports satisfont aux besoins de leur organisation en matière d'information. Cependant, certains clients interviewés estimaient que les rapports opérationnels du programme étaient insuffisants.
Selon les experts de l'industrie, les mesures recueillies par le SGPS constituaient d'excellents points de départ comme indicateurs de mesure du rendement des services. Toutefois, il s'agissait pour la plupart de données de nature opérationnelle et très technique. Elles portaient en grande partie sur la disponibilité des services, et servaient donc à mesurer le rendement du programme sur le plan des extrants plutôt que sur celui des résultats. Selon les experts de l'industrie, ces mesures opérationnelles ne sont pas en soi des indicateurs de rendement. De plus, ces experts ont indiqué que nombre des indicateurs utilisés par le programme ne traduisaient pas une valeur de référence. Ils ont ajouté que, si l'on ne dispose pas de critères de comparaison concernant la disponibilité des services ou que l'on ne connaît pas l'impact des interruptions de service, on peut difficilement, d'un point de vue opérationnel, prendre des décisions relatives à l'amélioration des services.
De plus, l'évaluation a montré que les communications constituaient un problème pour ce qui est de la qualité des rapports sur les services. Par exemple, les répondants du sondage ont soulevé la question des interruptions de service. Dans ces cas, les organisations ont dû mettre en œuvre des solutions à court terme pour pallier les interruptions de service causées par la lenteur des réponses provenant du programme. Les répondants ont indiqué que les retards associés aux réponses du programme étaient attribuables à différentes perceptions concernant la disponibilité du réseau. En d'autres mots, les systèmes du programme indiquaient que le réseau était en fonction alors que, du côté du client, le service était interrompu. Les répondants du sondage ont par la suite corroboré cette constatation, et seulement la moitié d'entre eux ont considéré que les rapports sur la disponibilité globale du réseau reflétaient la disponibilité réelle du réseau.
Dans l'ensemble, la production de rapports sur les services s'est avérée opérationnelle, ce qui fait en sorte que les clients n'obtiennent pas une information suffisante pour répondre à leurs attentes. Selon les experts de l'industrie, les mesures actuelles pour l'établissement de rapports sur les services constituent une base solide en vue de la création d'indicateurs de mesure du rendement.
Réalisation d'économie et réduction des coûts
Pour les clients du programme, les économies et les réductions de coûtsNote de bas de page 5 comptent parmi les résultats les plus importants. Le modèle des services partagés doit permettre de négocier les meilleurs prix auprès des fournisseurs grâce à la capacité de tirer avantage des économies d'échelle. Par conséquent, le programme doit chercher à faire la preuve que ses services entraînent des économies et des réductions des coûts. L'évaluation a montré que, grâce au modèle d'approvisionnement de services partagés offert par le programme, le gouvernement du Canada peut effectivement réaliser des économies et réduire ses coûts. Lorsque la réalisation d'économies et la réduction des coûts n'ont pu être documentées, des preuves empiriques ont indiqué que les activités du programme se traduisent par des coûts-avantages nets pour ses clients.
Puisque les économies et la réduction des coûts peuvent prendre diverses formes, comme des modifications contractuelles, et l'évitement ou le regroupement des coûts, il n'est pas possible de vraiment calculer un pourcentage total ou une valeur totale en dollars des économies réalisées grâce aux activités de programme. Par exemple, parmi les 17 services du programme offerts au gouvernement fédéral, deux seulement ont été adéquatement documentés pour montrer des réductions de prix ou de coûts quantifiables pour tous les clients, au cours des trois derniers exercices financiers, soit de 2006-2007 à 2008-2009. Toutefois, deux autres services ont pu faire la preuve d'économies de coûts pour certains clients par rapport aux prix payés par le ministère pour un service similaire, avant la transition vers les services de TPSGC. De plus, en raison de la nature des contrats dans le secteur des télécommunications, des modifications contractuelles réduisant le coût des services ont été effectuées après la période d'évaluation. Les économies réalisées grâce à ces modifications contractuelles ou à la transition des services font l'objet de la pièce 3.
Sommaire du tableau
Ce tableau représente les économies réalisées grâce à ces modifications contractuelles ou à la transition des services.Exercices visés par des économies ou une réduction des coûts | Service | Pourcentage des économies ou des réductions de coûts réalisées |
---|---|---|
Exercice financier (EF) 2008-2009 à EF 2009-2010 |
Service fixe par satellite | De 17 % à 44 % |
2009-2010 |
Service gouvernemental de vidéoconférence | De 38 % à 43 % |
EF 2005-2006 à EF 2006-2007 |
Services mobiles par satelliteNote de bas de page 8 | De 12 % à 44 %Note de bas de page 6 |
EF 2005-2006 à EF 2009-2010 |
Services réseau convergentsNote de bas de page 9 | 47 % |
EF 2009-2010Note de bas de page 10 |
Services de soutien du matériel de réseau | De 33 % à 77 %Note de bas de page 7 |
EF 2005-2006 |
Services téléphoniques interurbains | 63 % |
EF 2004-2005 |
Services de carte d'appel | De 41 % à 56 % |
EF 2010-2011 |
Services de composition sans frais | De 48 % à 60 % |
EF 2010-2011 |
Services de communication sans fil | De 25 % à 43 % |
EF 2010-2011 |
Réseau de la Voie de communication protégée | 56 % |
Outre les modifications contractuelles, certaines activités d'approvisionnement contribueraient à la réalisation d'économies pour le gouvernement du Canada. Le principal exemple serait les économies associées à la prestation de services dans le cadre du programme plutôt qu'à l'acquisition de ces services par chaque organisation, ce qui multiplie les coûts en raison de la répétition du même effort pour chaque contrat. L'évaluation a permis de constater que des preuves empiriques indiquent que des économies et une réduction des coûts ont pu être réalisées pour d'autres services. Il est particulièrement intéressant de voir que les clients interviewés ont considéré que le contrat pour les services de communications sans fil leur offrait les meilleurs prix jamais vus auparavant.
De même, lorsque les Services de soutien de l'équipement de réseau, un service qui établit des offres à commandes pour l'équipement de réseau courant pour l'ensemble du gouvernement du Canada, ont remplacé l'ancien service qui comprenait des offres à commandes pour seulement 23 ministères, les coûts ont diminué. Bien qu'il soit difficile d'établir un lien direct entre ces économies et le pouvoir d'achat du service, puisque d'autres facteurs, comme l'âge des composantes et leur accessibilité généralisée pourraient également avoir des conséquences, les regroupements et la modernisation des services sont considérés d'emblée comme avantageux.
Il faut également noter que, dans certains cas, la réalisation d'économies et la réduction des coûts ne constituaient pas une priorité aussi importante qu'on aurait pu le croire. Pour certains services rodés, le programme n'a pas visé à réduire les prix pour tirer profit des marges plus élevées et permettre la réduction des prix pour des services plus nouveaux, dont les coûts sont naturellement plus élevés dans les premières phases de leur développement. Deux services matures ont eu des marges sur coût direct parmi les plus élevées.Note de bas de page 11 Aucun de ces services n'a subi de réductions de prix pendant la période visée. Toutefois, cette pratique est conforme au plan d'affaires stratégique des SPTI pour 2009-2014, selon lequel « tirer avantage des marges plus élevées sur les services rodés pour compenser la contribution financière réduite des services nouveaux ou en déclin » [traduction] constitue une pratique acceptable. Bien que des réductions des coûts n'aient pas été directement réalisées pour ces services, la mise à profit d'une marge supérieure entraînerait la création d'un bénéfice net pour les clients du programme dans leur ensemble.
Pour la plupart des services, le programme a démontré des économies et des réductions de coûts. Dans certains cas, les économies de coûts n'ont pas pu être quantifiées. Toutefois, la modernisation accrue des services a engendré des économies. Le programme a mis à profit de manière stratégique le succès des services rodés pour réaliser des économies de coûts sur les autres services.
Réduction du risque lié à la sécurité de la TI
Un des résultats escomptés du programme était de réduire les risques en matière de sécurité de la TI pour l'exécution du programme grâce à un service commun centralisé. Ce résultat avait pour bien-fondé la réduction, par TPSGC, du nombre de points d'entrée dans l'infrastructure de TI et l'intégration de mesures de protection dans ses services.
Au moment de l'évaluation, le programme ne disposait d'aucune mesure de rendement pour permettre de déterminer l'atteinte de ce résultat. Sans données sur le rendement, l'équipe d'évaluation s'est fondée sur les points de vue des clients concernant la mesure dans laquelle le programme a réduit de manière efficace les risques liés à la sécurité de la TI dans le cadre de l'exécution du programme. Un tiers des répondants du sondage ont indiqué que les services de réseau de données avaient permis de réduire les risques en matière de TI pour l'exécution du programme de leur organisation. Certains répondants pensent que, si le Réseau de la Voie de communication protégée était muni d'un pare-feu commun, le programme pourrait atteindre cet objectif plus efficacement. Toutefois, un pare-feu commun n'a jamais fait partie des composantes du service offert par le Réseau de la Voie de communication protégée, et il n'a jamais été prévu qu'il en fasse partie. Les répondants ont fait remarquer que le service vise à réduire les points d'entrée dans l'infrastructure de TI du gouvernement du Canada. Le programme n'est pas en mesure de quantifier la réduction des points d'entrée, mais était très confiant quant à la réalité de cette réduction.
Puisque ce résultat est surtout attribuable au service du Réseau de la Voie de communication protégée, qui couvre deux secteurs d'activité, il est difficile d'établir si les points de vue des clients portent sur la composante du réseau qui fait partie de l'offre de service du programme ou sur le reste du service qui relève de la sécurité de la TI. Sans données sur le rendement pour confirmer les points de vue des clients, il est impossible d'affirmer que le programme a atteint ou non ce résultat de manière efficace.
Efficience et économie
La démonstration de l'efficience et de l'économie est définie comme l'évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant les résultats escomptés. L'efficience fait référence à la mesure dans laquelle les ressources sont utilisées de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés. Un programme fait preuve d'une économie et d'une efficience démontrables élevées lorsque les ressources maximisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée. D'une manière générale, l'évaluation n'a pas été en mesure d'analyser de façon concluante l'efficience et l'économie en raison de l'insuffisance des activités de comparaison et d'établissement des coûts. Malgré cela, l'évaluation a constaté que le fonds renouvelable dans lequel le programme s'inscrit a affiché des surplus et qu'il n'existe pas de solutions de rechange viables à l'exécution de programme.
Analyse comparative
L'analyse comparative est un exercice important pour déterminer si le prix des services est comparable ou meilleur à celui des solutions de rechange du secteur privé. Lorsque des services facultatifs sont financés à l'aide d'un fonds renouvelable, le Guide des fonds renouvelables du Conseil du Trésor stipule que les « prix doivent se fonder sur la valeur marchande aux fins de la vente […]. Cela contribuera à l'utilisation efficiente de ressources limitées et générera un rendement économique équitable pour le public. » L'évaluation a permis de constater qu'en l'absence d'analyses comparatives globales formelles, le programme ne peut pas faire la preuve de son efficience et d'un rendement économique par rapport aux services offerts.
Selon le plan d'affaires stratégique des SPTI pour 2009-2014, « l'analyse comparative constituera le fondement le plus important pour l'élaboration de la liste de prix » [traduction]. Toutefois, au moment de l'évaluation, le programme recourait au processus de demande de propositions plutôt qu'à un exercice formel d'analyse comparative. Le programme recourait à ce processus en se fondant sur l'hypothèse que le processus de mise en concurrence aurait comme résultat que les services seraient offerts au meilleur prix possible. Cette hypothèse ne tient pas compte que, dans le processus de demande de propositions, le coût total des services comprend les coûts pour le personnel interne associé à la gestion des appels d'offres et des contrats par TPSGC, et, dans certains cas, à la gestion d'une partie des services. Sans analyse comparative, le programme peut difficilement déterminer s'il obtient un rendement économique équitable pour ses clients.
L'examen des pratiques adoptées par d'autres gouvernements montre que ceux-ci ont mis en œuvre avec succès des activités d'analyse comparative. Par exemple, la General Services Administration des États-Unis (la division de l'approvisionnement du gouvernement fédéral américain) a mis en œuvre un outil d'analyse comparative et établi un modèle de coût par personne pour aider les clients à comprendre les coûts de télécommunications et aider le gouvernement à gérer les intrants.
Établissement des coûts
Le Guide d'établissement des coûts du Conseil du Trésor stipule que
« des renseignements de qualité et opportuns sur les coûts appuient le processus décisionnel et la surveillance du rendement. […] Toutes les décisions et les propositions financières sont renforcées quand on comprend bien l'étendue de leurs répercussions sur les ressources. »
Il est essentiel de disposer de données exactes sur les coûts pour pouvoir établir des prix équitables et appropriés, gérer l'efficacité des activités et générer des réductions de coûts. L'évaluation a permis de constater que le système d'établissement des coûts pour les services du programme ne permet pas d'optimiser l'efficience opérationnelle. Comme les coûts indirects n'ont pas été attribués selon les facteurs de coût, le programme n'arrive pas à déterminer de manière précise le coût total de la prestation de ses services.Selon les répondants de l'enquête, le système d'établissement des coûts était trop complexe, ce qui rendait difficile la détermination des coûts exacts pour chaque service. Le programme ne disposait pas d'un système simplifié d'établissement des coûts, et les divers secteurs recueillaient des données sur les coûts entre eux. La Division des services de planification et de gestion des affaires des SPTI devait regrouper ces données de façon manuelle.
Au moment de l'évaluation, le système de gestion financière (SIGMA) en était à sa première année de mise en œuvre. Ainsi, on éprouvait de la difficulté à faire le rapprochement avec exactitude entre les coûts enregistrés dans SIGMA et les coûts consignés à l'interne dans le secteur d'activité des télécommunications. En conséquence, le programme recourait aux rapports du système SIGMA davantage pour vérifier les chiffres que pour déterminer les coûts des services, parce que les codes financiers utilisés dans le système SIGMA n'étaient pas toujours exacts.
Selon le programme, les coûts indirects représentent une diversité de secteurs de dépenses, notamment les ressources humaines associées aux finances, la gestion des contrats, l'appui à l'approvisionnement (de la part de la Direction générale des approvisionnements), l'architecture et la conception technologiques, le marketing et les ventes, ainsi que l'analyse des activités. Depuis 2008-2009, l'approche des coûts indirects vise à attribuer ceux-ci à chaque secteur d'activité selon le pourcentage des recettes totales des SPTI par secteur d'activité, même si le Guide des fonds renouvelables du Conseil du Trésorrecommande que les programmes utilisent la comptabilité par activités pour les services des fonds renouvelables. Comme l'attribution des coûts indirects se fonde sur des facteurs non liés aux coûts, il est possible que les coûts attribués aux services du programme soient sous-estimés ou surestimés. De plus, cette méthode limite la capacité de programme à déterminer s'il obtient ou non des extrants plus grands avec un nombre égal ou inférieur d'intrants.
Vu la nécessité d'instaurer un système d'établissement des coûts plus fiable, le programme avait commencé à expérimenter un nouvel outil d'établissement des coûts, Decimal Suite. Il était certain que ce système permettrait de corriger les problèmes relatifs aux processus manuels et d'assurer une certaine uniformité dans le processus d'établissement des coûts à l'échelle des quatre secteurs d'activité. Toutefois, au moment de l'évaluation, l'essai ne faisait que commencer, de sorte que le système n'a pu être évalué.
Fonds renouvelable
Le fonds renouvelable fournit un mécanisme de financement axé sur les activités pour la prestation de services suivant un modèle « commercial ou quasi commercial ». Dans ce contexte opérationnel, les fonds renouvelables doivent favoriser l'adoption de bonnes pratiques commerciales puisqu'ils doivent être autosuffisants et permettre le recouvrement de tous les coûts engagés. Les fonds renouvelables exigent également qu'un programme dispose d'un système efficace d'établissement des coûts, puisque le recouvrement des coûts grâce à des services tarifés de façon appropriée constitue un de ses principes de base. Conformément au plan d'affaires stratégique des SPTI pour 2009-2014, le fonds renouvelable est le mécanisme privilégié pour assurer « la stabilité de toutes les recettes provenant de la prestation de services en catalogue » [traduction]. Le secteur d'activité des télécommunications était financé à partir du Fonds renouvelable des Services communs de télécommunications et d'informatique. Le programme représente la majorité (94 %) des recettes comptabilisées par l'intermédiaire du fonds renouvelable (2008-2009). L'évaluation a permis de constater que le fonds renouvelable du programme a constamment enregistré des surplus au cours de la période d'évaluation.
De 2004-2005 à 2008-2009, le fonds renouvelable a affiché un excédent budgétaire de manière constante. Selon le Guide des fonds renouvelables du Conseil du Trésor, les excédents budgétaires des fonds renouvelables peuvent être utilisés pour effacer des déficits futurs ou pour la capitalisation future. Le rapport sur le mandat et la viabilité du fonds renouvelable de 2009 prévoit que les excédents budgétaires du secteur d'activité des télécommunications serviront à financer le secteur de la sécurité de la TI. Toutefois, dans ce rapport, on a reconnu que cela signifiait que
« dans le plan d'affaires de 2009-2010 relatif à la mise à jour annuelle des niveaux de référence, on devait demander au Conseil du Trésor (CT) d'approuver l'utilisation de l'excédent budgétaire accumulé des télécommunications pour effacer les déficits prévus du secteur de la sécurité de la TI »
. L'approbation obtenue pour la mise à jour annuelle des niveaux de référence fut importante parce que cette exigence va à l'encontre du Guide des fonds renouvelables du Conseil du Trésor, qui stipule qu'il doit y avoir« absence d'interfinancement entre les secteurs d'activité »
.
Service obligatoire
Puisqu'un des services du programme est obligatoire, les lignes directrices relatives à son économie démontrable sont quelque peu différentes des autres. Le Réseau de la Voie de communication protégée est le seul service obligatoire dans l'éventail de services offerts par le programme. La Politique sur les services communs du Conseil du Trésor indique ce qui suit : « En principe, les services obligatoires fournis par les OSC [organismes de services communs] sont principalement financés au moyen de crédits tandis que les services facultatifs sont financés en vertu du régime de récupération intégrale des coûts, par l'entremise d'un fonds renouvelable ou d'une autorisation de crédits nets. » Dans le cas du Réseau de la Voie de communication protégée, le financement du service à partir du fonds renouvelable au même titre que les autres services facultatifs était approuvé par le Conseil du Trésor. L'évaluation a permis de constater que la méthode d'établissement des coûts du programme, utilisée au cours de la période d'évaluation, n'était pas optimale et ne permettait pas de démontrer l'économie du service obligatoire. Il n'est pas clair que le service a respecté les exigences particulières de la politique sur les services obligatoires.
La Politique sur les services communs indique que « lorsque les services facultatifs sont financés au moyen d'un fonds renouvelable, les tarifs demandés aux ministères pour ces services doivent permettre aux Organisation de services communs (OSC) de récupérer la totalité des coûts et de recouvrer les frais d'exploitation engagés pour l'ensemble des opérations, et ce, sur une période raisonnable ». En règle générale, la « période raisonnable » a été de cinq ans, conformément aux plans d'affaires quinquennaux.
Bien que le fonds renouvelable ait affiché des surplus, la faiblesse de la méthode d'établissement des coûts et, plus particulièrement, l'attribution des coûts indirects entraîne une incapacité à déterminer si des coûts des services du programme peuvent être totalement récupérés. Par conséquent, il est impossible de conclure que le Réseau de la Voie de communication protégée représente ou non une économie ni que ce service était conforme aux exigences de la politique sur les services obligatoires.
Autres formes de prestation de services
La méthode d'exécution du programme est fortement liée à l'efficience et à l'économie. Bien qu'il existe d'autres méthodes, on doit utiliser celle qui maximise l'utilisation des intrants. L'évaluation a cerné deux autres méthodes possibles pour l'exécution du programme : le recours aux services du secteur privé et la décentralisation vers d'autres ministères et organismes fédéraux. Le secteur des télécommunications au Canada n'est pas structuré de manière optimale aux fins d'une prestation complète des services du programme. Bien que des organismes du gouvernement fédéral puissent avoir la capacité d'organiser leurs propres services de télécommunications, aucun n'a la capacité ou n'est bien placé pour fournir une prestation complète des services de télécommunications du gouvernement fédéral.
Le paysage des télécommunications au Canada comprend une combinaison de fournisseurs de services nationaux et régionaux. En 2008, le marché selon la valeur de l'industrie des télécommunications filairesNote de bas de page 12 était en grande partie dominé par Bell Canada, dont la part du marché était de 66 %. Telus suivait loin derrière avec 26 %, Manitoba Telecom Services détenait 8 % et les autres fournisseurs de services (y compris les fournisseurs régionaux) représentaient moins de 1 % du marché. En ce qui concerne les services sans fil, le marché concurrentiel était très différent puisque Rogers Sans-fil détenait 37 % du marché, Bell Canada, 30 %, Telus, 29 % et les autres fournisseurs de services (y compris des fournisseurs régionaux), 4 %. Le paysage étant diversifié et concurrentiel, le gouvernement fédéral doit disposer d'une organisation interne qui participe à un processus de soumission concurrentielle pour non seulement atteindre des prix et des marchés optimaux pour les services, mais également maintenir un environnement concurrentiel ouvert à tous les intervenants dans le marché.
Bien qu'il existe une possibilité pour les grandes et les moyennes organisations fédérales d'assumer la responsabilité de leurs propres processus de soumission concurrentielle pour les services de télécommunications étant donné qu'elles bénéficient déjà d'économies d'échelle, la nécessité pour les petites organisations fédérales de collaborer pour atteindre la masse critique demeure. Le ministère peut tirer avantage d'économies d'échelle en coordonnant l'approvisionnement en services de télécommunications pour les autres ministères et organismes fédéraux, ce qui permet de réduire les coûts administratifs liés au processus d'approvisionnement. Comme on l'indique plus haut, certaines organisations fédérales ont des besoins particuliers qui sont supérieurs à ceux de la plupart des clients. C'est pourquoi la création de services communs sur mesure en réponse aux besoins particuliers de certaines organisations fédérales pourrait se révéler non rentable.
De manière générale, le programme fournit, à titre d'agent fédéral pour l'approvisionnement et la prestation centralisés des services de télécommunications, une plus grande valeur ajoutée aux ministères clients que ne le feraient les autres solutions possibles.
Conclusions : Rendement
Concernant l'atteinte des résultats, le fondement du programme à l'égard de l'évaluation du rendement est solide. Toutefois, les liens entre les données sur le rendement et l'évaluation de la réalisation des résultats comportent des lacunes. En recourant à d'autres méthodes, l'évaluation a pu constater que le programme était sur la bonne voie pour atteindre les résultats escomptés. L'adoption du programme progressant, la fragmentation de l'infrastructure des télécommunications diminue à l'échelle du gouvernement du Canada. Les clients se disent satisfaits de la qualité des services fournis par le programme.
Le programme a permis à ses clients des économies et des réductions de coûts. Bien qu'il ne soit pas possible de quantifier directement l'ensemble des économies et des réductions réalisées, il y a des preuves que l'efficience accrue résultant d'approvisionnements à grande échelle pourrait se traduire par un rapport coût-bénéfice positif pour les clients et pour le gouvernement du Canada dans son ensemble.
Au moment de l'évaluation, des mesures du rendement n'avaient pas été mises en place pour évaluer de manière adéquate la capacité du programme à réduire les risques en matière de TI dans l'exécution du programme. Bien que les clients soient d'avis que le programme est en mesure de réduire efficacement les risques en matière de TI liés à l'exécution du programme à leur organisation, le manque de données sur le rendement fait en sorte qu'il est impossible de confirmer les perceptions des clients.
Concernant l'efficience du programme, la méthode d'établissement des coûts utilisée au moment de l'évaluation ne permet pas d'assurer une efficience et une économie optimales. Bien que le programme utilise un processus de soumission concurrentielle pour s'assurer d'obtenir un prix optimal pour les services acquis du secteur privé, son utilisation comme outil de comparaison est incomplète puisqu'elle ne tient pas compte du coût total pour le client (lorsque les prix des services facturés aux clients comprennent une majoration des prix). Durant la période d'évaluation, les pratiques d'établissement des coûts et d'analyse comparative étaient dans l'ensemble insuffisantes pour déterminer l'efficience du programme.
Pour ce qui a trait à l'économie du programme, le fonds renouvelable a recouvré de manière constante les coûts au cours de la période de cinq ans. Les surplus générés au cours de ces cinq ans ont servi à soutenir la migration du secteur de la sécurité de la TI vers le fonds renouvelable. Le service obligatoire comporte des exigences différentes relativement à la démonstration de l'économie, mais la méthode d'établissement des coûts ne permet pas de le faire. De plus, l'harmonisation du programme avec les exigences particulières de la politique sur les services obligatoires est incertaine.
Pour ce qui est du rendement général (atteinte des résultats, efficience et économie) du programme, l'atteinte des résultats a pu être clairement démontrée dans la plupart des cas. La méthode d'établissement des coûts du programme ne permet pas de gérer efficacement les activités et ne représente pas une économie accrue pour les services offerts. De plus, il n'y a pas de solution de rechange viable à la prestation des services du programme à titre de fournisseur de services centralisé pour le gouvernement fédéral.
Conclusions générales
Il existe un besoin continu à l'égard du programme et de ses services, comme le montre la demande continue pour ses services facultatifs. Le programme était harmonisé avec les priorités du gouvernement fédéral et de TPSGC. Son rôle comme fournisseur de services de télécommunications aux organismes fédéraux est le plus avantageux pour le gouvernement, et le programme assume ainsi un rôle et une responsabilité appropriés.
Le programme avait un bon rendement concernant l'atteinte de ses résultats. À cet égard, le programme constitue un avantage certain pour ses clients et le gouvernement fédéral dans son ensemble. L'économie et l'efficience du programme pourraient être maximisées grâce à l'amélioration des activités d'établissement des coûts et d'analyse comparative. Le fonds renouvelable dans le cadre duquel le programme fonctionne a constamment affiché des surplus, ce qui est la preuve que le programme dans l'ensemble recouvre ses coûts.
Réponse de la direction
La Direction générale des services d'infotechnologie est d'accord avec les recommandations et les conclusions du rapport, et entend se conformer aux recommandations de l'évaluation en mettant en œuvre les plans d'action de la gestion, détaillés ci-dessous.
Recommandations et Plan d'action de la gestion
Recommandation 1 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait élaborer et mettre en œuvre une méthode d'établissement des coûts conforme aux pratiques exemplaires de l'industrie, en consultation avec le Chef des finances.
- Plan d'action de la gestion 1.1 : Un cadre de comptabilité par activités (CPA) été élaboré et sera mis en œuvre à la Direction générale des services d'infotechnologie au début de 2011-2012. Cette initiative permettra d'adopter une méthode d'établissement des coûts qui sera, de manière constante, conforme aux pratiques recommandées. Le projet de CPA est harmonisé aux politiques et aux pratiques du Secrétariat du Conseil du Trésor en matière d'établissement des coûts.
- Plan d'action de la gestion 1.2 : La méthode d'établissement des coûts utilisée pour chaque service de télécommunications est décrite et consignée dans un document intégré, de même que les mises à jour à venir. Ce document fournira les détails des résultats escomptés améliorés en ce qui concerne l'application, à chaque service, de la méthode d'établissement des coûts. Ce document amélioré sera passé en revue chaque année pour s'assurer que la méthode d'établissement des coûts de chaque service a été examinée en fonction du cadre de gestion du cycle de vie.
Recommandation 2 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait élaborer et mettre en œuvre une stratégie d'analyse comparative permettant d'assurer des prix concurrentiels à ses clients et de garantir l'optimisation des ressources, en consultation avec le Chef des finances.
- Plan d'action de la gestion 2.1 : La Direction générale des services d'infotechnologie procède actuellement à l'élaboration et à la mise en œuvre d'une stratégie d'analyse comparative, afin de garantir des prix concurrentiels à ses clients et d'optimiser les ressources. La stratégie sera mise à jour en fonction des nouveaux éléments du cadre d'analyse comparative, conformément aux normes et aux pratiques exemplaires de l'industrie.
- Plan d'action de la gestion 2.2 : Des points repères seront établis pour tous les services de télécommunications à l'aide des méthodes mises à jour dans le cadre de la stratégie d'analyse comparative de la Direction générale des services d'infotechnologie. Ce processus a pour but de veiller à l'optimisation des ressources pour les ministères et les organismes.
- Plan d'action de la gestion 2.3 : Le processus actuel qui vise à s'assurer que des analyses comparatives sont effectuées périodiquement par des tierces parties pour les services clés sera également amélioré en fonction des besoins du cycle de vie et des demandes relatives au catalogue de produits et services.
Recommandation 3 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait effectuer des analyses des besoins pour chacun des services de transmission de données et élaborer un plan d'action permettant de régler les questions relatives à l'optimisation des ressources, aux relations avec les clients et à l'adoption du portefeuille des services de données.
- Plan d'action de la gestion 3.1 : Un document sur la stratégie et les besoins en télécommunications sera mis à jour et intégrera une analyse des besoins pour chacun des services de données.
- Plan d'action de la gestion 3.2 : Un plan d'action sera mis à jour ou élaboré pour traiter des questions d'optimisation des ressources, de relations avec les clients et d'adoption du portefeuille complet des télécommunications, y compris chacun des portefeuilles des services des données. La première version révisée du document sur la stratégie et les besoins sera terminée cette année, et un processus sera mis en œuvre pour s'assurer que le document est révisé chaque semestre.
Recommandation 4 : Le Président-directeur général de la Direction générale des services d'infotechnologie devrait renforcer et officialiser la stratégie de mesure de rendement afin de mieux faire état des résultats.
- Plan d'action de la gestion 4.1 : La Direction générale des services d'infotechnologie mettra à jour la stratégie de mesure du rendement du Comité des opérations de la Direction générale de la sécurité des TI – comité et processus d'établissement de rapports mensuels sur le rendement opérationnel de la DGSTI – afin de fournir de meilleurs rapports sur les résultats. La stratégie continuera d'être harmonisée aux politiques de la Direction du dirigeant principal de l'information (DDPI) du Secrétariat du Conseil du Trésor (SCT) et de se conformer aux normes et aux pratiques exemplaires de l'industrie.
- Plan d'action de la gestion 4.2 : Le tableau de bord et le rapport sur la mesure du rendement des services de télécommunications seront améliorés, et le Comité des opérations de la Direction générale de la sécurité des TI les utilisera conformément à la stratégie de mesure du rendement de la Direction générale des services d'infotechnologie. Le tableau de bord de la gestion du rendement comprendra les objectifs principaux et les indicateurs de rendement correspondants. Le rapport et le tableau de bord seront examinés régulièrement par le Comité d'examen du portefeuille de produits de télécommunications et le Comité exécutif des produits et des services et feront l'objet d'un rapport.
À propos de l'évaluation
Autorisation
Le Comité de vérification et d'évaluation de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques de 2009-2010 à 2013-2014.
Objectif
L'évaluation a été réalisée conformément aux normes d'évaluation du gouvernement du Canada et du Bureau de la vérification et de l'évaluation de TPSGC. Elle s'est déroulée entre août 2009 et mars 2010, en trois phases (planification, examen et rapport). Elle visait deux objectifs :
- déterminer la pertinence du programme : le besoin continu à l'égard du programme, son harmonisation avec les priorités gouvernementales et sa conformité aux responsabilités et aux rôles du gouvernement fédéral;
- mesurer le rendement du programme : l'atteinte des résultats escomptés et la démonstration de l'efficacité et des économies réalisées par le programme.
Approche
Pour examiner les problèmes et les questions d'évaluation, on a eu recours aux éléments de preuve suivants.
Examen des documents : L'examen initial des documents a permis de comprendre le programme et son contexte en vue de la phase de planification. Les documents examinés comprennent les documents fournis par le programme et les documents portant sur ce dernier.
On a examiné un certain nombre de documents afin d'évaluer la pertinence continue des SPTI par rapport aux priorités ministérielles et pangouvernementales. Il s'agissait de lois et de politiques, de discours du Trône, de rapports de TPSGC sur les plans et les priorités ainsi que de rapports de rendement du ministère.
L'équipe d'évaluation a également examiné un large éventail de documents pour mieux connaître les résultats escomptés et réels. Il s'agissait, notamment, de rapports opérationnels mensuels, de rapports et de plans financiers, d'allocations budgétaires, de rapports annuels et de plans d'affaires de la Direction générale des services d'infotechnologie ainsi que d'enquêtes sur la satisfaction de la clientèle.
Analyse documentaire : Un examen de plusieurs documents a permis de placer le programme dans un contexte national et international, d'appuyer son modèle par des connaissances théoriques, de fournir une base de comparaison aux fins d'évaluation et de cerner d'autres modèles de prestation par une analyse des autres administrations.
Entrevues : L'équipe d'évaluation a mené des entrevues auprès des gestionnaires et du personnel de TPSGC à l'intérieur et à l'extérieur du programme (n=23). De plus, elle a interrogé des représentants de ministères et d'organismes clients (n=16) et du Secrétariat du Conseil du Trésor (n=3). L'analyse qualitative des entrevues a fourni des données sur les activités, les extrants et les résultats attendus du programme, les intervenants, la pertinence et le rendement du programme du point de vue des gestionnaires, des ministères clients et d'autres parties intéressées. On a utilisé des guides d'entretien.
Sondage : L'équipe d'évaluation a mené un sondage afin de recueillir le point de vue des clients sur le rendement du programme. Le sondage s'est déroulé du 20 janvier 2010 au 10 février 2010. La liste initiale de participants a été établie à partir de la liste des membres du comité de gestion des télécommunications et du Groupe consultatif des télécommunications. On a complété la liste en faisant appel à des personnes figurant sur la liste de distribution du Conseil des dirigeants principaux de l'information et de chefs des TI. Le sondage a permis d'étayer et d'approfondir davantage les constatations. En tout, 84 ministères et organismes ont été invités à participer, qui représentaient 98 % des recettes du programme en 2008-2009; Il y eu 58 répondants (représentant 84 % des revenus du programme en 2008-2009). Le taux de réponse global fut de 69 %.
Analyse financière : On a examiné et analysé les données financières relatives aux budgets, aux recettes et aux dépenses du programme afin de mieux comprendre quels ministères et organismes avaient adopté les services de télécommunications et, quels services avaient été adoptés, et connaître la rentabilité relative de chaque service du programme. En se fondant sur l'examen des documents, des dossiers financiers et de la documentation, l'analyse de l'établissement des coûts a permis de déterminer le rapport coût-efficacité du programme.
Analyse des données : On a analysé les données provenant du cube des dépenses de la Direction générale des approvisionnements pour obtenir des renseignements sur les dépenses relatives aux réseaux de communication vocale et de transmission de données à l'échelle du gouvernement du Canada. Cette information a servi à calculer la part de marché relative du programme pour les télécommunications. De plus, on a examiné les données sur le rendement du programme afin de déterminer dans quelle mesure le programme atteignait les résultats escomptés sur le plan de la qualité des services. L'analyse des données a porté sur cinq exercices (de 2004-2005 à 2008-2009). Le cas échéant, la période visée a été modifiée comme suit :
- mesures du taux d'adoption (de 2004-2005 à 2008-2009);
- mesures des économies ou des réductions (de 2006-2007 à 2008-2009);
- lorsqu'elles étaient disponibles et au besoin, les données de 2009-2010 ont été utilisées.
Opinion d'experts : L'équipe d'évaluation a tiré parti d'une opinion d'experts dans trois secteurs. D'abord, mentionnons la Bibliothèque d'infrastructures des technologies de l'information (ITIL), qui est un ensemble de concepts et de pratiques recommandés pour la gestion des services de TI. Les mesures et les données relatives au rendement ont été examinées et analysées par un professionnel certifié ITIL, qui a évalué la mesure dans laquelle le programme des services de télécommunications suit les pratiques exemplaires de l'industrie. Ensuite, l'équipe d'évaluation a communiqué avec la firme Gartner pour vérifier si l'infrastructure des TI était en voie d'être renouvelée conformément aux pratiques de l'industrie. Finalement, l'équipe d'évaluation a examiné des analyses de coûts pour des services de réseau de données réalisées par des consultants-experts externes.
Limites de la méthodologie
Examen des documents : Nous nous sommes efforcés d'examiner et de documenter toutes les données fournies par le programme. En raison de la grande quantité de données provenant du programme et de l'examen de tous les documents portant sur la question, et de la complexité de l'environnement des télécommunications, l'équipe d'évaluation a mis ces documents en ordre de priorité en fonction de leur pertinence, de leur utilité et de leur intégralité. Par conséquent, certains documents ont servi plus que d'autres. Toutefois, nous nous sommes efforcés de cerner et de catégoriser systématiquement les données provenant de l'ensemble des documents. Ces données ont ensuite été appuyées par d'autres documents ou d'autres méthodes de recherche.
Analyse documentaire : Nous disposions d'un vaste éventail de documents sur les services partagés de TI au sein des organisations du secteur public et sur l'impartition des services de réseau local. Nous avons tenu compte de toute cette documentation provenant de sources sûres afin d'effectuer une évaluation impartiale.
Entrevues et sondage : Lorsqu'ils n'ont pas accès à des données sur le rendement, les évaluateurs font appel à deux outils communs pour mesurer le rendement des programmes, soit les entrevues et les sondages. Il faut tenir compte du fait que les personnes qui participent à une entrevue ou à un sondage expriment une opinion en se fondant sur leur point de vue personnel.
Pour ce qui est des entrevues, les fournisseurs de produits et de services de TPSGC n'ont pas été interviewés.
En ce qui concerne les sondages, chaqueministère ou organisme dispose d'une structure organisationnelle légèrement différente pour les services de communication vocale et les services de réseau de données. Par conséquent, au sein d'un ministère ou d'un organisme, les deux services ne relèvent pas toujours d'un même groupe. Dans plusieurs cas, les services de communication vocale étaient gérés par le groupe responsable des locaux. Dans certains cas, les services de communication vocale et de transmission de données étaient organisés par région. Dans le cadre du sondage, on a encouragé les répondants à consulter leurs collègues (le cas échéant) pour s'assurer de fournir une réponse complète au nom de leur ministère ou organisation.
Analyse des données : Pour calculer la part de marché et les dépenses du gouvernement fédéral en matière d'infrastructure des TI, l'équipe d'évaluation a utilisé les données du cube de dépenses fournies par la Direction générale des approvisionnements. Cette dernière a rassemblé les données relatives aux dépenses fédérales fournies par les ministères et les organismes. La Direction générale a indiqué que les données du cube de dépenses représentaient environ 85 % des dépenses totales du gouvernement fédéral. Elle a extrapolé les 15 % restants à partir des Comptes publics du Canada. Toutes les transactions ont été classifiées selon les sous-catégories qui décrivent le mieux la dépense, selon la description de l'article, le nom du fournisseur (et l'industrie), le code d'article d'exécution du ministère et le code d'article économique. La Direction générale des approvisionnements catégorise les dépenses. On a effectué la validation directement auprès des ministères et des organismes afin de veiller à ce que les transactions soient classifiées avec exactitude.
Toutefois, l'équipe d'évaluation a formulé trois mises en garde concernant l'utilisation des données du cube des dépenses dans les comptes rendus des dépenses :
Premièrement, le volume très élevé de données n'a pas permis d'examiner l'ensemble des transactions, donc l'objectif de validation des dépenses du gouvernement fédéral intégrées dans le cube des dépenses a été revu à la baisse (80 %). La Direction générale des approvisionnements n'a pas validé les dépenses tirées des Comptes publics du Canada.
Deuxièmement, il pourrait exister des écarts entre les codes d'article économique et les codes de l'arborescence d'approvisionnement, en raison de différences dans les structures de classification.
Troisièmement, puisque les codes étaient attribués manuellement aux transactions dans l'arborescence d'approvisionnement pour la gestion des dépenses, il se peut qu'il y ait eu des erreurs humaines.
En ce qui concerne le calcul du taux d'adoption, on a établi qu'il correspondait aux recettes du programme divisées par les dépenses totales de télécommunications du gouvernement fédéral. Toutefois, à certains moments, le programme n'effectuait pas le suivi des recettes pour certains de ses services, notamment ceux fournis directement en courtage entre le fournisseur et les clients dans le cadre d'un contrat établi par le programme. Dans ces cas, l'équipe d'évaluation, en consultation avec le programme, a retiré les sous-catégories appropriées des données du cube des dépenses, ce qui a été jugé approprié puisque ces services doivent être obtenus dans le cadre du contrat établi par le programme.
Enfin, le cas échéant, les sous-catégories de services pour lesquels le programme n'a pas procédé à une soumission concurrentielle ont été retirées du cube des dépenses pour avoir une meilleure représentation de l'accès au marché. Par exemple, des services spécialisés, comme les télécommunications à bord des navires et les satellites du ministère de la Défense nationale, répondent à des besoins que les autres ministères ou organismes gouvernementaux n'ont pas, de sorte que ces services spécialisés ne sont pas fournis dans le cadre du programme. Ces sous-catégories ont été retirées suite à des consultations avec le programme qui les a vérifiées. De plus, les sous-catégories et leurs définitions limitées ont représenté un défi pour le calcul du taux d'adoption, puisqu'une incertitude entourait la décision de retirer ou non les sous-catégories du dénominateur du taux d'adoption. Pour atténuer cette incertitude, on a fourni une échelle pour mieux illustrer le taux d'adoption du programme. Malgré ce fait, le taux d'adoption indiqué dans le rapport a pu être sous-estimé ou surestimé.
Les nombreuses pistes examinées ont servi à réduire ces contraintes.
Présentation de rapports
L'équipe d'évaluation a consigné ses constatations dans un rapport provisoire du directeur, qui a été examiné à l'interne par les responsables de l'assurance de la qualité du Bureau de la vérification et de l'évaluation. Elle a remis le rapport provisoire du directeur au directeur général du bureau de première responsabilité (BPR), accompagné d'une demande de confirmation des faits et d'appréciation du rapport. L'ébauche du rapport du dirigeant principal de la vérification interne a été rédigée et transmise au Président-directeur général de la Direction générale des services d'infotechnologie aux fins d'acceptation à titre de BPR. On a demandé au BPR de répondre par l'entremise d'un Plan d'action de la gestion. L'ébauche du rapport final, y compris le Plan d'action de la gestion, a été présentée au Comité de vérification et d'évaluation de TPSGC aux fins d'approbation du sous-ministre en janvier 2011. Selon les observations du Comité, l'ébauche du rapport final et le Plan d'action de la gestion a été approuvé en mars 2011. Le rapport final sera présenté au Secrétariat du Conseil du Trésor et publié sur le site Web de TPSGC.
Équipe de projet
L'évaluation a été menée par le personnel du Bureau de la vérification et de l'évaluation, sous la supervision du Directeur de l'Évaluation et sous la direction générale du Chef adjoint de la surveillance.
Annexe A
Sommaire du tableau
Une matrice d'évaluation est un tableau qui précise les indicateurs et les sources de données utilisées pour répondre aux questions d'évaluation. Elle découle du modèle logique du programme.Questions d'évaluation | Indicateurs | Source(s) des données |
---|---|---|
Pertinence |
||
1. Dans quelle mesure le programme des Services de télécommunications continue-t-il à répondre à un besoin démontrable (c.à-d. accroître la normalisation et le regroupement, et réduire la fragmentation dans l'infrastructure de TI à l'échelle du gouvernement du Canada en ce qui concerne les services de télécommunications)? |
|
|
2. Le programme des Services de télécommunications respecte-t-il toujours les priorités de TPSGC et du gouvernement du Canada? |
|
|
3. Dans quelle mesure le programme des Services de télécommunications s'harmonise-t-il avec les rôles et responsabilités du gouvernement fédéral? |
|
|
Rendement – Atteinte des résultats |
||
4.a Dans quelle mesure le programme des services de télécommunications réussit-il à susciter ou à créer l'adoption des services partagés de TI? |
|
|
4.b Quels sont les obstacles à l'adoption des services partagés de TI? |
|
|
5.a Dans quelle mesure les SPTI réussissent-ils à satisfaire aux exigences négociées des ministères et des organismes en matière de service? |
|
|
5.b Dans quelle mesure les SPTI ont-ils fourni un service amélioré aux ministères et aux organismes au fil du temps? |
|
|
6. Dans quelle mesure le programme des services de télécommunications contribue-t-il à réduire les risques en matière de TI liés à l'exécution des programmes (p. ex., infrastructure de TI vieillissante, sécurité, protection des renseignements personnels et reprise après sinistre)? |
Infrastructure de TI vieillissante
Sécurité de la TI et reprise après sinistre
|
|
Rendement : Démonstration de l'efficience et de l'économie |
||
7. Dans quelle mesure le programme des services de télécommunications est-il le moyen le plus approprié et le plus efficient pour l'atteinte des objectifs et des résultats en matière de coût de l'infrastructure de TI du GC? |
Autres moyens
Économies de coûts
|
|
Notes de bas de page
- Note de bas de page 1
-
Il est important de noter que pour ce qui concerne les services de la Voie de communication protégée, l'évaluation a porté uniquement sur la composante réseau, car il s'agit là du seul élément qui fait partie du secteur d'activité des services de télécommunications. Les aspects des services de la Voie de communication protégée relevant du secteur d'activité de la Sécurité de la TI (p. ex. les laissez-passer électroniques) ont été exclus de l'évaluation.
- Note de bas de page 2
-
Nous avons calculé le taux d'adoption en comparant les recettes du programme au total des dépenses fédérales en matière de télécommunications qui sont indiquées dans la base de données du cube des dépenses de la Direction générale des approvisionnements. Pour plus de renseignements sur cette base de données, veuillez consulter la partie intitulée « À propos de l'évaluation » à la fin du présent rapport. »
- Note de bas de page 3
-
En raison de l'incertitude des définitions du codage de la base de données du cube des dépenses, nous avons calculé une fourchette pour mieux représenter le taux d'adoption du programme.
- Note de bas de page 4
-
L'article 5.5 de la Politique sur les services communs stipule ce qui suit : « L'approbation du Conseil du Trésor est requise lorsqu'un ministère ou un organisme souhaite cesser d'utiliser la totalité ou une partie d'un service obligatoire en vertu d'une politique du Conseil du Trésor (et non d'une disposition législative). Lorsqu'il demande une exemption au Conseil du Trésor au sujet de l'utilisation des services obligatoires en vertu d'une politique du Conseil du Trésor (et non d'une disposition législative), le ministère doit soumettre au Conseil du Trésor une analyse commerciale qui expose les avantages qu'il prévoit tirer de cette exemption. »
- Note de bas de page 5
-
Les économies de coûts consistent, pour les clients, à payer moins cher pour les services assurés par l'entremise du programme que s'ils les avaient achetés directement auprès du fournisseur. Les réductions de coûts correspondent à des réductions des coûts des services auxquels les clients sont déjà abonnés. Ces réductions s'appliquent à des services rodés du portefeuille de services du programme.
- Note de bas de page 6
-
En fonction des éléments de service utilisé par les clients.
- Note de bas de page 7
-
En fonction des éléments de service utilisé par les clients.
- Note de bas de page 8
-
Économies réalisées par certains clients seulement.
- Note de bas de page 9
-
Économies réalisées par certains clients seulement.
- Note de bas de page 10
-
Année de comparaison entre les Services de soutien de l'équipement de réseau (SSER) et l'ancien service.
- Note de bas de page 11
-
La marge sur coût direct correspond aux recettes moins les coûts directs.
- Note de bas de page 12
-
Les télécommunications filaires comprennent la prestation des services de téléphonie vocale et d'autres services de transmission de l'information utilisant le réseau filaire plutôt que les systèmes sans fil.
- Date de modification :