Évaluation du sous-programme Services d'imagerie documentaire (1.7.4) (rapport final)

Introduction

1. Le présent rapport fait état des résultats de l'Évaluation du sous-programme Services d'imagerie documentaire, qui constitue l'élément 1.7.4 de l'Architecture d'alignement des programmes (AAP) 2014 à 2015 de Travaux publics et Services gouvernementaux Canada (TPSGC). Ce sous-programme a été intégré à l'Architecture d'alignement des programmes de TPSGC en 2008.

2. Le Centre de solutions en imagerie documentaire (CSID) [le Programme] fait partie de la Direction du contrôle du remboursement des chèques (DCRC) de la Direction générale de la comptabilité, de la gestion bancaire et de la rémunération (DGCGBR).

3. Cette évaluation figurait dans le Plan de vérification et d'évaluation axé sur les risques 2013 à 2018. Celle-ci examine la pertinence et le rendement du Programme pour la période allant d'avril 2012 à septembre 2014. La planification et la recherche ont été effectuées entre mai et décembre 2014, conformément aux Normes d'évaluation pour le gouvernement du Canada et à la Politique sur l'évaluation de TPSGC. Pour obtenir de plus amples renseignements sur l'approche, les méthodes et les limites de la présente évaluation, consulter l'Annexe A : Au sujet de l'évaluation.

4. La Direction de l'évaluation a effectué une évaluation de calibration axée sur les risques afin de déterminer la meilleure approche à adopter pour réaliser cette évaluation. Elle a ainsi déterminé qu'une évaluation simplifiée s'appliquerait bien aux services d'imagerie documentaire pour les raisons suivantes :

• le programme représente moins de 1 % des dépenses annuelles de TPSGC
• le programme fonctionne grâce à un mécanisme de prestation centralisé
• le programme suscite un faible intérêt auprès du public

Pourquoi est-ce important

5. En 2014, le gouvernement du Canada a lancé la stratégie « Canada numérique 150 » visant à orienter l'avenir numérique du pays. Cet avenir comprend notamment la numérisation des documents du gouvernement. Par exemple, à compter de 2017, Bibliothèque et Archives Canada n'acceptera des organisations fédérales que les documents numériques et leurs métadonnées connexes aux fins d'archivage. On estime que les ministères et organismes fédéraux produisent chaque année jusqu'à 93,3 millions de pages de documents. La numérisation peut aider les ministères et organismes fédéraux à respecter leurs obligations en matière de tenue de dossiers. Pour ces raisons, ainsi que pour respecter les obligations du Ministère en vertu de la Politique sur l'évaluation du Conseil du Trésor, il est important d'évaluer périodiquement la pertinence et le rendement des services d'imagerie documentaire de TPSGC afin de faciliter la prise de décisions.

Au sujet du programme

6. En 2001, à l'aide d'une technologie d'imagerie moderne, la DCRC a mis en œuvre un système automatisé à l'appui du programme du receveur général du Canada qui visait à effectuer par voie électronique le rapprochement des chèques papier reçus des institutions financières. Ce système automatisé comprenait un processus qui créait une copie numérique (image) des chèques (document) afin d'effectuer un rapprochement en ligne avec le système comptable. La DCRC continue de mener cette activité à l'interne pour le receveur général du Canada.

7. En 2002, la DCRC a commencé à offrir ses services d'imagerie documentaire selon le principe du recouvrement des coûts dans le cadre d'autres programmes de TPSGC, de même qu'à d'autres ministères et organismes fédéraux, créant ainsi le programme autonome appelé CSID. L'imagerie documentaire (également appelée imagerie électronique ou imagerie dans le présent rapport) est un processus technologique au moyen duquel les utilisateurs numérisent des documents papier (chèques, lettres, formulaires, photos et microfilms) dans un système informatique afin de les stocker ensuite en format numérique. Ce processus consiste à indexer des fichiers numériques ou à saisir des métadonnées^{Note de bas de page 1} sur les fichiers numériques dans un système informatique, puis à sauvegarder les fichiers numériques sur une forme quelconque de technologie de stockage (CD, lecteur de disque dur, serveur) aux fins de consultation ou d'extraction. Le CSID utilise une technologie d'imagerie avancée.

8. Les activités de la DCRC et du CSID sont exercées à Matane (Québec), au moyen d'une infrastructure commune de numériseurs de production à grand volume. Le CSID relève du directeur général de la DCRC et du directeur, lesquels travaillent à Gatineau, où un petit bureau de projet a été mis sur pied pour la consultation avec les clients et la gestion des partenariats.

9. Le CSID fournit aux ministères et organismes fédéraux toute une gamme de services de soutien dans le domaine de l'imagerie documentaire, lesquels services sont appelés « solutions d'imagerie documentaire ». Le processus d'imagerie documentaire utilisé par le CSID est présenté à l'Annexe B : Processus d'imagerie documentaire. Le CSID travaille d'abord avec ses clients afin de cibler les domaines de soutien requis (phase de définition des exigences opérationnelles, phase d'analyse et de configuration, et phase de mise à l'essai), puis fournit les services sélectionnés par le client (phase de production).

10. Le CSID offre des services aux clients dans les 4 catégories suivantes :

1. Services essentiels : Dans ce niveau de service, aucun service de préparation de documents n'est fourni avant la numérisation. Le traitement des fichiers numériques se limite à la saisie de données d'au plus 8 caractères. Aucun processus d'assurance de la qualité n'est appliqué. Les fichiers numériques sont renvoyés au client à l'aide d'un média externe ou d'un transfert de fichiers électroniques
2. Services de base : Dans ce niveau de service, des services de préparation de documents restreints sont fournis avant la numérisation. La saisie de données (c'est-à-dire le nombre de fichiers et le nom des fichiers) est plus importante que pour les services essentiels. Un processus d'assurance de la qualité est utilisé. Le CSID renvoie les fichiers numériques au client à l'aide d'un média externe ou d'un transfert de fichiers électroniques
3. Services améliorés : Dans ce niveau de service, des services de base sont fournis, mais les documents du client peuvent également être reçus à l'aide de plateformes multiples (numériseur, télécopieur, etc.). Les processus utilisés pour la préparation, la numérisation et l'assurance de la qualité des documents sont les mêmes que ceux prévus pour les services de base; cependant, un plus grand nombre de données sont saisies et les étapes de validation des données peuvent être effectuées à l'aide d'extractions de données fournies par le client. Dans ce niveau de service, le CSID peut gérer les fichiers numériques au nom du client; il donne alors aux utilisateurs autorisés un accès aux fichiers numériques à l'aide d'un portail Web sécurisé
4. Services complets : Dans ce niveau de service, des services améliorés sont fournis, mais le CSID peut également soutenir ses clients dans la gestion de leurs propres utilisateurs. Au tout début de son processus de prestation de services, le CSID peut gérer la réception de documents à partir de différentes technologies et d'utilisateurs différents : c'est-à-dire que le CSID peut recevoir des documents au nom de ses clients à l'aide d'une case postale centralisée, par courriel ou par télécopieur. À la toute fin de ce processus, le CSID peut établir une interface avec la technologie de l'information de ses clients lors de la transmission des fichiers numériques, fonction à partir de laquelle le Centre peut permettre à ses clients de gérer leur propre clientèle

11. Le CSID a établi 3 gammes de prix pour 3 de ses 4 niveaux de service (services de base, améliorés et complets). Il offre également d'autres services personnalisés pour les documents secrets et archivistiques, pour lesquels une estimation de prix peut être préparée.

12. De plus amples renseignements sur le type et le volume des services fournis dans le cadre du programme au nom de ses clients figurent plus loin dans le présent rapport.

13. L'équipe d'évaluation a préparé un modèle logique (Annexe C : Modèle logique des services d'imagerie documentaire) pour le CSID en collaboration avec celui-ci. Ce modèle logique définit les résultats escomptés du CSID et les activités entreprises par ce dernier pour atteindre ces résultats. Les paragraphes suivants décrivent brièvement les activités figurant dans le modèle logique.

1. Sensibilisation : Cette activité consiste principalement à :
   1. participer (au moyen de kiosques d'information ou de stands) à diverses foires gouvernementales ou à d'autres événements afin de promouvoir les services offerts par TPSGC dans le domaine;
   2. assurer une présence au sein de la communauté de la gestion des dossiers et de l'information du gouvernement fédéral;
   3. communiquer avec les groupes de service à la clientèle à mesure que les services sont inclus dans des ententes de services ministérielles et que les normes de service sont affichées sur le site Web de TPSGC
2. Gestion des clients, des coûts et du rendement : Cette activité consiste principalement à :
   1. mener des évaluations des besoins des clients pour aider les ministères fédéraux à établir leurs exigences en matière d'imagerie;
   2. élaborer et gérer les protocoles d'entente entre les ministères clients et TPSGC;
   3. établir et maintenir le modèle de recouvrement des coûts conformément au cadre de recouvrement des coûts de TPSGC, et effectuer le traitement des comptes créditeurs et des comptes débiteurs;
   4. définir et surveiller les normes de service et les mesures de rendement;
   5. rédiger des rapports pour les différents intervenants
3. Opérations : Cette activité vise les processus, les procédures et les systèmes utilisés pour réaliser les activités d'imagerie documentaire et les activités connexes. Les processus, les procédures et les systèmes sont certifiés de manière indépendante et le CSID assure la fonction d'assurance de la qualité interne pour ses opérations. Les activités, qui varient selon les niveaux de service choisis par le client, comprennent les catégories suivantes :
   1. Gestion centralisée du courrier entrant (y compris le courrier régulier, le service de messagerie et la télécopie) : Recevoir la correspondance et en faire le tri, faire le suivi des documents, ouvrir et préparer les documents en vue de la numérisation
   2. Numérisation : Numériser les documents dans le format sélectionné par le client et vérifier la qualité des images à l'aide d'outils automatisés et manuels
   3. Extraction et classification automatisée et manuelle des données : Indexer et classifier les données, et utiliser un logiciel automatisé pour extraire les renseignements clés (c'est-à-dire les métadonnées) des documents papier
   4. Accès, archivage et élimination : Archiver les données et fournir des services de gestion des documents à l'aide d'un système sécurisé. Les images peuvent être accédées en les intégrant aux systèmes de technologie de l'information du client et en ligne à l'aide de l'intranet du gouvernement. Des services de stockage physique des documents sur le site et de déchiquetage sont également offerts au client

14. Durant l'exercice 2013 à 2014, des recettes de 11,45 M $ et des dépenses de 11,42 M $ ont été déclarées; ces dépenses comprenaient les salaires et les coûts connexes associés aux 141 employés (environ 107 équivalents temps plein) du programme.

Autorité

15. Le CSID, à titre d'activité interne de la DCRC, a été mis sur pied en vertu des pouvoirs du receveur général du Canada. Aucun autre pouvoir n'a été demandé pour la prestation de services d'imagerie aux autres ministères et organismes fédéraux. Conformément à la Loi sur le ministère des Travaux publics et des Services gouvernementaux et à la Politique sur les services communs du Conseil du Trésor, TPSGC a le pouvoir de facturer des coûts pour ses services et de recouvrer de tels coûts. Le pouvoir permettant à TPSGC de dépenser les recettes générées par le CSID provient de la Politique sur les autorisations spéciales de dépenser les recettes du Conseil du Trésor.

Rapport d'évaluation

16. Les résultats de la recherche et de l'analyse effectués dans le cadre de l'évaluation sont présentés sous forme de tableau (voir les Section 1 : Pertinence et Section 2 : Rendement). Les tableaux indiquent les constatations, les éléments de preuve, les conclusions et les recommandations selon les éléments à évaluer. Les indicateurs et les sources de données utilisés pour examiner les éléments à évaluer sont également inclus dans le tableau. Ce format de rapport est conforme aux exigences relatives aux rapports d'évaluation établis dans la section 6.4.1a (i à ix) des Normes d'évaluation pour le gouvernement du Canada.

Conclusions de l'évaluation

17. Il existe un besoin continu à l'égard des services du CSID, ainsi qu'un besoin croissant d'obtenir des conseils et des directives pour définir des besoins d'imagerie documentaire et de saisie de données dans le domaine émergent de la numérisation des documents. Il y a une forte demande réelle et prévue en services d'imagerie documentaire des ministères et des organismes fédéraux pour répondre à leurs besoins en matière d'activités et de tenue de dossiers. Le CSID a répondu à ce besoin et a presque atteint sa capacité optimale.

18. Bien que certains autres ministères se chargent eux-mêmes de l'imagerie, il n'y a aucun autre programme « autonome » tel que le CSID au sein du gouvernement du Canada. Même si le secteur privé offre des services semblables, aucune des entreprises visées par l'offre à commandes ne fournit l'ensemble de la gamme de services offerts par le CSID. En outre, le Programme est très complémentaire aux programmes du receveur général et des pensions de TPSGC. L'expérience du CSID dans la définition des exigences en matière d'imagerie et sa capacité à fournir une gamme complète de services, et le contexte opérationnel sûr dans lequel le CSID mène ses activités, ont jeté les bases du travail à accomplir sur le terrain en vue d'élaborer une nouvelle solution d'entreprise à voies multiples à l'appui de la demande accrue à l'égard de la numérisation de documents du gouvernement du Canada. L'évaluation a révélé que le CSID est en train de cerner et d'analyser les besoins opérationnels des ministères fédéraux dans le but de mieux définir la proposition de valeur des services qu'il offre aux clients.

19. Bien que les objectifs du CSID n'aient pas encore été officialisés, il a été déterminé que le programme cadrait avec les priorités gouvernementales et ministérielles, en particulier celles liées à la réalisation de gains d'efficacité, à la protection des renseignements et au développement régional. Les dispositions de la Loi sur le ministère des Travaux publics et des Services gouvernementaux ont jeté les bases pour la poursuite du mandat du CSID ainsi que pour l'établissement d'un service commun au sein du Ministère en vue de fournir des conseils et des services d'imagerie documentaire et de saisie de données aux autres ministères et organismes fédéraux.

20. Les résultats relatifs au rendement du CSID sont, à ce jour, mitigés. Les services du CSID sont conformes aux normes de qualité internationales. Le système de gestion de la qualité est conforme à l'Organisation internationale de normalisation (ISO) et se soumet à des vérifications annuelles afin de maintenir leur certification. L'évaluation a permis de déterminer que le CSID fournit, en règle générale, des services en temps opportun à ses clients; cependant, le programme n'a pas recueilli des données sur l'ensemble des normes de service ayant trait à la rapidité. L'évaluation a permis de déterminer que le CSID a eu de la difficulté à fournir des services à un prix concurrentiel. Des gains d'efficacité ont été observés au cours des exercices 2011 à 2012 et 2012 à 2013, mais le coût moyen par page a augmenté en 2013 à 2014. La direction du programme est au fait de ses barrières actuelles quant à l'établissement de prix concurrentiels et prend des mesures pour accroître son efficacité à l'avenir.

21. L'évaluation n'a pas permis d'évaluer la mesure dans laquelle le recours aux services du CSID par les ministères et organismes et la fourniture à ces derniers d'une infrastructure commune pour les services d'imagerie documentaire et de saisie de données ont permis au gouvernement du Canada de réaliser des économies.

Réponse de la gestion

22. TPSGC a l'intention de passer de l'exécution actuelle de ses services directs d'imagerie documentaire facultatifs à l'adoption d'un modèle d'entreprise ayant principalement recours au secteur privé pour répondre aux besoins en imagerie, ce qui garantit la limitation des coûts, l'optimisation des ressources et la conformité aux normes et aux politiques du gouvernement du Canada. À cette fin, une demande de propositions (DP) a récemment été publiée.

Recommandations et plans d'action de la gestion

Recommandation 1 : Le sous-ministre adjoint (SMA) de la Direction générale de la comptabilité, de la gestion bancaire et de la rémunération (DGCGBR) devrait améliorer la pertinence du programme en :

1. Officialisant la justification et les objectifs des services d'imagerie documentaire offerts de façon continue par TPSGC aux ministères et organismes fédéraux;
2. Examinant la proposition de valeur présentée par le CSID en tenant compte de la complémentarité et du dédoublement des services avec le secteur privé

• Plan d'action de la gestion 1.1 : Une analyse de rentabilisation décrivant l'approche, la justification, les objectifs et les avantages de la solution d'entreprise pour l'imagerie documentaire a été élaborée. Des documents de communication soulignant les avantages et la pertinence de la solution d'entreprise pour l'imagerie documentaire seront également préparés
• Plan d'action de la gestion 1.2 : La DGCGBR limitera l'utilisation des services internes du CSID et mènera une analyse plus approfondie de ces services une fois que les résultats de la DP seront connus et que les fournisseurs auront été sélectionnés

Recommandation 2 : Le SMA de la DGCGBR devrait améliorer la capacité d'obtenir les résultats ciblés en matière de prix et d'efficience dans le cadre du Programme, en examinant la possibilité d'adopter d'autres modes de prestation.

• Plan d'action de la gestion 2.1 : La DGCGBR consultera les ministères clients et confirmera les engagements pris à l'égard du prix des services d'imagerie par volume, afin d'obtenir un rabais de prix par volume
• Plan d'action de la gestion 2.2 : La DGCGBR lancera une solution d'entreprise pour l'imagerie documentaire faisant principalement appel au secteur privé pour répondre aux besoins en matière d'imagerie. La DP est structurée de manière à favoriser des prix concurrentiels et de s'assurer que les ministères paient pour les services dont ils ont besoin. Si les services sont approuvés, leur nature obligatoire garantira l'obtention de rabais pour volume

Recommandation 3 : Le SMA de la DGCGBR devrait améliorer les pratiques de mesure du rendement du Programme en rationalisant le nombre de normes de service comprises dans les protocoles d'entente avec les clients et en veillant à la collecte continue des données ainsi qu'à l'évaluation des normes jugées les plus utiles.

• Plan d'action de la gestion 3.1 : La DGCGBR rationalisera le nombre de normes de service comprises dans les protocoles d'entente conclus avec les clients afin de soutenir la collecte continue des données et l'évaluation des normes de service jugées les plus utiles
• Plan d'action de la gestion 3.2 : La DGCGBR mettra en place un tableau de bord trimestriel afin de rendre compte des normes de service

Section 1 : Pertinence

Besoin continu : Déterminer la mesure dans laquelle les ministères et organismes fédéraux ont besoin du type de services fournis par les services d'imagerie documentaire.

Priorités fédérales et résultats stratégiques ministériels : Établir la mesure dans laquelle les objectifs des services d'imagerie documentaire cadrent avec les priorités du gouvernement fédéral et le résultat stratégique de TPSGC.

Rôle et responsabilité appropriés du gouvernement fédéral : La prestation de services du CSID cadre-t-elle avec les rôles et les responsabilités du gouvernement fédéral?

Section 2 : Rendement

Atteinte des résultats : Résultat immédiat – Déterminer la mesure dans laquelle les prix des solutions de saisie de données et d'imagerie documentaire offertes aux institutions fédérales sont concurrentiels.

Atteinte des résultats : Résultat immédiat – Établir la mesure dans laquelle les solutions de saisie des données et d'imagerie documentaire fournies par le CSID sont conformes aux normes de qualité internationales.

Atteinte des résultats : Résultat intermédiaire – Mesure dans laquelle les institutions fédérales reçoivent des solutions de saisie de données et d'imagerie documentaire efficientes et en temps opportun.

Efficience et économie : est défini comme étant la mesure dans laquelle les ressources sont utilisées pour obtenir les extrants et les résultats visés. L'efficience renvoie à la capacité à utiliser les ressources de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. L'économie fait référence à la réduction au minimum des ressources pour atteindre les résultats. Un programme fait preuve d'une économie et d'une efficience démontrables élevées lorsque les ressources optimisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée. L'efficience et l'économie ont été évaluées à l'aide de plusieurs sources de données, dont l'examen des documents, l'examen des données et les entrevues.

Dans le cadre de l'évaluation du CSID, l'efficience et l'économie ont été examinées à titre de composantes essentielles des résultats immédiats et intermédiaires du Programme. On a constaté que le CSID a fait des progrès relativement à la fourniture de solutions de saisie de données et d'imagerie documentaire efficaces aux institutions fédérales lorsqu'il a pu maintenir les économies d'échelle dans le cadre de ses opérations (efficience), mais a eu de la difficulté à fournir des services à prix concurrentiel (économie). L'évaluation n'a toutefois pas permis de cerner des économies (économie) que le gouvernement du Canada a réalisées grâce au recours aux services du CSID par les ministères et les organismes du gouvernement (notamment des économies liées à la réduction ou à l'élimination des coûts d'entreposage de dossiers papier grâce aux solutions d'imagerie documentaire et de saisie de données).

Le CSID a réalisé des gains d'efficience en raison de l'application des économies d'échelle : il a réduit son coût moyen par page, de 0,70 $ en 2010 à 2011 à 0,43 $ en 2013 à 2014.

Le CSID a démontré qu'il avait réalisé des économies au moment de son établissement (portée de l'évaluation préalable), car des ressources gouvernementales existantes ont été réutilisées pour la mise en œuvre de ce programme, ce qui a permis d'éviter des coûts de 3,5 M $ (de 2003 à 2008); par contre, l'évaluation n'a pas permis de déterminer la portée des économies réalisées par le gouvernement du Canada grâce à la fourniture d'une infrastructure commune pour les services d'imagerie documentaire et de saisie de données. Le Programme est régi par le cadre de gestion des coûts de TPSGC, à l'aide du mécanisme de financement par crédits nets; il doit donc recouvrir les coûts et atteindre le seuil de rentabilité à la fin de chaque exercice. L'évaluation a révélé qu'au cours des 5 dernières années, le Programme a fait face à un déficit une fois et a enregistré des excédents à 4 occasions, comme le démontre la Figure 4 : Recettes, dépenses et soldes du Centre de solutions en imagerie documentaire de 2009 à 2010 à 2013 à 2014 (Annexe D). Ces données ont une incidence sur la capacité du CSID à démontrer les économies réalisées, et témoignent des répercussions du manque d'uniformité dans les prix unitaires, une question abordée dans l'évaluation du premier résultat immédiat du présent rapport.

Annexe A : Au sujet de l'évaluation

Autorité

Cette évaluation figurait dans le Plan de vérification et d'évaluation axé sur les risques 2013 à 2018.

Objectifs de l'évaluation

L'évaluation a porté sur le Programme de services d'imagerie documentaire, exécuté par la Direction du contrôle du remboursement des chèques de Travaux publics et Services gouvernementaux Canada (TPSGC). Cette évaluation avait 2 objectifs :

1. Déterminer la pertinence du Programme : évaluer s'il répond à un besoin continu, s'il cadre avec les priorités gouvernementales et les résultats ministériels, et s'il est compatible avec les rôles et les responsabilités du gouvernement fédéral
2. Mesurer le rendement du Programme : déterminer s'il a atteint les résultats escomptés et s'il fait preuve d'efficience et d'économie

Approche adoptée pour l'évaluation des services d'imagerie documentaire

La Direction de l'évaluation a effectué une évaluation de calibration axée sur les risques afin de déterminer la meilleure approche à adopter pour réaliser cette évaluation. Elle a ainsi déterminé qu'une évaluation simplifiée s'appliquerait bien au Centre des solutions d'imagerie documentaire (CSID) pour les raisons suivantes :

• le Programme représente moins de 1 % des dépenses annuelles de TPSGC
• le Programme fonctionne grâce à un mécanisme de prestation centralisé
• le Programme suscite un faible intérêt auprès du public

Le niveau d'effort associé à la réalisation de l'évaluation reflète les facteurs ci-dessus. Une matrice d'évaluation a été préparée à partir des 5 questions fondamentales du Secrétariat du Conseil du Trésor auxquelles les évaluations doivent répondre. Les sources de données suivantes ont été utilisées pour éclaircir les données nécessaires pour répondre aux questions de la matrice d'évaluation :

• Examen des documents du Programme : L'examen initial des documents a permis d'obtenir des renseignements sur le Programme et son contexte, afin de faciliter la planification de l'évaluation. Un examen approfondi a été réalisé afin de recueillir des renseignements permettant de répondre aux questions de l'évaluation. L'examen des documents du programme consistait à passer en revue les documents principaux liés au CSID : dossiers des clients (ententes, contrats, factures et dossiers des paiements effectués); documents d'administration du programme, documents sur la surveillance et les rapports (dont les rapports à orientation interne ou externe); comptes rendus de réunion, sondages auprès des clients, études dirigées par le programme; et dossiers financiers
• Analyse documentaire : L'analyse documentaire préliminaire a permis d'obtenir des renseignements sur le Programme et son contexte, de manière à faciliter la planification de l'évaluation. Une analyse documentaire plus approfondie a été réalisée afin de recueillir des renseignements permettant de répondre aux questions de l'évaluation. L'analyse documentaire portait sur des documents secondaires liés au CSID : documents ministériels (dont le Rapport sur les plans et les priorités et le Rapport ministériel sur le rendement); documents gouvernementaux (dont des documents législatifs et politiques); et publications externes
• Analyse financière : Les données financières relatives aux budgets, aux recettes et aux dépenses du Programme ont été examinées, y compris les renseignements relatifs au contrat et les barèmes tarifaires des services. Ces renseignements constituent le fondement de l'analyse de l'efficience et de l'économie du Programme
• Entrevues : À l'aide d'un guide d'entrevue, un total de 14 entrevues structurées ont été menées auprès du personnel clé du Programme (n=3), des clients (n=9) et des représentants d'autres organisations fédérales (n=2)

Limites de l'évaluation

Selon la planification de l'évaluation, une évaluation axée sur les risques a été réalisée afin de déterminer l'approche la plus appropriée et le niveau d'efforts à déployer pour assurer la disponibilité de renseignements opportuns et objectifs pour répondre aux besoins de la haute direction. Plusieurs problèmes sont survenus durant l'application de l'approche. Aucun de ces problèmes n'était assez important pour empêcher la rédaction du rapport d'évaluation.

• Analyse documentaire : L'équipe d'évaluation n'a pas été en mesure d'obtenir des données sur la valeur totale des services d'imagerie fournis à l'interne par les autres ministères et organismes fédéraux et l'accès aux données sur les services offerts à l'externe par le secteur privé était limité. Les paramètres de l'évaluation ne permettaient pas d'effectuer la recherche nécessaire pour obtenir de telles données. De plus, l'équipe d'évaluation n'a pas pu établir des points de référence pour comparer la qualité des services du CSID à ceux du secteur privé. L'évaluation s'est donc principalement fondée sur l'opinion des clients du Programme pour donner un aperçu de la qualité relative des services
• Entrevues : L'équipe a obtenu un taux de réponse de 37 % aux invitations à participer à une entrevue (9 sur 24)
• Sondages : Les paramètres de l'évaluation ne prévoyaient pas l'administration d'un sondage. L'équipe d'évaluation s'est donc fondée sur les données disponibles de 2 sondages par le Programme avant la présente évaluation
• Analyse financière : Des documents sur les recettes relatives au Programme ont été fournis au niveau agrégé, ce qui a entravé la capacité de l'équipe à analyser les aspects du rendement du Programme d'une manière plus détaillée. De plus, le CSID a modifié ses méthodes de calcul des coûts et des recettes entre 2011 et 2014, ce qui a compliqué les comparaisons

Établissement de rapports

Au moyen des sources de données, l'équipe d'évaluation a rédigé une ébauche du rapport du directeur, qui comprend les constatations, les conclusions et les recommandations. Cette ébauche a été examinée par la Direction de l'évaluation de la qualité et de l'amélioration des pratiques du Bureau de la vérification et de l'évaluation, et par la dirigeante principale de la vérification et de l'évaluation. Elle a ensuite été envoyée au cadre supérieur du Programme aux fins d'examen et de commentaires. Les faits et les commentaires figurant dans l'ébauche du rapport du directeur ont fait l'objet d'une validation, puis ceux jugés pertinents ont été intégrés dans l'ébauche du rapport du dirigeant principal de la vérification et de l'évaluation. Ce rapport a ensuite été transmis au bureau de première responsabilité pour acceptation finale. La direction fut demandée de répondre au rapport et de présenter un plan d'action de la gestion donnant suite aux recommandations. L'ébauche du rapport final, la réponse de la gestion et le plan d'action de la gestion ont été soumis au Comité de vérification et d'évaluation en mars 2015 afin d'obtenir l'approbation du sous-ministre. Le rapport final sera présenté au Secrétariat du Conseil du Trésor et affiché sur le site Web de TPSGC.

Équipe de projet

L'évaluation a été effectuée par des employés du Bureau de la vérification et de l'évaluation, sous la supervision du directeur de l'évaluation et sous la direction générale de la dirigeante principale de la vérification et de l'évaluation. Elle a été examinée par la Direction de l'évaluation de la qualité et de l'amélioration des pratiques du Bureau de la vérification et de l'évaluation.

Annexe B : Processus d'imagerie documentaire

Annexe C : Modèle logique des services d'imagerie documentaire

Annexe D : Figures du rapport

Figure 1 : Services du Centre de solutions en imagerie documentaire en 2013 à 2014 (en volume et en pourcentage)

Figure 2 : Répartition de la clientèle du Centre de solutions en imagerie documentaire entre Travaux publics et Services gouvernementaux Canada et les autres ministères

Figure 3 : Comparaison des coûts totaux et des volumes des services d'imagerie par rapport au coût par page pour les exercices 2010 à 2011 à 2013 à 2014

Figure 4 : Recettes, dépenses et soldes du Centre de solutions en imagerie documentaire de 2009 à 2010 à 2013 à 2014