2011-610 Évaluation du Programme canadien pour la commercialisation des innovations (Rapport final)

2011-610 Rapport final (PDF, 715Ko)

23 décembre 2014

Points saillants

Éléments à l'étude

1. Le Programme canadien pour la commercialisation des innovations (PCCI) a été lancé en 2010 pour une période de deux ans à titre de projet pilote en approvisionnement dans le cadre de l'engagement du gouvernement du Canada pour promouvoir la croissance économique au pays^{Note de bas de page 1}. Ce programme est unique parce qu'il cible un large éventail d'industries au Canada, en utilisant l'approvisionnement en biens et services comme moyen pour soutenir l'innovation. Par l'entremise du PCCI, Travaux publics et Services gouvernementaux Canada (TPSGC) achète des biens et des services novateurs conçus par des entreprises canadiennes. Les ministères et organismes fédéraux les utilisent et les mettent à l'essai pour ensuite les commenter.
2. L'évaluation a permis d'examiner la pertinence et le rendement du PCCI. Au moment de l'évaluation, le PCCI en était au tout début de sa mise en œuvre. La première et la deuxième ronde d'appels de propositions avaient été finalisées dans le cadre du projet pilote. Puisque les activités prévues dans le cadre du projet n'étaient pas encore toutes terminées au moment de l'évaluation, l'évaluation du rendement dont il est question dans le présent rapport est limitée, et les résultats sont préliminaires. L'évaluation portait sur le contexte organisationnel et la mise en œuvre du programme ainsi que sur l'exécution des activités connexes et visait à identifier les forces du programme ainsi qu'à en déceler les lacunes afin d'y apporter des améliorations.
3. La Direction générale des approvisionnements de TPSGC est responsable du PCCI, qui est administré par le Bureau des petites et moyennes entreprises (BPME). Pour fournir ses services, le PCCI dispose d'un budget de 40 millions de dollars pour deux ans, c'est-à-dire pour la durée de la phase pilote du projet.

Importance

4. Comme il a été annoncé dans le budget de 2010, le PCCI aide à combler les lacunes à l'étape de la précommercialisation en achetant des innovations fabriquées au Canada et en les mettant à l'essai. L'innovation survient au cours d'un continuum d'activités qui prend naissance lors de la recherche et qui se termine à la commercialisation. Au Canada, l'innovation est soutenue dans les secteurs public et privé aux premières étapes du continuum. L'expression « lacunes à l'étape de la précommercialisation » renvoie au manque de capitaux avec lequel les innovateurs doivent souvent composer à l'étape de l'élaboration, c'est-à-dire entre la recherche financée par une entité gouvernementale ou une entreprise et la préparation du bien en vue de son lancement sur le marché.

Constatations

5. La raison d'être du programme demeure valable, et la forme d'aide unique qu'apporte le PCCI représente un besoin continu. Il est clairement indiqué dans le budget fédéral de 2012 que le PCCI demeure pertinent.
6. Le programme s'harmonise avec les priorités du gouvernement portant sur l'appui à l'innovation et aux petites et moyennes entreprises (PME) et avec les résultats stratégiques visés à TPSGC. Il s'harmonise avec les rôles et les responsabilités du gouvernement fédéral au chapitre de l'approvisionnement. À titre de principal acheteur de biens et de services pour le gouvernement du Canada, TPSGC est dans une position unique pour encourager l'innovation dans le domaine des biens et services requis par le gouvernement fédéral.
7. Le programme a réussi à susciter l'intérêt des PME et des ministères fédéraux. En effet, la participation a fortement dépassé les objectifs initiaux. Par ailleurs, il a été plus facile d'obtenir la participation des ministères pour les activités de sensibilisation que pour la mise à l'essai des biens et de
8. Le programme appuie avec succès l'utilisation d'innovations par le gouvernement, comme le montrent les multiples jumelages entre les fournisseurs et d'autres ministères. Par contre, il a été impossible d'évaluer les activités de mise à l'essai et de formulation de commentaires, puisqu'une seule innovation était utilisée au moment de l'évaluation.
9. Compte tenu des progrès réalisés à ce jour à l'égard de la mise en œuvre du programme, et à la lumière des résultats préliminaires obtenus, tout indique que le programme atteindra les résultats intermédiaires et finaux escomptés.
10. Les activités de programme évaluées ont été mises en œuvre avec succès. Pendant la première ronde du programme, la passation de marchés pour les innovations retenues s'est fait plus lentement que prévu, ce qui a retardé la mise en œuvre des activités de mise à l'essai et de formulation de commentaires.

Recommandations et plan d'action de la gestion

Recommandation 1 : Le sous-ministre adjoint de la Direction générale des approvisionnements devrait revoir la stratégie de mesure de rendement du programme (y compris le modèle logique, les indicateurs de rendement et les objectifs) pour y appliquer les leçons tirées de la mise en œuvre du projet pilote en approvisionnement et pour tenir compte des attentes d'un programme à long terme.

• Plan d'action de la gestion 1.1 : Un examen du modèle logique actuel du programme sera réalisé et les leçons tirées dans le cadre du projet pilote seront rassemblées pour créer un rapport sur les leçons tirées.
• Plan d'action de la gestion 1.2 : Le rapport sur les leçons tirées servira de base à l'élaboration d'une nouvelle stratégie de mesure du rendement. Celle-ci détaillera un modèle logique, les indicateurs de rendement et les objectifs qui cadrent avec un programme continu bien établi. Une stratégie de mesure du rendement provisoire sera élaborée et distribuée afin d'obtenir des commentaires généraux avant sa version finale.
• Plan d'action de la gestion 1.3 : Une stratégie de mesure du rendement définitive, sera élaborée avant le 31 mars 2013 et soumise au SMA pour approbation.

Recommandation 2 : Le sous-ministre adjoint, de la Direction générale des approvisionnements, devrait évaluer le temps nécessaire pour établir des contrats pour les innovations admissibles et, s'il ya lieu, réviser les normes en vigueur dans le but d'améliorer la rapidité globale de la mise en œuvre des activités du programme.

• Plan d'action de la gestion 2.1 : Une évaluation du temps nécessaire pour établir les contrats sera faite pour les innovations admissibles. Au besoin, des modifications seront apportées aux normes existantes pour améliorer la rapidité et celles-ci seront appliquées dans la Stratégie de mesure du rendement.

Introduction

1. Ce rapport présente les résultats de l'évaluation du Programme canadien pour la commercialisation des innovations (PCCI). Le sous-ministre de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation, qui est recommandée par le Comité de vérification et d'évaluation (CVE) dans le cadre du Plan de vérification et d'évaluation axé sur les risques de 2011–2016.

Profil

Contexte

2. Afin d'aider à combler certaines lacunes le long du continuum de l'innovation, l'administration fédérale a créé le PCCI (comme il a été annoncé dans le budget de 2010). Il s'agit d'un projet pilote de deux ans de 40 millions de dollars dans le cadre duquel TPSGC achète des biens et services novateurs mis au point par des entreprises canadiennes afin que des ministères et organismes fédéraux puissent les mettre à l'essai et les utiliser.
3. L'innovation suppose un processus à multiples étapes par lequel les particuliers, les entreprises et les organismes mettent au point, maîtrisent et utilisent de nouveaux biens, de nouveaux concepts, de nouveaux procédés et méthodes. Le processus lié à l'innovation comprend la recherche et le développement, l'invention, l'investissement de capital, la formation et le développement professionnel. L'innovation (de l'idée jusqu'à la commercialisation) suppose un continuum où la maturité technologique augmente à chaque étape. L'annexe A contient l'échelle de maturité technologique utilisée par le PCCI. Cette échelle met en lumière les étapes liées à l'innovation.
4. Le gouvernement du Canada s'est engagé depuis longtemps à financer la recherche et le développement dans les universités et les collèges publics. En 2008-2009, le gouvernement a consacré 2,8 millions de dollars à cette fin. En plus de soutenir la recherche universitaire, le gouvernement du Canada offre de nombreux programmes et services conçus pour aider les compagnies novatrices. Cependant, bon nombre de ces programmes visent les premières étapes du continuum de l'innovation (soit les étapes de recherche fondamentale et de recherche appliquée). Pendant l'étape de pré-commercialisation, les innovateurs n'obtiennent pas suffisamment de soutien pour entreprendre la mise à l'essai de leurs innovations dans un environnement opérationnel et pour en préparer la mise en marché. Il a été déterminé que cette lacune était l'une des raisons pour lesquelles l'innovation en général au Canada tire de l'arrière comparativement à ce que l'on observe dans les grands pays industrialisés, comme l'illustre ce qui suit :
   • En 2011, Le Conference Board du Canada a donné une cote « D » au Canada pour son appui à l'innovation et l'a classé au 14^e rang des 17 pays développés qui ont été évalués à l'égard de cet appui.
   • En 2010, l'Association des comptables généraux accrédités du Canada a conclu que l'innovation au Canada ne se porte pas bien.
   • En 2008, le Conseil des sciences, de la technologie et de l'innovation du gouvernement du Canada a souligné que l'une des constantes de l'économie du Canada depuis 40 ans est que nos entreprises font globalement peu de recherche et développement et de commercialisation.
5. Le PCCI aide les entreprises canadiennes en achetant, en mettant à l'essai et en commentant les biens et services novateurs proposés par celles-ci avant leur mise en marché. Les innovations proposées doivent se classer dans l'un des quatre secteurs prioritaires suivants : environnement, sécurité et protection, santé et technologies habilitantes. Le PCCI achète le bien ou le service novateur directement auprès de l'entreprise, ce qui procure à l'entreprise des fonds supplémentaires et un aperçu des ventes à venir. De plus, les entreprises profitent du fait que les ministères et organismes fédéraux mettent à l'essai et commentent leurs biens et services novateurs pour les améliorer davantage avant de les mettre sur le marché.
6. La méthode d'approvisionnement utilisée par le PCCI pour sélectionner et acheter des biens et services novateurs est unique. Le processus est composé de six éléments, dont le premier est l'appel de propositions dans le cadre duquel les entreprises canadiennes proposent leurs biens ou services novateurs au gouvernement. La phase d'évaluation comprend deux étapes pendant lesquelles les propositions sont évaluées en fonction des critères du programme et les propositions retenues sont classées comme innovations préqualifiées selon le budget disponible pour cette ronde d'appel de propositions. Les innovations préqualifiées sont jumelées à des ministères chargés de la mise à l'essai qui pourront les utiliser. Les innovations sont ensuite achetées et les ministères commencent à les utiliser. Quand la mise à l'essai est terminée, les ministères commentent les biens.
7. À la fin de l'exercice 2011-2012, les responsables du programme avaient déjà tenu 780 activités de sensibilisation et communiqué auprès de 21 873 fournisseurs pour faire la promotion. Le premier appel de propositions a eu lieu du 5 octobre au 16 novembre 2010, tandis que le deuxième a été fait du 13 juillet au 18 août 2011. Dans le cadre du premier appel de propositions, 375 propositions ont été soumises, et le deuxième appel a mené à la présentation de 337 propositions. Un troisième appel de propositions a été lancé le 29 février 2012. Selon les recommandations du Comité de sélection des innovations, 27 innovations ont été retenues après l'évaluation de la première ronde de soumissions, et 37 l'ont été après l'évaluation de la deuxième ronde. Au 31 mars 2012, 23 marchés avaient été passés à la suite des activités du premier et du deuxième appel de propositions, et la mise à l'essai d'une innovation était achevée.

Autorité

8. La Loi sur le ministère des Travaux publics et des Services gouvernementaux accorde à TPSGC le pouvoir de mener les activités du programme. Plus particulièrement, l'article 6 [alinéas a) et b)] de cette loi énonce les pouvoirs du ministre en ce qui a trait à « l'acquisition et la fourniture d'articles, d'approvisionnements, d'outillage, d'équipements et autre matériel pour les ministères » et à « l'acquisition et la fourniture de services pour les ministères ».

Rôles et responsabilités

9. Le Bureau des petites et moyennes entreprises (BPME) s'occupe de l'exécution du PCCI. Il fait partie de la Direction générale des approvisionnements de TPSGC et est composé de quatre directions, situées dans les locaux de l'administration centrale de TPSGC, et de six bureaux régionaux.
10. Les bureaux régionaux du BPME ont la responsabilité de mener des activités de sensibilisation du PCCI en tirant profit des partenariats déjà établis avec la communauté des PME dans le cadre de l'exécution du programme du BPME.
11. Le Secteur de la gestion des services et des achats spécialisés (SGSAS) de TPSGC est responsable des volets de l'approvisionnement et de la passation des marchés du programme.
12. L'équipe du Programme d'aide à la recherche industrielle du Conseil national de recherches du Canada (PARI–CNRC) participe au processus d'examen des propositions. L'équipe du PARI qui a participé au premier appel de propositions était composée de 140 conseillers techniques de l'industrie ayant des compétences dans les quatre secteurs prioritaires.
13. Le Comité de sélection des innovations s'occupe de la dernière étape de validation des propositions avant qu'elles soient préqualifiées à la suite d'un appel de propositions et qu'elles puissent être choisies par un ministère ou un organisme fédéral pour la mise à l'essai. Le Comité est composé de membres du gouvernement (jusqu'à 30 %) et du secteur privé (au moins 70 %) ayant de l'expérience et des connaissances dans des domaines comme l'entrepreneuriat, l'innovation, la commercialisation et les pratiques commerciales internationales.
14. Les ministères et organismes fédéraux participent aussi au PCCI par l'entremise de protocoles d'entente pour l'utilisation et la mise à l'essai des biens et services novateurs achetés dans le cadre du programme. Les ministères et organismes chargés de la mise à l'essai font part de leurs commentaires à la conclusion de la mise à l'essai en complétant le formulaire de commentaires prévu à cet effet.
15. Enfin, le PCCI est chargé de transmettre aux entreprises dont les biens ou services ont été mis à l'essai par un ministère ou organisme fédéral les commentaires recueillis sur les forces et les faiblesses de leurs innovations et des idées pour les améliorer avant leur commercialisation.

Intervenants

16. Les principaux intervenants du programme sont les entreprises canadiennes qui participent à la création de biens novateurs, et les ministères et organismes fédéraux qui souhaitent participer au programme.

Ressources

17. Le budget total du PCCI est de 40 millions de dollars, dont 8 millions ont été mis de côté pour la promotion du programme sur une période de trois ans. Le reste des fonds (32 millions) est affecté à l'achat d'innovations. Pour les exercices financiers 2010-2011 et 2011-2012, les frais administratifs attribués au programme s'élevaient à 6,2 millions de dollars^{Note de bas de page 2}.
18. L'effectif affecté au PCCI comprend 16 équivalents temps plein (ETP) : 10 ETP sont à l'administration centrale et un membre du personnel du BPME dans chaque bureau régional se consacre au programme, ce qui représente six ETP régionaux.

Modèle logique

19. Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme. Il constitue un outil visuel et systématique qui illustre la théorie d'un programme et démontre logiquement la façon dont une initiative, une politique ou un programme devrait atteindre ses objectifs. Ce modèle peut aussi servir de base à la mesure du rendement et aux stratégies d'évaluation, y compris à la matrice d'évaluation.
20. L'évaluation a utilisé le modèle logique établi par le programme, qui décrit les activités, les extrants et les résultats escomptés du projet pilote du PCCI. L'équipe d'évaluation a mis ce modèle logique à jour pour qu'il reflète mieux les résultats escomptés actuels du PCCI. Le modèle a ensuite été validé auprès des employés du programme. Il est fourni à la pièce 1.

Pièce 1 : modèle logique

Activités dans le cadre du programme

21. Voici les trois principaux volets d'activité du PCCI : sensibilisation des fournisseurs, achat d'innovations et utilisation des innovations. Pour favoriser l'évaluation du projet pilote, les activités sont décrites dans le cadre de l'examen de la mise en œuvre du programme (à la section Rendement du présent rapport).

Objectif de l'évaluation

22. La portée de l'évaluation englobe les activités réalisées entre septembre 2010 et mars 2012.
23. L'objet de la présente évaluation est de déterminer la pertinence et le rendement du programme quant à l'atteinte de ses résultats prévus, conformément à la Politique sur l'évaluation du Conseil du Trésor (CT). En plus d'évaluer les principaux enjeux relatifs à l'évaluation du programme du Conseil du Trésor, l'évaluation aborde aussi celui de la mise en œuvre.
24. Une matrice d'évaluation (réunissant les enjeux, les questions, les indicateurs et les éléments de preuve) a été élaborée à l'étape de la planification (voir l'annexe B). Plusieurs sources de données ont servi à évaluer le programme à partir de la matrice d'évaluation. Les voici :
25. Analyse documentaire : On a analysé 45 documents pour situer le programme sur le plan national et international en vue d'en évaluer le modèle, de fournir des données de base pouvant servir à évaluer le programme et d'autres modèles d'exécution de programme par l'analyse d'autres gouvernements.
26. Entrevues : L'équipe d'évaluation a mené 18 entrevues auprès des principaux gestionnaires du programme et de TPSGC. Elle a également interrogé des partenaires du programme.
27. Analyse des données sur le rendement : On a analysé les données sur le rendement pour évaluer les résultats du programme. Pour ce faire, l'équipe s'est servi de données financières et non financières tirées de rapports et d'autres documents fournis par le PCCI.
28. Sondage de la clientèle : L'équipe d'évaluation a élaboré un sondag pour connaître le point de vue des clients sur la pertinence et sur le rendement du programme. Le sondage a été réalisé auprès des fournisseurs qui ont présenté des soumissions dans le cadre du premier appel de propositions du PCCI. On a demandé à 325 de ces fournisseurs de participer au sondage : 95 d'entre eux ont accepté (soit un taux de réponse de 29,2 %). Parmi eux, 18 % (n=17) ont déclaré que leur innovation a été retenue.
29. Analyse financière : On a examiné et analysé les données financières liées au budget et aux dépenses du programme pour en évaluer l'efficacité et l'économie. Toutes ces données ont été fournies par les responsables du programme.
30. Pour obtenir de plus amples renseignements sur l'approche et la méthodologie utilisée pour réaliser cette évaluation, consulter la section intitulée « À propos de l'évaluation » qui se situe à la fin du présent rapport.

Constatations et conclusions

31. Les constatations et les conclusions présentées ci-dessous sont fondées sur de nombreux éléments de preuve utilisés pendant l'évaluation. Elles sont présentées par enjeu d'évaluation (pertinence et rendement).

Pertinence

32. Pour juger de la pertinence d'un programme, on détermine s'il répond à un besoin continu, s'il est harmonisé avec les priorités du gouvernement fédéral et les résultats stratégiques du ministère et s'il constitue un rôle et une responsabilité appropriés pour le gouvernement fédéral.

Besoin continu

33. Le besoin continu évalue dans quelle mesure le programme continue à répondre à un besoin manifeste et aux besoins de ses clients. Voici certains éléments qui ont servi à évaluer ce besoin : la pertinence continue de la raison d'être initiale du programme, les exigences prévues par la loi ou par les politiques, l'intérêt suscité par le programme. D'après ces critères, l'évaluation révèle qu'il y a un besoin continu pour le PCCI.
34. La première raison d'être du PCCI est le caractère crucial que revêt la capacité d'innovation des entreprises, en particulier celle des PME, pour l'avenir économique du pays, sans compter les lacunes des programmes fédéraux à l'étape à laquelle les entreprises innovent (c'est-à-dire l'étape de la précommercialisation).
35. L'analyse documentaire confirme la validité de la raison d'être que l'on a définie au moment de concevoir le programme. En 2005, la National Angel Organization a conclu que ce qui empêche le gouvernement de profiter des fonds importants qu'il injecte dans la recherche et le développement^{Note de bas de page 3} est le manque d'investisseurs pour les activités de pré-commercialisation, que l'on impute aux risques élevés propres à cette étape du continuum de l'innovation. Dans le même esprit, Le Conference Board du Canada a conclu en 2010 que « [...] le Canada ne fait pas siennes les mesures que prennent d'autres pays pour commercialiser avec succès leurs découvertes scientifiques et en exploiter l'atout concurrentiel par l'intermédiaire d'entreprises novatrices désireuses de se positionner sur le marché mondial »^{Note de bas de page 4}.
36. En réponse à la première raison d'être, le PCCI a été conçu pour favoriser l'innovation des entreprises canadiennes. Pour ce faire, il offre des moyens financiers ou d'autres moyens aux entreprises dont le développement de biens ou de services atteint un point crucial : l'étape de la précommercialisation.
37. Cette première raison d'être demeure toujours pertinente : les entreprises du pays doivent continuer à innover et à faire de la recherche et du développement, d'où la nécessité de les financer à cette étape du continuum de l'innovation. Dans le rapport Innovation Canada : Le pouvoir d'agir, Examen du soutien fédéral de la recherche-développement – Rapport final du groupe d'experts (2011), on recommande de faire du PCCI un programme permanent après l'évaluation de la phase pilote. C'est également le point de vue que présente le Comité permanent des opérations gouvernementales et des prévisions budgétaires dans son rapport de novembre 2011. En effet, il recommande à TPSGC d'envisager « de rendre permanent le Programme canadien pour la commercialisation des innovations afin de stimuler davantage l'innovation au Canada ». Qui plus est, la pertinence du PCCI est étayée par les conclusions du sondage auprès de la clientèle. À la question de savoir dans quelle mesure les entreprises trouvent qu'un programme tel que le PCCI est important pour elles, 85 % des répondants ont affirmé (dans le sondage du Bureau de la vérification et de l'évaluation) que ce type de programme était important et très important.
38. Aucune loi n'oblige la prestation du programme. Le pouvoir d'offrir un programme sur l'approvisionnement découle de l'article 6 de la Loi sur le ministère des Travaux publics et des Services gouvernementaux^{Note de bas de page 5}.
39. La demande de services par les bénéficiaires se traduit par un taux de participation des entreprises canadiennes plus élevé que prévu. On prévoyait recevoir 100 propositions lors du premier appel de propositions; en fait, on en a reçu 375. La direction du programme a déclaré ne pas avoir prévu que le programme susciterait autant d'intérêt : le Budget 2010 promettait de financer 20 projets de démonstration.
40. Pour conclure, il y a un besoin continu pour le programme, compte tenu de la pertinence de sa première raison d'être et de la forte participation des entreprises canadiennes.

Harmonisation avec les priorités fédérales et les résultats stratégiques ministériels

41. On détermine le degré d'harmonisation du programme en évaluant les liens qui existent entre celui-ci et les priorités du gouvernement et les résultats stratégiques du ministère. L'évaluation révèle que le PCCI contribue au respect des priorités du gouvernement fédéral et à l'atteinte des résultats stratégiques du ministère.
42. Le PCCI s'harmonise avec deux des priorités du gouvernement fédéral :
    • le soutien apporté aux PME canadiennes;
    • l'innovation au service de la croissance économique.
43. Dans le budget de 2010, le gouvernement a annoncé qu'il « favorisera l'innovation dans les petites entreprises canadiennes, par l'entremise du nouveau programme d'innovation et de commercialisation dans les petites et moyennes entreprises »^{Note de bas de page 6}. Le PCCI qui en a découlé s'ouvrait ainsi à toutes les entreprises du pays, quelle que soit leur taille. Le BPME s'est par ailleurs vu confier la responsabilité du programme. La mise en œuvre du programme par cette entité contribue ainsi à mettre l'accent sur la participation des PME et sur le soutien de celles-ci.
44. Le gouvernement du Canada a annoncé en octobre 2010 un examen du soutien qu'il apporte aux activités de recherche et de développement pour trouver comment les fonds qu'il injecte peuvent stimuler davantage l'économie grâce aux innovations. Menée par un groupe d'experts indépendants, l'étude (terminée en 2011) indique qu'il faut que les programmes d'achat et d'approvisionnement gouvernementaux soient conçus pour l'acquisition d'un plus grand nombre de biens novateurs. Dans ce but, le groupe d'experts arrive à la conclusion suivante :

    « L'achat et l'approvisionnement du gouvernement et les programmes connexes doivent servir à créer des opportunités et à stimuler la demande de technologies, de produits et de services à la fine pointe auprès des fournisseurs canadiens. Cela aura pour effet de favoriser le développement d'entreprises canadiennes innovantes et concurrentielles à l'échelle mondiale [...] »^{Note de bas de page 7}.

45. Le discours du Trône de 2011 exprime la volonté du gouvernement, dont l'une des priorités demeure le soutien des conditions idéales pour la croissance économique grâce au « soutien à l'innovation et aux nouvelles technologies »^{Note de bas de page 8}.
46. Le budget fédéral de 2011, qui porte principalement sur la croissance de l'emploi dans l'économie canadienne, insiste sur le fait qu'il faut « favoriser la commercialisation et l'innovation en entreprise »^{Note de bas de page 9}. Le gouvernement reconnaît que s'il veut que la connaissance et l'innovation soient des vecteurs de réussite économique, le Canada doit « améliorer la commercialisation des fruits de la recherche »^{Note de bas de page 10}. Le PCCI cible les innovations et appuie les priorités du gouvernement en matière d'environnement, de sécurité et de protection, de santé et de technologies habilitantes.
47. Le budget de 2012 a réaffirmé l'engagement du gouvernement de soutenir l'innovation pour stimuler la croissance économique. Des fonds ont donc été investis dans le PCCI pour le rendre permanent et y ajouter un volet d'approvisionnement militaire. Dans le budget, une somme de 95 millions de dollars a été allouée au PCCI (de 2013-2014 à 2015-2016), et 40 millions de dollars seront injectés chaque année par la suite. Voici comment le budget de 2012 justifie le maintien du programme

    « En faisant affaire avec le gouvernement fédéral, les entreprises peuvent faire valoir la qualité de leurs produits et services et éventuellement générer de futures ventes auprès de clients non fédéraux »^{Note de bas de page 11}

48. Le PCCI s'harmonise avec le résultat stratégique de TPSGC pour fournir « des services et des programmes centraux de grande qualité qui assurent une saine intendance au nom de la population canadienne et qui répondent aux besoins opérationnels des institutions fédérales »^{Note de bas de page 12}. L'approvisionnement est l'un de ces services. Le Rapport sur les plans et priorités (RPP) de 2010-2011 définit l'approvisionnement comme l'une des priorités de TPSGC. En effet, il y est énoncé que le Ministère doit fournir en temps utile à la population canadienne et au gouvernement fédéral des services d'achat et des services communs connexes à valeur ajoutée. Le Rapport sur les plans et priorités de 2011-2012 appuie également cette priorité : on peut y lire que le Ministère améliore l'accès aux marchés publics et que « pour améliorer l'accès des petites et moyennes entreprises, le Ministère aura notamment recours au Programme canadien de commercialisation des innovations »^{Note de bas de page 13}. Ce même rapport mentionne d'ailleurs que le PCCI constitue un moyen d'améliorer l'accès qu'ont les PME aux marchés publics^{Note de bas de page 14}. Le Rapport sur les plans et priorités de 2011-2012 souligne l'association du PCCI avec le BPME.
49. Bref, le PCCI s'harmonise avec les priorités du gouvernement fédéral au chapitre de l'innovation. Son exécution par le BPME s'harmonise également avec cette priorité, car il soutient les PME. Enfin, compte tenu de la responsabilité de TPSGC en matière d'approvisionnement, le PCCI s'harmonise également avec le résultat stratégique du Ministère.

Rôles et responsabilités du gouvernement fédéral

50. Pour déterminer la pertinence pour le gouvernement fédéral d'administrer ce programme, on a examiné trois critères : la décentralisation de la responsabilité (celle-ci étant confiée à d'autres ministères ou organismes fédéraux), la délégation de la responsabilité du programme à un autre palier de gouvernement, et l'externalisation vers le secteur privé. Selon ces critères, l'évaluation permet de déterminer que les services fournis par le BPME constituent un rôle et une responsabilité appropriés pour le gouvernement fédéral et qu'ils cadrent bien avec les activités de TPSGC.
51. Puisque l'élément central du programme est le soutien de l'innovation, particulièrement par le processus d'approvisionnement (dont TPSGC est responsable), la décentralisation vers d'autres ministères ou organismes fédéraux n'est pas réaliste. Ces autres ministères ou organismes soutiennent la précommercialisation des innovations dans des secteurs particuliers qui s'alignent avec leur mandat, par exemple Agriculture Canada et le secteur agricole. Du reste, ce soutien revêt habituellement la forme de subventions ou de contributions. Contrairement au PCCI, il ne consiste pas à acheter des biens ou des services. Si un programme qui cible largement l'innovation peut être exécuté par un ministère comme Industrie Canada, TPSGC (à titre d'organisme constitué par une loi pour obtenir des biens et des services pour le gouvernement du Canada) est mieux placé pour exécuter un programme dont le but est de soutenir l'innovation par le processus d'approvisionnement. Qui plus est, le PCCI est unique en son genre : c'est le seul programme du gouvernement fédéral à utiliser les fonds qu'investit le gouvernement du Canada dans l'approvisionnement pour promouvoir l'innovation à l'échelle nationale.
52. Puisque le programme consiste actuellement à faire l'achat d'innovations qui seront utilisées et mises à l'essai par le gouvernement fédéral, il serait inapproprié de déléguer le PCCI à un autre ordre de gouvernement ou le mettre entre les mains du secteur privé. Ni un autre ordre de gouvernement, ni le secteur privé, n'est tenu de rendre compte au gouvernement du Canada des activités d'approvisionnement qui aident différents ministères et organismes fédéraux du pays. Enfin, confier le tout au secteur privé pourrait être une source de conflit d'intérêts.
53. Le PCCI s'harmonise avec les rôles et les responsabilités du gouvernement fédéral. Ce qui différencie ce programme par rapport à d'autres est qu'il porte sur l'approvisionnement, de sorte qu'il est logique de le confier à TPSGC. En sa qualité de ministère mandaté pour obtenir des biens et des services pour le gouvernement du Canada, TPSGC est bien outillé pour mettre au point le PCCI et en exécuter la réalisation.

Conclusions : Pertinence

54. La raison d'être du programme demeure valable, et la forme d'aide unique qu'apporte le PCCI représente un besoin continu. Le budget de 2012 a réitéré que le PCCI demeurait pertinent aux priorités du gouvernement.
55. Le PCCI s'harmonise avec les priorités du gouvernement portant sur l'appui aux petites entreprises et à l'innovation au service de la croissance économique. Il est aussi conforme au résultat stratégique de TPSGC.
56. Le PCCI s'harmonise avec les rôles et les responsabilités du gouvernement fédéral au chapitre de l'approvisionnement. Le propre du programme comme projet associé à l'approvisionnement fait qu'il est logique de le confier à TPSGC. En sa qualité de ministère mandaté pour l'acquisition de biens et de services pour le gouvernement du Canada, TPSGC est bien outillé pour mettre au point et exécuter le PCCI.

Rendement

57. On juge le rendement d'un programme ou d'un projet à la mesure dans laquelle il atteint ses objectifs de manière rentable, c'est-à-dire avec efficacité et économie. Puisque le PCCI était un projet pilote au moment de l'évaluation, on en a examiné la mise en œuvre dans le cadre de l'analyse du rendement. Étant donné que la réalisation de l'évaluation a eu lieu en même temps que la mise en œuvre des premières activités du programme, la présente évaluation n'a pu porter sur l'analyse intégrale des résultats prévus pour les phases ultérieures (c'est-à-dire le résultat intermédiaire et le résultat final).

Mise en œuvre

58. On juge la mise en œuvre à la mesure dans laquelle les activités du programme ont été réalisées comme prévu. On la juge aussi à la mesure dans laquelle on a exploré d'autres options de mise au point et d'exécution de manière à pouvoir contribuer à l'amélioration éventuelle du programme (après la phase pilote).
59. L'évaluation a porté sur les activités de mise en œuvre réalisées entre septembre 2010 et mars 2012.

Sensibilisation des fournisseurs

60. On a réalisé des activités de sensibilisation auprès des fournisseurs pour leur donner l'occasion d'en savoir plus sur le PCCI et pour les aider à décider si le fait de prendre part à un appel de propositions conviendrait à leurs activités. Ces activités de sensibilisation étaient les suivantes : développer un site Web pour le programme, organiser des activités de sensibilisation des fournisseurs (forums sur l'innovation, séminaires pour les fournisseurs, kiosques à des salons professionnels, possibilités de prendre la parole lors de conférences ou d'autres activités) et rencontrer les associations de l'industrie. Les bureaux régionaux du BPME se sont chargés d'organiser ces activités. Le montant total des fonds prévus pour les activités de sensibilisation était de 8 millions de dollars sur 3 exercices financiers. Le budget a été préparé de façon à ce que les fonds non utilisés puissent être réaffectés à l'achat d'innovations supplémentaires.

Activités de sensibilisation des fournisseurs

61. En septembre 2010, le programme visait au départ 400 interactions avec les fournisseurs et 40 activités de sensibilisation par exercice financier. On a dépassé cet objectif à la fin de l'exercice 2010-2011 : on comptait alors 8 044 interactions et 253 activités avec les fournisseurs, et pour 2011-2012, 527 activités et 13 989 interactions avec les fournisseurs.
62. Les fournisseurs ont formulé des commentaires favorables à l'égard des activités de sensibilisation. En effet, le sondage réalisé par le Bureau de la vérification et de l'évaluation auprès des fournisseurs dans le cadre de la présente évaluation confirme l'évaluation faite par les gestionnaires du programme à l'égard des activités de sensibilisation. Les résultats du sondage révèlent que grâce aux activités de sensibilisation, 88 % des répondants se sont familiarisés avec le PCCI et 60 % se sont familiarisés avec le processus d'approvisionnement du gouvernement fédéral.
63. Dans le cadre du programme, les résultats les plus concluants dans l'ensemble des régions sont venus de l'établissement de partenariats avec des associations de gens d'affaires. Il s'agit là d'un facteur de réussite crucial rendu possible grâce à la mise à profit des activités actuelles du BPME. Ces partenariats ont permis au programme de mieux cibler le public clé.
64. Après avoir lancé le premier appel de propositions, les responsables du programme ont organisé des conférences régionales des soumissionnaires à Montréal et à Ottawa. Si les conférences ont reçu un bon accueil, les fournisseurs hors de Montréal et d'Ottawa se sont dits préoccupés par l'équité du processus, compte tenu du fait que certaines de ces régions recevaient de l'information avant les autres. Dans le but d'améliorer le processus, les responsables du programme ont organisé une conférence en ligne, une première à TPSGC. Celle-ci a été bien reçue par les fournisseurs, puisque 83 % des répondants au sondage du Bureau de la vérification et de l'évaluation ont déclaré avoir trouvé les conférences en ligne utiles ou très utiles. Vu leur franc succès, les responsables du programme comptent tenir des séances d'information en recourant uniquement à des webinaires dans le cadre des appels de propositions subséquents.
65. En conclusion, les activités de sensibilisation des fournisseurs ont bel et bien permis de mieux faire connaître le programme. L'élargissement des activités de sensibilisation tenues par les bureaux régionaux du BPME a constitué une façon efficace de mettre en œuvre les activités de sensibilisation des fournisseurs dans le cadre du programme.

Site Web du programme

66. Le site Web du PCCI a été conçu et mis en place pour fournir des renseignements généraux sur le programme et la marche à suivre pour y participer. D'une part, il offre aux fournisseurs les liens et les formulaires qu'il leur faut pour présenter une proposition, notamment la description des secteurs prioritaires ainsi que les exigences financières et d'attestation. D'autre part, les ministères y trouvent les conditions et les exigences pour pouvoir être chargés de la mise à l'essai. On peut en outre y consulter une liste des innovations préqualifiées issues de chacun des appels de propositions.
67. Au 31 mars 2012, la page d'accueil du site Web comptait plus de 25 000 accès à une page unique. Avant le lancement du site, la stratégie de mesure du rendement du PCCI visait environ 800 visites par appel de propositions. Le nombre de visites a de loin dépassé cet objectif.
68. Les fournisseurs qui ont répondu au sondage du Bureau de la vérification et de l'évaluation ont navigué sur le site pour obtenir des renseignements généraux sur le PCCI (85 %) et des renseignements sur les appels de propositions (89 %). Ce même sondage révèle que 64 % d'entre eux se disent satisfaits ou très satisfaits de leur visite.

Achat d'innovations

69. L'achat d'innovations dans le cadre du PCCI est un processus en plusieurs étapes qui suppose la participation d'autres ministères et de conseillers externes. Le processus d'approvisionnement a été élaboré de concert avec le BPME et le Secteur de la gestion des services et des achats spécialisés (SGSAS) de TPSGC, qui est le spécialiste du ministère en approvisionnement de services de recherche et de développement, avec l'apport du PARI-CNRC. Les deux groupes ont collaboré étroitement à l'élaboration d'une démarche d'approvisionnement concurrentielle pour le PCCI, fondée sur un processus d'appel de propositions.
70. Le processus d'approvisionnement a nécessité : le développement de critères et d'outils d'évaluation, la conduite d'appels de propositions pour trouver des innovations pouvant être soumises à l'examen du programme, l'évaluation (par des conseillers techniques) des propositions présentées par les fournisseurs et l'évaluation (par un comité) de leur admissibilité au programme, et la passation de marchés (auprès de fournisseurs admissibles) visant l'achat d'innovations par TPSGC. Le PCCI a payé les services offerts par le PARI-CNRC. Les membres du secteur privé qui siègent au Comité de sélection des innovations ont été rémunérés dans le cadre de contrats pour leur participation au programme.

Critères d'évaluation et outils électroniques

71. Le processus d'évaluation des propositions du programme comprenait une évaluation technique et un examen par le Comité de sélection des innovations. Il a été déterminé que, pour les évaluations techniques, une échelle des niveaux de maturité technologique était le critère tout indiqué pour évaluer la maturité de l'innovation. Pour être admissible au PCCI, le niveau de maturité technologique des innovations doit être évalué à 7, 8 ou 9. Le continuum représentant les neuf niveaux de maturité technologique des innovations sont décrits à l'Annexe A.
72. L'une des facettes uniques du PCCI est sa façon inédite d'utiliser les outils électroniques, en particulier le lancement d'une démarche électronique globale visant la diffusion des renseignements, la présentation des réponses aux appels de propositions et leur évaluation. Il s'agissait d'une première pour le gouvernement fédéral : l'approche traditionnelle en ce qui concerne les appels de propositions consiste à soumettre plusieurs copies papier. Mise au point par le PCCI, la démarche en ligne s'est révélée non seulement efficiente, mais aussi écologique. Elle a permis d'économiser de l'espace que l'on aurait dû autrement consacrer au stockage des documents, du papier (le premier appel de propositions aurait nécessité à lui seul l'impression de 200 000 feuilles de papier), de l'impression et le déplacement des documents.
73. Comme le précise la section ci-dessous sur les appels de propositions, le programme a reçu beaucoup plus de propositions que prévu. Les gestionnaires du programme ont mentionné que n'eut été le système en ligne, il aurait été impossible d'étudier et d'évaluer les propositions dans les délais prévus.
74. Lorsqu'on a demandé aux répondants au sondage du Bureau de la vérification et de l'évaluation de faire des suggestions ou des commentaires sur la démarche de propositions en ligne, quelques-uns (13,3 %) ont indiqué (sans se consulter) qu'elle serait de loin plus efficace s'il était possible d'y joindre des aides visuelles. Voici quelques commentaires recueillis [TRADUCTION] : « pour des innovations complexes comme celles qui portent sur les logiciels, il faut des vidéos et des images pour être à même de constater les véritables avancées »; « vous devriez autoriser l'affichage d'images et de graphiques dans la proposition pour que l'évaluateur puisse comprendre facilement le concept des projets ». Cette caractéristique a été ajoutée à l'outil en ligne de présentation des propositions : il est désormais possible de l'utiliser pour le deuxième appel de propositions et pour les appels subséquents.

Appels de propositions

75. Les appels de propositions ont été publiés dans le système d'approvisionnement MERX. Le premier a été publié entre le 5 octobre et le 16 novembre 2010, le deuxième entre le 13 juillet et le 18 août 2011 et le troisième, le 29 février 2012. À la suite du premier appel de propositions, 375 propositions ont été reçues; 337 propositions ont été reçues après le deuxième appel de propositions.
76. Les commentaires des fournisseurs au cours du premier appel de propositions ont généralement été positifs. Certains ont toutefois souligné que les documents étaient difficiles à comprendre et que le document relatif à l'appel de propositions était long et complexe. Pour le deuxième appel de propositions, on a revu les documents à la lumière des enjeux de complexité soulevés par les utilisateurs. On a du même coup ajouté des renseignements et amélioré l'intégration dans le site Web du programme. Pour le troisième appel de propositions, on a de nouveau revu les documents pour simplifier la méthode de présentation des propositions. En réponse aux commentaires des utilisateurs, les formulaires de présentation des propositions ont été simplifiés. Le nombre de pages de la version anglaise des documents est passé de 87 pages à 42 pages, et on l'a ramené à 14 pages pour le troisième appel de propositions^{Note de bas de page 15}.

Évaluation et choix des propositions

77. Les propositions ont été analysées par les responsables du PARI-CNRC. Les propositions qui ont obtenu les meilleures notes sur le plan de la conformité technique ont ensuite été remises au Comité de sélection des innovations pour qu'il les valide avant la préqualification. Les propositions reçues lors du premier appel ont été évaluées entre novembre 2010 et janvier 2011, et celles reçues lors du deuxième appel, entre le 19 août et le 4 décembre 2011.
78. Il a fallu déployer plus d'efforts et affecter plus d'employés que prévu à l'évaluation des propositions du premier appel de propositions. Pour évaluer les 375 propositions reçues, le PARI-CNRC a dû recourir aux services de 140 conseillers techniques de l'industrie au lieu des 75 qui étaient prévus. La démarche d'évaluation initiale exigeait que les propositions soient analysées à fond avant qu'elles ne fassent partie d'une liste de soumissions ensuite soumises au Comité de sélection des innovations. Il s'agissait d'une démarche trop longue et laborieuse, puisque la moitié des soumissions n'étaient pas dignes de faire l'objet d'une analyse approfondie de ce genre. Après le premier appel de propositions, le PARI-CNRC a cerné les nombreux points à améliorer à l'égard du processus d'évaluation, qui ont été réglés en vue du deuxième appel.
79. Parmi les 375 propositions reçues à la suite du premier appel de propositions, 40 des propositions les mieux cotées qui ont été jugées conformes sur le plan technique par le PARI-CNRC ont été soumises au Comité de sélection des innovations. Comme suite au processus de validation du Comité de sélection des innovations, 27 innovations ont été préqualifiées. Les personnes interrogées ont indiqué que le Comité a apporté au programme le point de vue du secteur privé, ce qui a énormément amélioré le processus de sélection : le Comité a formulé des commentaires précieux grâce à sa capacité de souligner les incohérences, à remettre en question les hypothèses des évaluateurs et à donner l'aval d'un groupe d'intervenants qualifiés.
80. Le PARI-CNRC juge l'évaluation du deuxième appel de propositions plus efficient en raison de la mise en œuvre d'un mécanisme de filtrage. Cette amélioration a largement contribué à alléger la charge de travail du PARI-CNRC. Les propositions ont d'abord été triées lors d'une première phase comportant trois exigences obligatoires. Parmi les 337 propositions reçues, 2 ont été écartées. Il en restait donc 335 à trier durant cette première phase. Parmi elles, 166 n'ont pas satisfait aux critères de filtrage : il restait donc 169 propositions à évaluer sur le plan technique. Après l'évaluation technique, 52 propositions ont été soumises au Comité de sélection des innovations. Enfin, 37 innovations ont été préqualifiées dans le cadre du programme.

Passation de marchés

81. Le Secteur de la gestion des services et des achats spécialisés (SGSAS) de TPSGC passe les marchés au nom du PCCI pour l'achat d'innovations par celui-ci et la prestation de biens ou de services au ministère chargé de la mise à l'essai.
82. Au départ, on s'attendait que les innovations coûteraient environ un demi-million de dollars chacune, ce qui permettrait l'achat d'environ 20 innovations pendant la phase pilote, selon les prévisions du budget 2010. En général, les prix demandés par les fournisseurs étaient plus bas que prévu. Le nombre d'achats d'innovations visé a donc été dépassé à la suite du premier appel de propositions.
83. Dans le cadre du premier appel de propositions du programme, la passation de marchés pour les innovations retenues a pris plus de temps que prévu, en raison des difficultés anticipées du jumelage et de la passation de marchés pour des innovations. On espérait au début que les marchés seraient passés dans les huit semaines qui suivent la clôture du premier appel de propositions, mais cet objectif n'a pas été atteint. Le l'objectif initial pour l'établissement d'un marché a été prolongé à huit mois. Toutefois, huit mois après le premier appel de propositions (juillet 2010), seulement deux marchés avaient été conclus, tandis que 25 autres attendaient d'être finalisés.
84. La valeur totale des marchés éventuels découlant du premier appel de propositions était d'au moins 7,7 millions de dollars. La valeur moyenne des marchés éventuels était de 383 248 $, tandis que la plus faible valeur d'un marché éventuel était estimée à 38 335 $, et la plus élevée à 584 200 $. La pièce 2 ci-dessous présente les valeurs des marchés éventuels déterminées pour les 20 innovations pour lesquelles la valeur du contrat éventuelle avait été déterminée. Au 31 mars 2012, la valeur potentielle des marchés des sept innovations préqualifiées n'avait pas encore été déterminée. L'évaluation a permis de constater que la valeur de cinq marchés était estimée à plus de 500 000 $, même si l'appel de propositions limitait les coûts à ce montant.

85. La valeur totale des marchés éventuels découlant du deuxième appel de propositions était d'au moins 11,4 millions de dollars. La valeur moyenne des marchés éventuels était de 308 463 $, tandis que la plus faible valeur d'un marché éventuel était estimée à 32 850 $, et la plus élevée à 500 000 $. La pièce 3 ci-dessous présente un aperçu de la valeur des marchés relatifs aux 37 innovations pour lesquelles une valeur éventuelle avait été déterminée.

86. En mars 2012, 19 marchés avaient été passés à la suite du premier et du deuxième appel de propositions. L'analyse des résultats immédiats et intermédiaires présente plus en détail la passation de marchés et ses résultats.

Utilisation des innovations

87. Le PCCI fait la promotion de l'utilisation des innovations en demandant et en permettant aux ministères et organismes de mettre à l'essai les biens et services précommerciaux achetés.

Établissement de relations

88. Pour atteindre ses objectifs, le PCCI a travaillé activement afin de cultiver ses relations avec d'autres ministères et organismes et les encourager à participer aux activités de jumelage et de mise à l'essai dans le cadre du programme.
89. Ces relations ont été établies de différentes façons, notamment par l'entremise de présentations à des représentants d'autres ministères, à des groupes de clients et à des partenaires du programme. De plus, on a déterminé que 1 636 représentants de ministères ont participé aux activités de sensibilisation mentionnées plus tôt dans la présente section.

Jumelage

90. Pour qu'une innovation retenue soit admissible à l'achat, il faut qu'un ministère ou un organisme soit désigné comme utilisateur potentiel.
91. Au 31 mars 2012, à la suite du premier et du deuxième appel de propositions, des marchés avaient été attribués à 23 innovations et 12 ministères et organismes ont été identifiés comme ministères chargés de la mise à l'essai. Les innovations portaient sur tous les secteurs prioritaires et ceux de la sûreté et la sécurité représentaient le plus grand nombre d'innovations (n=8).
92. Soixante-dix-sept pour cent des participants du PCCI qui ont répondu au sondage du Bureau de la vérification et de l'évaluation et qui avaient suggéré un ministère pour la mise à l'essai de leur innovation ont dit avoir été jumelés avec ce ministère.

Utilisation des innovations et préparation des commentaires sur la mise à l'essai

93. Lorsqu'une innovation est achetée, le ministère chargé de la mise à l'essai procède à l'essai, puis formule des commentaires sur son utilisation.
94. Quand l'évaluation a été menée, une seule innovation avait été mise à l'essai par un ministère.

Transmission des commentaires sur la mise à l'essai aux fournisseurs

95. Après avoir procédé à la mise à l'essai, le ministère transmet des commentaires sur l'utilisation de l'innovation aux responsables du PCCI. Ces derniers transmettent ensuite ces commentaires au fournisseur pour qu'il s'en serve pour améliorer son innovation.
96. Au moment de l'évaluation, les activités de mise à l'essai n'étaient pas encore entièrement mises en œuvre.

Autres possibilités de mise au point et d'exécution

97. Le rapport du groupe d'experts (2011) indique que le projet pilote du PCCI fonctionne selon le concept de la « pression de l'offre », puisque les soumissionnaires présentent des propositions de solutions novatrices à mettre à l'essai plutôt que de répondre aux besoins précis d'un ministère ou d'un organisme. Le groupe d'experts suggère que le gouvernement soit proactif et mette en place des mesures qui incitent les entreprises à trouver des solutions aux problèmes opérationnels des ministères. Le rapport du groupe d'experts recommande aussi que le gouvernement du Canada « désigne un ministre chargé de l'innovation » et lui donne le mandat explicite de placer l'innovation au cœur de la stratégie du gouvernement afin d'améliorer le rendement économique du Canada. Le rapport affirme de plus que le Canada doit adopter une politique en matière d'innovation pour « l'ensemble du gouvernement » qui comprend la recherche, le développement, la commercialisation et les stratégies de soutien des affaires. Le ministre responsable devrait aussi établir des objectifs de rendement axés sur les résultats pour comparer les programmes de tous les ministères. Une approche gouvernementale centrale en ce qui a trait à l'innovation pourrait comprendre le transfert du PCCI à un « centre gouvernemental », tout en tirant profit de l'expertise de TPSGC en approvisionnement.
98. Par ailleurs, les personnes interrogées ont proposé une autre solution, soit que les gouvernements provinciaux participent également à la mise à l'essai. Les provinces participeraient plus particulièrement pour les technologies pour lesquelles elles ont une grande expertise et possèdent les installations pour mettre à l'essai les innovations, comme pour les biens axés sur la santé. Il serait aussi possible d'augmenter l'efficience en cherchant les occasions de collaborer avec d'autres ordres de gouvernement qui auraient besoin d'une innovation et de l'expertise pour la mettre à l'essai.

Conclusions : Mise en œuvre

99. Les activités de sensibilisation ont surpassé les objectifs initiaux et ont permis de mieux faire connaître le programme. Il s'est avéré efficace de tirer profit des activités des bureaux régionaux du BPME pour mettre en œuvre les activités de sensibilisation.
100. Dans le cadre du programme, un processus électronique en ligne efficace et novateur a été mis en place.
101. Les responsables du programme ont efficacement décelé les problèmes liés au processus de soumission, aux outils et aux exigences lors du premier appel de propositions et apporté les changements nécessaires avant le deuxième appel. Grâce à la modification des outils du programme et des critères d'admissibilité (raccourcissement du document d'appel de propositions, ajout de renseignements sur le site Web et modification du niveau de maturité technologique requis), le deuxième processus d'appel de propositions a été plus efficient.
102. Les objectifs de la mesure du rendement établis pour le nombre de propositions soumises par les fournisseurs ont été dépassés. Pour leur part, les objectifs initiaux de passation de marchés ont dû être revus en raison du grand nombre de propositions reçues.
103. L'évaluation a démontré qu'il existe d'autres options de mise au point et d'exécution pour le programme.

Atteinte des résultats

104. L'évaluation a porté sur la mesure dans laquelle le programme a atteint les résultats immédiats, intermédiaires et finaux escomptés. Les résultats du PCCI sont énoncés en italique ci-dessous, suivis d'une évaluation de la mesure dans laquelle ils ont été atteints.

Résultat immédiat : Le PCCI attire les PME et les ministères

105. Il est essentiel que les entreprises canadiennes et les autres ministères fédéraux participent au PCCI pour qu'il atteigne ses objectifs en matière d'innovation. Comme le programme est nouveau et qu'il adopte une approche qui n'a pas été utilisée auparavant, un résultat immédiat lié à la participation a été inclus.
106. Les activités de sensibilisation tenues de septembre 2010 à mars 2012 par les bureaux régionaux du BPME ont réuni 21 873 participants^{Note de bas de page 16} de la collectivité des fournisseurs et 1 636 représentants des ministères. Les pièces 4 et 5 ci-dessous présentent des renseignements sur la participation par type d'activité de sensibilisation.

Source : Résultats du PCCI pour l'exercice 2010-2011, BPME

Source : Résultats du PCCI pour l'exercice 2011-2012, BPME

107. Puisque le PCCI est offert à toutes les entreprises canadiennes, y compris les grandes entreprises (comptant plus de 500 employés)^{Note de bas de page 17}, il n'a pas été possible d'assurer un suivi de la participation des PME aux activités de sensibilisation. Toutefois, puisque la responsabilité du PCCI a été confiée au BPME et que ce dernier est axé sur les PME, il est probable que celles-ci aient constitué la majorité des participants aux activités de sensibilisation du PCCI. Par ailleurs, au moins 49 des 64 (76,5 %) innovations préqualifiées à l'issue des deux premières rondes d'appels de propositions du programme proviennent de PME^{Note de bas de page 18}, ce qui permet de conclure que le PCCI a réussi à attirer ce type d'entreprises.
108. L'une des stratégies du programme était d'établir des relations de travail solides avec les ministères. La participation des ministères clients aux activités de sensibilisation constitue un moyen d'établir de telles relations. La stratégie de mesure du rendement du PCCI visait la participation de 200 représentants de ministères aux activités de sensibilisation par exercice financier. De septembre 2010 à mars 2012, 1 636 représentants de ministères ont assisté à de telles activités (pièces 4 et 5).
109. Selon les intervenants, certains ministères ont adopté le programme dès le début et ils étaient enthousiastes à l'idée d'y participer, surtout les ministères et les organismes qui offraient déjà des subventions et des services aux entreprises novatrices. Ces ministères ont participé aux activités de sensibilisation pour aider à promouvoir le PCCI et leurs propres programmes. Ainsi, les fournisseurs qui ont assisté à ces activités y ont appris que le PCCI ne répondait pas à leurs besoins actuels ont tout de même pu faire du réseautage auprès des représentants d'autres programmes qui appuient l'innovation.
110. En conclusion, le PCCI a réussi à atteindre son objectif immédiat d'attirer les PME et les autres ministères gouvernementaux.

Résultat immédiat : Utilisation réussie des innovations par le gouvernement

111. L'utilisation réussie des innovations par le gouvernement est illustrée par le jumelage entre le programme et les ministères et la mise à l'essai des biens ou services et les commentaires sur ceux-ci.
112. Comme l'indique la section Mise en œuvre, 64 innovations se sont préqualifiées à la suite du premier (n=27) et du deuxième (n=37) appel de propositions. En mars 2012, des jumelages auprès de ministères chargés de la mise à l'essai avaient été confirmés pour 73 % (47) de ces innovations. Soixante-dix-sept pour cent des participants du PCCI qui ont répondu au sondage du Bureau de la vérification et de l'évaluation et qui avaient suggéré un ministère pour la mise à l'essai de leur innovation ont dit avoir été jumelés avec ce ministère.
113. À la fin mars 2012, des marchés avaient été passés pour 63 % (n=17) des innovations jumelées à des ministères chargés de la mise à l'essai à la suite du premier appel de propositions. En tout, 15 ministères et organismes participent à la mise à l'essai d'innovations. À la suite du premier appel de propositions, TPSGC et Recherche et développement pour la défense Canada devaient mettre à l'essai chacun deux innovations.
114. À la fin mars 2012, pour les innovations jumelées à des ministères chargés de la mise à l'essai après le deuxième appel de propositions, deux marchés avaient été passés et deux autres étaient en voie de l'être, et 17 énoncés des travaux ou accords de transfert d'innovation étaient en cours d'élaboration.
115. Lorsque l'évaluation a été menée, il était encore trop tôt dans la mise en œuvre du programme pour évaluer les composantes de mise à l'essai et de commentaires du programme, puisque la phase de mise à l'essai n'était terminée que pour une seule innovation.
116. On a constaté, dans le cadre du programme, qu'il était plus facile d'obtenir la participation des ministères pour les activités de sensibilisation que pour la mise à l'essai. Selon les gestionnaires du programme, les autres ministères fédéraux doivent y participer davantage. En général, les ministères n'ont aucune obligation quant à l'innovation dans le cadre de leurs activités d'approvisionnement. Par conséquent, ils ne connaissent pas nécessairement les avantages du recours à des biens et services novateurs. Il est donc important de communiquer avec les bonnes personnes et de désigner des champions au sein des ministères, de sensibiliser davantage les ministères aux bienfaits du programme et de les encourager à y participer.
117. En conclusion, le PCCI a progressé quant à l'atteinte de ce résultat, comme le démontrent les multiples jumelages entre les fournisseurs et les ministères. Cependant, la mise en œuvre des activités du programme n'était pas suffisante pour qu'une évaluation complète en soit faite.

Résultat intermédiaire : Les entreprises canadiennes sont mieux préparées à lancer leurs innovations sur le marché

118. Tous les gestionnaires du PCCI s'entendaient pour dire que le programme a contribué à préparer les entreprises au lancement de leur innovation sur le marché. Ils ont affirmé que même les fournisseurs dont les propositions n'ont pas été retenues ont pu acquérir des connaissances essentielles sur les affaires en participant au processus de soumission. Pour préparer des propositions, les entreprises doivent élaborer des stratégies de commercialisation et des plans d'affaires et évaluer le marché et les effets financiers. Toutes ces étapes sont des exercices qui représentent une valeur ajoutée, que la proposition soit retenue ou non. Cependant, le sondage auprès des entreprises ayant participé au premier appel de propositions révèle que celles-ci n'ont pas trouvé que leur participation au PCCI les a aidées à se préparer à la commercialisation de leur innovation. Seulement 36 % des répondants se sont dits entièrement d'accord ou d'accord avec l'affirmation qu'ils étaient mieux préparés.
119. Par ailleurs, bon nombre des gestionnaires du programme ayant été interrogés ont affirmé que l'éducation des fournisseurs quant au processus d'approvisionnement gouvernemental est fait partie intégrante du mandat du PCCI. Pour ce faire, les responsables du programme pourraient faire un suivi auprès des fournisseurs non retenus en guise de conclusion et s'assurer qu'ils ont acquis des connaissances sur la façon de lancer un bien ou un service sur le marché fédéral pendant leur participation au PCCI.
120. En conclusion, il est trop tôt dans la mise en œuvre du PCCI pour bien évaluer ce résultat. Les premières constatations suggèrent que peu de participants interrogés croient que le programme les a préparés à lancer leur innovation sur le marché. Cependant, aucun d'entre eux n'a encore profité de l'utilisation ou des commentaires des ministères.

Résultat intermédiaire : Les ministères fédéraux contribuent à l'adoption d'une culture d'innovation au Canada

121. Les fonctionnaires interrogés croient que le gouvernement doit jouer un rôle dans la commercialisation des innovations et que le programme aide à instaurer une meilleure compréhension de l'innovation au sein du gouvernement. L'un des intervenants a même souligné que le programme est rassembleur et permet aux gens d'échanger sur leurs connaissances et de rencontrer les ministères et d'autres chercheurs. L'opinion des fournisseurs à ce sujet, quant à elle, était plus partagée. En effet, 55 % des fournisseurs ayant répondu au sondage du Bureau de la vérification et de l'évaluation se sont dits entièrement d'accord ou d'accord avec l'affirmation que le PCCI et le gouvernement ont contribué à l'adoption d'une culture d'innovation au Canada.
122. En conclusion, il est trop tôt dans la mise en œuvre du PCCI pour bien évaluer ce résultat. Les résultats initiaux laissent supposer que la moitié des participants interrogés estiment que les ministères fédéraux contribuent à l'adoption d'une culture d'innovation au pays.

Résultat final : Les innovations canadiennes sont commercialisées avec succès grâce au programme

123. Puisque le programme n'en est qu'à la phase de projet pilote et que le jumelage et la mise à l'essai des innovations avec d'autres ministères fédéraux viennent à peine de commencer, il est impossible de tirer des conclusions quant à l'atteinte de ce résultat escompté.

Conclusions : Atteinte des résultats

124. Le programme a réussi à attirer les PME et les ministères fédéraux. Toutefois, il convient de souligner qu'il a été plus facile et plus rapide d'obtenir la participation des ministères pour les activités de sensibilisation que pour la mise à l'essai.
125. Le programme connaît aussi du succès en ce qui a trait à l'utilisation des innovations par le gouvernement, comme le montrent les multiples jumelages entre les fournisseurs et les autres ministères.
126. À ce jour, compte tenu du progrès de la mise en œuvre du programme et des résultats préliminaires liés aux objectifs immédiats, le programme est sur la bonne voie pour obtenir les résultats intermédiaires et finaux escomptés.

Efficience et économie

127. L'efficience et l'économie sont démontrées par l'évaluation de l'utilisation des ressources relativement à la production d'extrants et aux résultats obtenus. L'efficience renvoie à la mesure dans laquelle les ressources sont utilisées de manière à produire un plus grand niveau d'extrants avec le même niveau d'intrants, ou le même niveau d'extrants avec un plus faible niveau d'intrants. L'économie correspond à la réduction au minimum des ressources utilisées. Un programme fait preuve d'une économie et d'une efficacité démontrables élevées lorsque les ressources optimisent les extrants à moindre coût et que la corrélation entre le minimum de ressources et les résultats obtenus est élevée.
128. L'évaluation a révélé que le programme a utilisé de façon efficiente les ressources au début de sa mise en œuvre, plus particulièrement en tirant profit des bureaux régionaux du BPME, en utilisant des stratégies de sensibilisation en ligne et grâce à des modifications apportées par le PARI-CNRC à l'approche pour l'évaluation technique des propositions. Cependant, les répercussions sur la rentabilité de la modification des objectifs pour la passation de marchés sur la rentabilité du programme n'ont pas encore fait l'objet d'une évaluation.
129. Les responsables du programme ont réussi à réaffecter les fonds initialement prévus pour la sensibilisation à l'achat d'innovations. De plus, le recours au réseau de bureaux régionaux du BPME a permis de réaliser les activités de sensibilisation avec économie et efficience.
130. Les activités de sensibilisation du programme ont été réalisées de façon plus efficiente à la suite du premier appel de propositions. En effet, après ce premier appel, il a été déterminé que les conférences des soumissionnaires en personne demandaient beaucoup de temps et était trop coûteuses. Elles permettaient aussi à certains fournisseurs (ceux qui pouvaient assister aux conférences sur place) d'obtenir des renseignements avant ceux qui provenaient d'autres régions du pays. Pour remédier à ce problème, les responsables du programme ont eu recours à des conférences en ligne. Les webinaires ainsi créés se sont avérés rentables, puisqu'ils peuvent être diffusés à partir d'un seul emplacement à des participants de partout au pays et réduisent les coûts de déplacement et d'hébergement. Lors de la première conférence en ligne, les responsables du programme ont pu fournir de l'information et répondre à plus de 300 questions. Ce processus a été répété avec succès pour le deuxième appel de propositions.

Conclusions : Efficience et économie

131. En exécutant le programme, les responsables ont respecté l'importance de l'efficience. En effet, ils ont réduit le coût de ses activités de sensibilisation en tirant profit des activités de sensibilisation du BPME et en remplaçant les conférences en personne avec les soumissionnaires par des webinaires plus accessibles.
132. Par la réaffectation et le report de fonds, les responsables du programme démontrent qu'ils sont conscients des risques associés aux fonds qui n'ont pas été dépensés. Les échéanciers du programme pour l'achat d'innovations ont été modifiés pour qu'il n'y ait pas de fonds non utilisés.

Conclusions générales

133. La raison d'être du programme demeure valable et la forme d'aide unique qu'apporte le PCCI représente un besoin continu. Il est clairement indiqué dans le budget fédéral de 2012 que le PCCI demeure pertinent.
134. Le PCCI s'harmonise avec les priorités du gouvernement portant sur l'appui à l'innovation et aux PME et avec les résultats stratégiques visés à TPSGC. Il s'harmonise avec les rôles et les responsabilités du gouvernement fédéral au chapitre de l'approvisionnement. À titre de principal acheteur de biens et de services pour le gouvernement du Canada, TPSGC est dans une position unique pour encourager l'innovation dans le domaine des biens et services requis par le gouvernement fédéral.
135. Le programme a réussi à susciter l'intérêt des PME et des ministères fédéraux. En effet, la participation a fortement dépassé les objectifs initiaux. Par ailleurs, il a été plus facile d'obtenir la participation des ministères pour les activités de sensibilisation que pour la mise à l'essai.
136. Le programme appuie avec succès l'utilisation d'innovations par le gouvernement, comme le montrent les multiples jumelages entre les fournisseurs et d'autres ministères.
137. Compte tenu des progrès réalisés à ce jour à l'égard de la mise en œuvre du programme, et à la lumière des résultats préliminaires obtenus, tout indique que le programme atteindra les résultats intermédiaires et finaux escomptés.
138. Les activités du programme évaluées ont été mises en œuvre avec succès. Pour le premier appel de propositions du programme, la passation de marchés pour les innovations retenues s'est fait plus lentement que prévu, ce qui a retardé la mise en œuvre des activités de mise à l'essai et de formulation de commentaires.

Recommandations et plan d'action de la gestion

Recommandation 1 : Le sous-ministre adjoint de la Direction générale des approvisionnements devrait revoir la stratégie de mesure de rendement du programme (y compris le modèle logique, les indicateurs de rendement et les objectifs) pour y appliquer les leçons tirées de la mise en œuvre du projet pilote en approvisionnement et pour qu'on y tienne compte des attentes d'un programme à long terme.

• Plan d'action de la gestion 1.1 : Un examen du modèle logique actuel du Programme sera réalisé et les leçons tirées dans le cadre du projet pilote seront rassemblées pour créer un rapport sur les leçons tirées.
• Plan d'action de la gestion 1.2 : Le rapport sur les leçons tirées servira de base à l'élaboration d'une nouvelle stratégie de mesure du rendement. Celle-ci détaillera un modèle logique, les indicateurs de rendement et les objectifs qui cadrent avec un programme continu bien établi. Une stratégie de mesure du rendement provisoire sera élaborée et distribuée afin d'obtenir des commentaires généraux avant sa version finale.
• Plan d'action de la gestion 1.3 : Une stratégie de mesure du rendement définitive, sera élaborée avant le 31 mars 2013 et soumise au SMA pour approbation.

Recommandation 2 : Le sous-ministre adjoint, de la Direction générale des approvisionnements, devrait évaluer le temps nécessaire pour établir des contrats pour les innovations admissibles et, s'il ya lieu, réviser les normes en vigueur dans le but d'améliorer la rapidité globale de la mise en œuvre des activités du programme.

• Plan d'action de la gestion 2.1 : Une évaluation du temps nécessaire pour établir les contrats sera faite pour les innovations admissibles. Au besoin, des modifications seront apportées aux normes existantes pour améliorer la rapidité et celles-ci seront appliquées dans la Stratégie de mesure du rendement.

À propos de l'évaluation

Autorité

Le sous-ministre de Travaux publics et Services gouvernementaux Canada (TPSGC) a approuvé cette évaluation, qui est recommandée par le Comité de vérification et d'évaluation (CVE) dans le cadre du Plan de vérification et d'évaluation axé sur les risques de 2011-2016.

Objectifs de l'évaluation

La présente évaluation s'est penchée sur le PCCI, mis en œuvre par le BPME de la Direction générale des approvisionnements. Elle visait deux objectifs :

• Déterminer la pertinence du programme : déterminer s'il répond à un besoin continu, s'il s'harmonise avec les priorités gouvernementales et s'il est compatible avec les rôles et les responsabilités du gouvernement fédéral.
• Déterminer le rendement du programme : évaluer la mise en œuvre du programme, ses résultats préliminaires et la démonstration d'efficience et d'économie.

Approche

L'évaluation a été réalisée conformément aux normes d'évaluation du gouvernement du Canada et du Bureau de la vérification et de l'évaluation de TPSGC. Elle s'est déroulée de mai 2011 à avril 2012, en trois étapes : planification, examen et rapport. Pour évaluer les enjeux et les questions, nous avons utilisé les éléments de preuve suivants :

Examen des documents : Un examen initial des documents a permis de comprendre le programme et son contexte afin de faciliter la planification. Nous avons notamment examiné les documents fournis par les responsables du programme et les documents rédigés au sujet de ce dernier. Ces documents comprenaient d'anciens discours du Trône et des rapports sur les plans et priorités, des plans d'affaires et des rapports sur les programmes de TPSGC.

Analyse documentaire : Une analyse documentaire a permis de mettre le programme dans un contexte national et international, de déterminer le fondement théorique du modèle adopté par le programme, de fournir des données de base pouvant servir à évaluer le programme et d'autres modèles d'exécution de programme par l'analyse d'autres gouvernements.

Entrevues : L'équipe d'évaluation a mené des entrevues auprès des principaux gestionnaires du programme et de TPSGC. De plus, elle a mené des entrevues avec des représentants des ministères et organismes clients, des partenaires du programme et des associations de gens d'affaires. L'analyse qualitative des entrevues a permis d'obtenir de l'information sur les activités, les extrants et les résultats escomptés du programme. Des guides d'entrevue ont été utilisés.

Sondage : L'équipe d'évaluation a élaboré un sondage pour connaître le point de vue des clients sur la pertinence et le rendement du programme. Ce sondage a été réalisé auprès des fournisseurs qui ont présenté des soumissions lors du premier appel de propositions du PCCI. Les résultats du sondage ont été intégrés quand c'était pertinent, et ils constituent une référence pour les évaluations futures.

Analyse financière : Des données financières liées au budget et aux dépenses du programme ont été examinées et analysées pour évaluer l'efficience et l'économie du programme. Ces données ont toutes été fournies par les responsables du programme.

Limites de la méthodologie

L'évaluation devait porter sur la première ronde d'approvisionnement. En raison du retard du processus, les marchés n'avaient pas tous été passés au moment où l'évaluation a commencé. Par conséquent, l'évaluation n'a pu se pencher sur les résultats préliminaires de l'utilisation des innovations par les ministères.

Établissement de rapports

Les constations découlant de l'évaluation ont été consignées dans une ébauche du rapport du directeur, qui a été approuvé à l'interne par les responsables de l'examen de la qualité du Bureau de la vérification et de l'évaluation. L'ébauche du rapport du directeur sera transmise au directeur général du programme, avec une demande de validation des faits et de commentaires sur le rapport. Une ébauche du rapport de la dirigeante principale de la vérification et de l'évaluation sera préparée et transmise, aux fins d'approbation, au sous-ministre adjoint de la Direction générale des approvisionnements, qui agit à titre de bureau de première responsabilité (BPR). Le BPR devra y donner suite en présentant un plan d'action de la gestion. L'ébauche du rapport final, qui comprendra le plan d'action de la gestion, sera présentée au Comité de vérification et d'évaluation de TPSGC pour approbation par le sous-ministre en novembre 2012. Le rapport final sera soumis au Secrétariat du Conseil du Trésor et affiché sur le site Web de TPSGC.

Équipe de projet

L'évaluation a été effectuée par des employés du Bureau de la vérification et de l'évaluation, sous la supervision du directeur de l'évaluation et sous la direction générale de la dirigeante principale de la vérification et de l'évaluation. L'évaluation a ensuite été examinée par les responsables de l'examen de la qualité du Bureau de la vérification et de l'évaluation.

Le directeur de l'évaluation a été consulté en tant que membre du sous-comité d'évaluation pendant les étapes de consultation et de recherche de l'Examen du soutien fédéral de la recherche-développement – Innovation Canada : Le pouvoir d'agir. Les consultations de cet examen portaient sur la mise au point et la mesure des programmes d'innovation. Soulignons que ce processus de consultation n'a pas influencé la présente évaluation ni ses constatations.

Annexe A : Niveaux de maturité technologique

Annexe B : Matrice d'évaluation