Évaluation du Portail linguistique du Canada (rapport final)

Points saillants

1. Le Portail linguistique du Canada est une initiative fédérale visant à aider le gouvernement à respecter son engagement à l'égard de la promotion des langues officielles et de l'épanouissement des communautés de langue officielle en situation minoritaire. Il fournit à la population canadienne un accès en ligne à diverses ressources sur les langues officielles conçues pour faciliter la communication en anglais et en français, tout en offrant une plateforme pour l'expertise canadienne dans le domaine des langues. Le Bureau de la traduction, un organisme de service spécial de Services publics et Approvisionnement Canada (SPAC), est responsable de la création et de la gestion du Portail linguistique.
2. Le financement du Portail linguistique provient de la Feuille de route pour les langues officielles du Canada 2013 à 2018 : Éducation, immigration, communautés, un investissement pangouvernemental dans la dualité linguistique du Canada. Dans le cadre de ce financement, le Bureau de la traduction élabore et tient à jour le contenu pour le Portail linguistique, et le publie en ligne.
3. Comme il est indiqué dans le modèle logique du Portail linguistique, ses objectifs sont les suivants :
   • la population canadienne a accès à des ressources linguistiques de qualité dans les deux langues officielles (résultat immédiat)
   • la population canadienne tire avantage de l'utilisation du Portail linguistique et de ses ressources linguistiques (résultat intermédiaire)
   • le Portail linguistique contribue à l'amélioration de la connaissance et de l'utilisation des deux langues officielles par la population canadienne (résultat ultime)
4. En général, l'évaluation a révélé qu'il existe un besoin continu pour le Portail linguistique en fonction des exigences relatives aux langues officielles du gouvernement fédéral, et comme en témoigne l'augmentation du nombre de visites au Portail linguistique. Elle a également révélé que le Portail linguistique s'harmonise avec les priorités du gouvernement fédéral et les résultats stratégiques de SPAC, y compris ceux du Bureau de la traduction. Les rôles et les responsabilités se rapportant à la mise en œuvre du Portail linguistique cadrent avec le mandat du Ministère, et répondent à l'exigence de la Loi sur les langues officielles selon laquelle chaque institution fédérale doit prendre des mesures positives visant à promouvoir la dualité linguistique dans la société canadienne.
5. L'évaluation a révélé que le Portail linguistique atteint son résultat immédiat, soit que la population canadienne a accès à des ressources linguistiques de qualité dans les deux langues officielles. La Division du Portail linguistique produit et rend disponibles des centaines d'outils et ressources en français et en anglais depuis deux ans grâce au financement affecté au Portail linguistique. L'évaluation n'a pas permis de conclure que le Portail linguistique atteint son résultat intermédiaire, soit que la population canadienne tire avantage de l'utilisation du Portail linguistique et de ses ressources linguistiques, car les données requises n'étaient pas disponibles au moment où l'évaluation a été réalisée. Toutefois, des preuves anecdotiques laissent croire que la population canadienne tire avantage du Portail linguistique. Le résultat intermédiaire du Portail linguistique sera mesuré et fera l'objet d'un rapport une fois que le sondage sur la satisfaction des utilisateurs sera élaboré et publié sur le site Web (prévu en 2016 à 2017) après la migration vers le site Canada.ca.
6. Les documents du programme indiquent que les dépenses liées au Portail linguistique sont conformes aux budgets prévus. Bien que l'équipe d'évaluation n'ait pas été en mesure d'effectuer une analyse comparative entre les coûts du Portail linguistique et ceux d'un site Web linguistique similaire, un site Web comparable géré par le gouvernement du Québec a été examiné. Même si le mandat de cette organisation et de ce site Web est différent de celui du Portail linguistique et que le budget est plus important, le pourcentage des frais administratifs liés aux deux sites Web était similaire, soit environ 40 % en 2014 à 2015.

Introduction

1. Les observations et les conclusions présentées ci-dessous sont le résultat de l'évaluation du Portail linguistique du Canada, qui fait partie du sous-programme 1.6.1 (Programme de normalisation terminologique) de l'architecture d'alignement des programmes du Ministère pour 2015 à 2016. Le Portail linguistique a été inclus dans l'architecture d'alignement des programmes de SPAC pour la première fois en 2009. Il est géré et tenu à jour par la Division du Portail linguistique du Bureau de la traduction.

2. Le Portail linguistique vise à offrir à la population canadienne un point d'accès unique à une vaste gamme d'outils et de ressources linguistiques, et ce, gratuitement. Le financement du Portail linguistique provient d'un investissement pangouvernemental de 16 millions de dollars sur une période de cinq ans dans la dualité linguistique du Canada, lequel s'inscrit dans un investissement pangouvernemental de 1,15 milliard de dollars au moyen de la Feuille de route pour les langues officielles du Canada 2013 à 2018 : Éducation, immigration, communautés. Au total, 14 organisations ont reçu du financement provenant de cette source. Une des conditions de ce financement est que chaque ministère doit réaliser une évaluation de son initiative respective et la transmettre à Patrimoine canadien d'ici le 30 juin 2016.

3. La présente évaluation figure dans le Plan de vérification et d'évaluation axé sur les risques de 2015 à 2018. Elle vise à évaluer la pertinence et le rendement du programme pour la période s'échelonnant d'avril 2013 à octobre 2015. La planification et la recherche ont été effectuées entre août et décembre 2015, conformément aux Normes d'évaluation pour le gouvernement du Canada et à la Politique sur l'évaluation de SPAC. De plus amples renseignements sur l'approche, les méthodes et les limites de la présente évaluation se trouvent à l'Annexe A : À propos de l'évaluation.

À propos du programme

4. Le Canada est un pays bilingue; la Loi sur les langues officielles, qui a été promulguée en septembre 1969, établit l'anglais et le français à titre de langues officielles du Canada et permet de veiller à l'égalité de statut des deux langues quant à son utilisation dans toutes les institutions du Parlement et du gouvernement du Canada. En outre, la Loi sur les langues officielles exige que les institutions fédérales prennent des mesures positives visant à promouvoir la dualité linguistique. La Loi sur les langues officielles découle des recommandations de la Commission royale d'enquête sur le bilinguisme et le biculturalisme. Plus tard, par suite de la ratification de la Loi constitutionnelle de 1982, le concept des langues officielles a été inscrit dans la Constitution du Canada. En vertu de l'article 42 de la Loi constitutionnelle, la responsabilité d'encourager et de promouvoir une approche coordonnée à l'égard du respect des engagements des institutions fédérales a été conférée au ministre du Patrimoine canadien.

5. Afin de renforcer la mise en œuvre de ses engagements pris en vertu de la Loi sur les langues officielles, le gouvernement a créé le Plan d'action pour les langues officielles 2003-2008, qui consistait à s'appuyer sur le fondement de la dualité linguistique établi par le cadre juridique pour le bilinguisme officiel. Ce plan a été suivi de la Feuille de route pour la dualité linguistique canadienne 2008 à 2013, qui a quant à elle été suivie de l'initiative actuelle, la Feuille de route pour les langues officielles du Canada 2013 à 2018. Celle-ci est considérée comme l'un des nombreux éléments qui composent le Programme des langues officielles du gouvernement du Canada. Elle sert à réaffirmer l'engagement du gouvernement du Canada à l'égard de la promotion des langues officielles et de l'épanouissement des communautés de langue officielle en situation minoritaire.

6. Les biens et les responsabilités uniques de SPAC à titre de fournisseur de services communs, ainsi que les secteurs d'activité existants se rapportant aux langues officielles, établissent le contexte du rôle du Ministère dans l'avancement du programme de la Feuille de route. C'est dans ce contexte que le Portail linguistique a été lancé par le Bureau de la traduction en 2009 comme une initiative de la Feuille de route pour la dualité linguistique canadienne 2008 à 2013.

7. En 2013, le gouvernement du Canada a renouvelé son engagement à l'égard de la promotion des langues officielles en lançant la Feuille de route pour les langues officielles du Canada 2013 à 2018 : Éducation, immigration, communautés. Cet engagement renouvelé a établi la stratégie sur les langues officielles du gouvernement pour la période de 2013 à 2018 et a procuré à SPAC un financement de 16 millions de dollars pour qu'il continue d'enrichir le Portail linguistique au cours de cette période de cinq ans. Ce financement récent du Portail linguistique sert à réaffirmer la position de celui-ci comme source d'expertise canadienne dans le domaine des langues et permet au Bureau de la traduction d'enrichir le contenu.

8. Le Portail linguistique fournit à la population canadienne un accès à un large éventail de ressources linguistiques de qualité en anglais et en français. Il ne s'agit pas d'un outil de traduction, mais plutôt d'un portail qui constitue un guichet unique pour l'accès à une vaste gamme d'outils et de ressources linguistiques. Grâce au financement du Portail linguistique pour la période de 2013 à 2018, le Bureau de la traduction a enrichi le contenu du Portail linguistique en incluant des articles, des outils d'aide à la rédaction, des manchettes, des tutoriels et des jeux-questionnaires sur divers sujets (par exemple grammaire et syntaxe, vocabulaire, styles de rédaction, alphabétisation). Il a aussi mis à la disposition du public sur Internet des ressources qu'il avait déjà élaborées en vue d'une utilisation au sein de la fonction publique. Ces ressources comprennent TERMIUM Plus^®, ConjugArt, Word Tailoring, HyperGrammar2 et d'autres outils. De plus, le Bureau de la traduction a établi des partenariats avec des intervenants du secteur langagier du Canada pour fournir un accès à des renseignements et à des ressources linguistiques supplémentaires dans le Portail linguistique (par exemple articles, liens vers des renseignements et des ressources sur des sites Web externes), et a créé et lancé des campagnes de promotion et de marketing visant à présenter le Portail linguistique à la population canadienne.

9. Le Portail linguistique a été conçu pour aider la population canadienne, les étudiants, les enseignants et le secteur langagier en leur fournissant des outils et des ressources qui facilitent la communication dans les deux langues officielles. Il vise également à mettre en évidence l'expertise canadienne dans le domaine des langues.

10. Le Portail linguistique a été évalué pour la dernière fois par le Ministère en 2011, et les résultats de cette évaluation ont été utilisés pour orienter l'évaluation horizontale de la Feuille de route pour la dualité linguistique canadienne 2008 à 2013, qui a été réalisée par Patrimoine canadien en 2012. L'évaluation de 2011 a donné lieu à deux recommandations pour améliorer la pertinence et le rendement du Portail linguistique. Un plan d'action de la gestion visant à donner suite à ces recommandations a été établi par le Bureau de la traduction et a depuis été entièrement mis en œuvre. La mise en œuvre complète du plan d'action de la gestion a été validée par le Bureau de la vérification et de l'évaluation en décembre 2014.

Pouvoir

11. La Loi sur le ministère des Travaux publics et des Services gouvernementaux confère à SPAC le pouvoir de fournir des services de traduction et des services connexes aux ministères, aux conseils et aux organismes du gouvernement du Canada, ainsi que de fournir tout autre service que le gouverneur en conseil peut prescrire.

12. La ministre des Services publics et de l'Approvisionnement est responsable de l'administration de la Loi sur le Bureau de la traduction et de son règlement.

13. Conformément à la partie VII de la Loi sur les langues officielles, modifiée en 2005, chaque institution fédérale doit prendre des mesures positives visant à mettre en œuvre l'engagement du gouvernement du Canada à l'égard de la promotion de la dualité linguistique et de l'épanouissement des communautés de langue officielle en situation minoritaire.

Rôles et responsabilités

14. Le Portail linguistique est géré par la Division du Portail linguistique des Services ministériels du Bureau de la traduction à Gatineau, au Québec. La gouvernance du Portail linguistique est assurée par l'intermédiaire de la structure hiérarchique existante au sein du Bureau de la traduction.

Ressources

15. En 2014 à 2015, les dépenses liées au Portail linguistique se chiffraient à 3 094 371 $; le groupe compte 16 employés. Le financement du Portail linguistique provenant de la Feuille de route pour les langues officielles du Canada 2013 à 2018 est de 16 millions de dollars sur une période de cinq ans.

Modèle logique

16. Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme. Cet outil visuel et systématique illustre la théorie d'un programme et démontre la façon dont celui-ci peut permettre d'atteindre les objectifs prévus. Il établit également le fondement de l'élaboration des stratégies d'évaluation et de mesure du rendement, notamment la matrice d'évaluation.

17. Un modèle logique pour le programme a été élaboré en fonction des résultats d'un examen détaillé des documents, de réunions avec des gestionnaires de programme et d'entrevues avec des intervenants clés. Il a ensuite été validé avec le personnel du programme. Le modèle logique est présenté dans la Figure 1.

Figure 1 : Modèle logique du Portail linguistique du Canada

Activités du programme

18. Comme le démontre le modèle logique, deux activités principales sont associées au Portail linguistique. Une description de chacune de ces activités se trouve ci-dessous :

• Créer, tenir à jour et promouvoir le Portail linguistique avec des ressources linguistiques en ligne : La Division du Portail linguistique du Bureau de la traduction élabore et gère le nouveau contenu du Portail linguistique dans les deux langues officielles, y compris des articles et des manchettes hebdomadaires, des jeux-questionnaires, des jeux éclairs, ainsi que des articles sur les langues. Elle a aussi créé un outil de recherche appelé Le français sans secrets | Gateway to English, qui permet aux utilisateurs d'effectuer une recherche simultanée dans un vaste contenu linguistique, en plus d'intégrer de nombreuses fonctions Web 2.0 dans le Portail linguistique
• Conclure des accords avec des partenaires en matière de services linguistiques pour enrichir le contenu du Portail linguistique : Le Bureau de la traduction a établi des partenariats avec 20 intervenants du secteur langagier (en date d'août 2015) pour fournir un accès à des renseignements et à des ressources linguistiques supplémentaires dans le Portail linguistique (par exemple articles, liens vers des renseignements et des ressources sur des sites Web externes). Il a également créé et lancé des campagnes de promotion visant à présenter le Portail linguistique à la population canadienne. Les partenaires sont énumérés dans le Portail linguistique, lesquels comprennent notamment la Fondation canadienne pour le dialogue des cultures, l'École de la fonction publique du Canada et le Centre de recherche en technologies langagières

Rapport d'évaluation

19. Le sous-ministre des Travaux publics et Services gouvernementaux a approuvé la réalisation de la présente évaluation, selon la recommandation du Comité de vérification et d'évaluation, dans le cadre du Plan de vérification et d'évaluation axé sur les risques 2013 à 2018. La planification et la recherche ont été effectuées entre août et décembre 2015, conformément aux Normes d'évaluation pour le gouvernement du Canada et à la Politique sur l'évaluation de SPAC. De plus amples renseignements sur l'approche, les méthodes et les limites de la présente évaluation se trouvent à l'Annexe A : À propos de l'évaluation.

20. La Direction de l'évaluation a effectué une évaluation comparative axée sur les risques afin de déterminer la meilleure approche à adopter pour réaliser la présente évaluation. Elle a ainsi déterminé qu'une évaluation simplifiée s'appliquerait bien au Portail linguistique pour les raisons suivantes :

• le programme représente moins de 1 % des dépenses annuelles de SPAC
• le programme adopte un modèle logique simple et un mécanisme de prestation centralisé

21. Par conséquent, les résultats des activités de recherche et d'analyse effectuées dans le cadre de la présente évaluation sont présentés dans des tableaux. Ceux-ci présentent les observations et les conclusions pour chaque élément évalué, tout en précisant les indicateurs et les éléments de preuve utilisés. Ce format de rapport est conforme aux exigences en matière de présentation de rapports d'évaluation énoncées à la section 6.4.1a (i à ix) des Normes d'évaluation pour le gouvernement du Canada.

Section 1 : Pertinence

Besoin continu

Dans quelle mesure le Portail linguistique répond-il à un besoin démontrable?

Harmonisation avec les priorités du gouvernement

Le Portail linguistique s'harmonise-t-il avec les priorités du gouvernement fédéral et les résultats stratégiques de SPAC?

Harmonisation avec les rôles et les responsabilités du gouvernement fédéral

Le Portail linguistique cadre-t-il avec les rôles et les responsabilités du gouvernement fédéral?

Section 2 : Rendement

Atteinte des résultats

Résultat immédiat

Dans quelle mesure le Portail linguistique a-t-il contribué à la disponibilité de ressources linguistiques dans les deux langues officielles?

Dans quelle mesure la population canadienne a-t-elle bénéficié de l'utilisation du Portail linguistique et des ressources linguistiques qui s'y trouvent?

Démonstration de l'efficience et de l'économie

Le Portail linguistique peut-il générer les mêmes extrants et résultats à un coût moindre?

Existe-t-il d'autres méthodes pour atteindre les mêmes résultats de manière plus efficace?

Plan de travail de la Division du Portail linguistique pour les deux exercices restants du programme de financement de la Feuille de route pour les langues officielles du Canada 2013 à 2018

L'évaluation ayant été effectuée au milieu du programme de financement de la Feuille de route 2013 à 2018, la Division du Portail linguistique s'est préparée en vue du travail à accomplir au cours des exercices 2016 à 2017 et 2017 à 2018. La Division du Portail linguistique se prépare à une refonte du site Web et à la réalisation d'autres activités pour poursuivre l'amélioration du rendement du Portail linguistique.

Plus précisément, les futurs travaux et améliorations comprennent ce qui suit :

• mener un sondage continu auprès des utilisateurs concernant le Portail linguistique afin d'aider à mesurer les résultats intermédiaire et final
• surveiller le rendement et fixer des objectifs appropriés (à l'aide d'indicateurs précis, mesurables, réalisables, pertinents et définis dans le temps)
• examiner la présentation du contenu sur le site Web afin de s'assurer qu'elle répond aux besoins d'un grand nombre d'utilisateurs outre les employés fédéraux (étudiants, nouveaux arrivants)
• mieux faire connaître le Portail linguistique

Recommandation

Aucun problème majeur qui aurait nécessité la formulation de recommandations officielles n'a été repéré pendant l'évaluation. L'équipe d'évaluation encourage la Division du Portail linguistique à poursuivre la mise en œuvre de son plan de travail actuel afin de continuer à exploiter le Portail linguistique dans l'intérêt de la population canadienne.

Annexe A : À propos de l'évaluation

Pouvoir

La présente évaluation figure dans le Plan de vérification et d'évaluation axé sur les risques 2015 à 2018. Au départ, l'évaluation devait être effectuée en 2016 à 2017 afin de contribuer à l'évaluation horizontale de la Feuille de route pour les langues officielles du Canada 2013 à 2018 : Éducation, immigration, communautés dirigée par Patrimoine canadien. Or, à la demande de Patrimoine canadien, la planification et la réalisation de cette évaluation ont été devancées afin qu'un rapport d'évaluation définitif puisse être soumis à Patrimoine canadien avant le 30 juin 2016.

Objectifs de l'évaluation

L'évaluation portait sur le Portail linguistique du Canada, offert par le Bureau de la traduction de SPAC. Cette évaluation avait deux objectifs :

• déterminer la pertinence du programme : déterminer s'il répond à un besoin continu, s'il s'harmonise avec les priorités gouvernementales et les résultats ministériels, et s'il est compatible avec les rôles et les responsabilités du gouvernement fédéral
• mesurer le rendement du programme : déterminer s'il a atteint les résultats escomptés (immédiat et intermédiaire) et s'il fait preuve d'efficience et d'économie. L'équipe d'évaluation a seulement étudié les résultats à court terme du Portail linguistique afin de pouvoir respecter la date limite du 30 juin 2016 fixée par Patrimoine canadien pour la soumission du rapport

Approche adoptée pour l'évaluation du Portail linguistique

Le Bureau de la vérification et de l'évaluation a effectué une évaluation comparative axée sur les risques afin de cibler la meilleure approche à adopter pour la présente évaluation, c'est-à-dire une approche qui permettrait de régler les problèmes fondamentaux relevés dans le cadre des évaluations du Conseil du Trésor (besoin continu, harmonisation, efficacité, efficience et économie). En fonction de cette évaluation, un cadre de référence a été établi pour cette évaluation. Ce cadre de référence a fourni le cadre technique nécessaire à la réalisation de la présente évaluation.

Le niveau d'effort déployé dans la réalisation de l'évaluation tenait compte des facteurs ci-dessus. Une matrice d'évaluation a été préparée à partir des cinq questions fondamentales du Conseil du Trésor auxquelles les évaluations doivent répondre. Les éléments de preuve décrits ci-dessous ont été utilisés pour l'examen des questions et des enjeux de l'évaluation.

Entrevues des principaux intervenants (n = 6) :

Des entrevues ont été réalisées auprès du personnel et de la direction du programme. Les questions étaient axées sur le rendement et l'efficacité du Portail linguistique.

Groupe de discussion (n = 12) :

L'équipe d'évaluation a organisé trois discussions de groupe virtuelles avec un échantillon d'utilisateurs et d'ambassadeurs du Portail linguistique.

Examen des documents :

L'examen préliminaire des documents a permis d'obtenir des renseignements sur le Portail linguistique et son contexte, afin de faciliter la planification de l'évaluation. Un examen plus approfondi des documents du programme a été réalisé afin de recueillir des renseignements permettant de répondre aux questions de l'évaluation. L'examen de ces documents a été axé sur plusieurs types de documents, rapports et autres documents à l'appui internes et externes. Parmi ces documents, on trouvait des présentations au Conseil du Trésor et d'autres documents ministériels connexes, des documents sur l'administration et la surveillance de programme et des documents de rapports, des études menées par l'équipe de programme, des registres financiers, de même que des rapports annuels sur les plans et les priorités et des rapports ministériels sur le rendement.

Analyse documentaire :

Cette analyse englobait de la recherche documentaire sur le Web en vue de faciliter la mise en contexte du Programme, ainsi que la détermination de modèles de prestation de rechange. L'analyse documentaire a aidé à structurer les entrevues des principaux intervenants interrogés, les discussions de groupe et l'analyse des coûts.

Examen financier :

Les données financières relatives aux budgets, aux recettes et aux dépenses du programme ont été examinées afin d'évaluer l'efficience et la rentabilité du programme.

Examen des données sur le rendement :

Les données sur le rendement du programme ont été examinées afin de déterminer dans quelle mesure le Programme atteint ses résultats immédiat et intermédiaire prévus.

Limites de l'évaluation

Le financement issu de la Feuille de route pour le Portail linguistique vise la période d'avril 2013 à mars 2018, et les résultats de l'évaluation sont exigés pour juin 2016. Cela signifie que l'évaluation ne permettait pas d'examiner le rendement sur cinq ans (de 2013 à 2018) du Portail linguistique en ce qui concerne le financement issu de la Feuille de route.

En outre, il existe des défis inhérents associés à la mesure des résultats des initiatives axées sur l'amélioration des connaissances et l'utilisation des langues, comme le Portail linguistique, en raison de la nature complexe de l'apprentissage, du perfectionnement et de l'utilisation d'une langue, ainsi que de facteurs externes qui contribuent à ces processus.

Le modèle logique du Portail linguistique présente l'énoncé suivant à titre de résultat immédiat : « La population canadienne a accès à des ressources linguistiques de qualité dans les deux langues officielles. » Compte tenu de la nature subjective de la qualité d'un produit ou d'un service, l'évaluation a été menée dans une perspective selon laquelle la Division du Portail linguistique et les professionnels employés par le Bureau de la traduction possèdent les compétences et les capacités requises pour produire des ressources linguistiques de qualité. Par conséquent, l'équipe d'évaluation n'a pas réalisé d'évaluations directes de la qualité des produits linguistiques offerts sur le Portail linguistique. La qualité des ressources a plutôt été évaluée indirectement au moyen des données d'utilisation du Portail linguistique et des séances de groupe de discussion.

Établissement de rapports

Au moyen des éléments de preuve, l'équipe d'évaluation a rédigé une ébauche des observations et des conclusions aux fins de validation du directeur, qui présente les constatations et les conclusions. Ce document a été examiné par la Direction de l'évaluation de la qualité et de l'amélioration des pratiques du Bureau de la vérification et de l'évaluation et par la dirigeante principale de la vérification et de l'évaluation. Il a ensuite été transmis aux cadres supérieurs du programme aux fins d'examen et de commentaires. Les faits et tous les autres commentaires figurant dans l'ébauche des observations et des conclusions aux fins de validation du directeur ont été évalués, puis ceux jugés pertinents ont été intégrés dans l'ébauche des observations et des conclusions aux fins de validation de la dirigeante principale de la vérification et de l'évaluation. Ce document a ensuite été transmis au bureau de première responsabilité pour acceptation finale. Une réponse de la direction a été demandée à l'égard de l'ébauche des observations et des conclusions aux fins de validation de la dirigeante principale de la vérification et de l'évaluation. La définitive des observations et des conclusions aux fins de validation, y compris la réponse de la direction, a été présentée au Comité de vérification et d'évaluation de SPAC en juin 2016 aux fins d'approbation par la sous-ministre. Le rapport définitif sera envoyé au ministère du Patrimoine canadien, présenté au Secrétariat du Conseil du Trésor du Canada et affiché sur le site Web de SPAC.

Équipe du projet

L'évaluation a été effectuée par un employé du Bureau de la vérification et de l'évaluation et un expert-conseil, sous la supervision du directeur de l'évaluation et sous la direction générale de la dirigeante principale de la vérification et de l'évaluation. Elle a été examinée par la Direction de l'évaluation de la qualité et de l'amélioration des pratiques du Bureau de la vérification et de l'évaluation.

Annexe B : Tableaux

Tableau 11 : Example de ratio intrants-extrants du Portail linguistique par coûts de fonctionnement et d'entretien, total des charges et le ratio de l'administration pour 2013 à 2014 et 2014 à 2015

Tableau 12 : Example de ratio intrants-extrants pour l'Office québécois de la langue française par coûuts de fonctionnement et d'entretien, total des charges et le ratio de l'administration pour 2013 à 2014 et 2014 à 2015

Annexe C : Sommaire des conclusions de l'évaluation réalisé pour le ministère du Patrimoine canadien

Sommaire des conclusions de l'évaluation réalisée pour le ministère du Patrimoine canadien

Évaluation horizontale de la Feuille de route pour les langues officielles du Canada 2013 à 2018

Pour soutenir son évaluation horizontale de la Feuille de route pour les langues officielles 2013 à 2018, le ministère du Patrimoine canadien a demandé que les évaluations réalisées par les organisations recevant des fonds de la Feuille de route traitent d'un ensemble de problèmes communs. Cette mesure permettra à Patrimoine canadien de regrouper les produits d'évaluation individuels dans son évaluation horizontale, qui met l'accent sur la démonstration de la pertinence et du rendement de la Feuille de route.

L'évaluation horizontale comprendra également une analyse des enjeux communs aux initiatives de la Feuille de route, à savoir :

• les rôles et responsabilités des intervenants
• la portée et l'impact de l'initiative sur les différents publics cibles
• la validité et la fiabilité des indicateurs de rendement à procurer des résultats tangibles

Pour faciliter le travail du ministère du Patrimoine canadien, le Bureau de la vérification et de l'évaluation de Travaux publics et Services gouvernementaux Canada (SPAC) a préparé un résumé des conclusions de l'Évaluation du programme Portail linguistique du Canada qui s'harmonise aux problèmes communs qui ont été mis en évidence par Patrimoine canadien.

1. Rôles et responsabilités des intervenants

La Feuille de route 2013 à 2018 s'intéresse à trois domaines considérés comme étant des secteurs d'intervention prioritaires dans le cadre des consultations sur les langues officielles qui ont été menées par le ministère du Patrimoine canadien en 2012. Les trois secteurs relevés sont : l'éducation, l'immigration et le soutien aux collectivités. Le pilier « Éducation » veille à ce que les Canadiens bénéficient d'occasions d'éducation et de formation dans leur première langue officielle, d'apprentissage de l'autre langue officielle du pays et d'accès à des outils technologiques, et qu'ils tirent avantage des nombreux avantages sociaux, économiques, culturels et identitaires qui en résultent. On peut donc s'attendre à ce que les initiatives de la Feuille de route soient liées aux objectifs associés à l'un des piliers de la Feuille de route (par exemple, l'éducation, l'immigration ou les collectivités) et à ce que les rôles et les responsabilités des organisations fédérales qui contribuent à la Feuille de route favorisent l'obtention des résultats visés.

SPAC soutient l'objectif du pilier « Éducation », l'apprentissage des deux langues officielles, au moyen du Portail linguistique du Canada. Le Bureau de la traduction de SPAC, qui est responsable de la création et de la gestion du Portail linguistique, soutient ce pilier en permettant à la population canadienne, au secteur privé et aux organisations gouvernementales et non gouvernementales d'accéder en ligne à de nombreuses ressources et outils linguistiques conçus pour les aider à étudier, à travailler et à communiquer plus efficacement dans les deux langues officielles du Canada. Il permet aussi aux internautes de partout au Canada et du monde entier d'accéder à des ressources linguistiques produits ici, comme des articles et des jeux-questionnaires conçus afin les aider à améliorer leurs compétences linguistiques.

Même si une analyse des avantages sociaux, économiques, culturels et identitaires liés au Portail linguistique dépasse la portée de l'évaluation, on considère que le Portail linguistique est conçu pour encourager « les Canadiens à vivre et à s'épanouir dans les deux langues officielles », ce qui se rapporte à l'objectif stratégique de la Feuille de route.

Le Portail linguistique reçoit des millions de visiteurs chaque année. De 2013 à 2014 à 2014 à 2015, les pages Web du Portail linguistique ont été consultées près de 8 millions de fois, comparativement à 2 millions de fois en 2010 et 2011. Ce taux d'utilisation suggère que le Portail linguistique du Canada attire plus efficacement les visiteurs vers le contenu linguistique offert. On peut donc considérer que le Portail linguistique joue plus efficacement son rôle, qui consiste à aider les Canadiens à communiquer dans les deux langues officielles et à promouvoir l'expertise langagière canadienne. Par ailleurs, le rôle joué par le Portail linguistique dans la promotion des partenariats avec des intervenants du secteur privé, de différents ordres de gouvernement, et du gouvernement fédéral a contribué à augmenter le volume de contenu mis à la disposition de tous les Canadiens, notamment ceux issus de communautés de langue officielles en situation minoritaire à l'échelle nationale.

Les plans futurs du Portail linguistique prévoient aussi qu'il jouera un rôle de plus en plus important, en favorisant les collaborations avec les provinces, les territoires et les communautés de langue officielle en situation minoritaire, ce qui continuera d'enrichir le contenu offert sur le site Web.

Dans ce contexte, l'évaluation a permis de constater que la conception et la mise en place du Portail linguistique du Canada contribuent à l'atteinte des objectifs du pilier « Éducation » de la Feuille de route, en offrant gratuitement en ligne les outils et les ressources sur les langues officielles à tous les Canadiens.

2. La portée et l'impact de l'initiative sur ses différents publics cibles

TERMIUM Plus^®, la banque de données terminologiques et linguistiques du gouvernement du Canada, est l'assise qui a permis de concevoir et de mettre en place le Portail linguistique. Elle était auparavant réservée au secteur public fédéral, avant que le Portail linguistique soit mis à la disposition du public canadien en 2009. TERMIUM Plus^® a permis au Bureau de la traduction de mettre en place le Portail linguistique en déployant moins d'efforts qu'il en aurait fallu pour lancer et mettre en place un nouveau site Web.

Tirant parti de ces premiers gains d'efficacité, la Division du Portail linguistique a tiré parti d'un financement renouvelé pour accroître le volume de contenu offert sur le site Web.

À la fin de l'exercice 2014 à 2015, 3 424 ressources linguistiques étaient offertes sur le Portail linguistique, ce qui représente une hausse de 38 % par rapport aux 2 475 ressources qui étaient offertes à la fin de l'exercice 2012 à 2013 :

• 573 manchettes, articles sur les langues et trucs de la semaine ont été ajoutés au cours de cette période, ce qui représente une hausse de 31 %
• 254 jeux-questionnaires ont été ajoutés pendant ce temps, ce qui représente une hausse de 54 %
• 122 articles de collaborateurs ont été ajoutés pendant cette période, ce qui représente une hausse de 74 %
• 408 hyperliens ont été ajoutés au même moment, ce qui représente une hausse de 24 %

L'évaluation a également permis de constater que puisque les langues évoluent au fil du temps, la Division du Portail linguistique doit surveiller les derniers développements au sein de l'industrie et repérer les nouvelles fautes d'orthographe ou les nouveaux usages qui deviennent de plus en plus communs afin d'ajouter des articles à ce sujet dans les outils d'aide à la rédaction. Par exemple :

• au cours des cinq dernières années, la Division du Portail linguistique a procédé à la mise à jour de l'ensemble du contenu des outils Clefs du français pratique et Writing Tips, car des mots ou termes qui étaient auparavant considérés comme des erreurs ont été intégrés au vocabulaire commun et aux dictionnaires
• des articles ont été ajoutés sur les nouvelles règles d'orthographe françaises (en France) lorsqu'un intérêt pour ces changements s'est fait sentir au sein de la francophonie canadienne
• de nouveaux articles sur les récentes règles de grammaire française (en France) ont été ajoutés au Portail linguistique lorsqu'elles ont commencé à être enseignées dans les écoles
• le contenu est reformulé lorsque l'évolution de l'usage devient évidente

Les professionnels de la langue accrédités qui travaillent pour la Division du Portail linguistique sont responsables de la création de 90 % des outils et des ressources qui se trouvent dans le Portail linguistique. Cela comprend la création de ce qui suit :

• une base de données linguistiques appelée Le français sans secrets | Gateway to English, qui permet aux utilisateurs d'effectuer une recherche simultanée dans plus de 20 000 sites Web sur les langues (16 outils d'aide à la rédaction, des centaines de jeux et d'articles, des recommandations et des rappels linguistiques du Bureau de la traduction)
• du contenu linguistique (manchettes, articles sur les langues, articles rédigés par des collaborateurs et jeux, à l'exclusion des ressources linguistiques externes)

Le contenu du Portail linguistique a aussi été élaboré par 288 partenaires, collaborateurs et ambassadeurs qui ont travaillé sur les 10 % restants du contenu total qui se trouve directement sur le site Web. Leur contribution a non seulement permis d'accroître la quantité de contenu disponible sur le site Web, mais aussi sa portée et ses répercussions sur l'ensemble de la communauté des professionnels de la langue et des organisations du secteur langagier. Les collaborateurs ont le mandat de rédiger des articles qui traitent de leur réalité, de leurs activités, de leurs réalisations et de leur domaine de travail. Parmi les organisations affiliées aux collaborateurs, on compte des associations de professeurs, de rédacteurs et de réviseurs, des universités et des gouvernements provinciaux.

En 2011, le Portail linguistique a été évalué dans le cadre de l'évaluation horizontale de la Feuille de route pour la dualité linguistique canadienne 2008 à 2013 : agir pour l'avenir. Selon les recommandations de l'évaluation, le Bureau de la traduction devrait « […] envisager de mettre en œuvre des activités de promotion ou autres pour améliorer la visibilité du Portail linguistique du Canada et mieux faire connaître ses outils et ressources linguistiques à l'ensemble de la population canadienne ». Dans la réponse de la gestion, le Bureau de la traduction s'est engagé à élaborer un plan de promotion stratégique, en :

• lançant une campagne de référencement payant
• établissant et mettant en œuvre un programme de sensibilisation en collaboration avec des partenaires, des blogueurs et des ambassadeurs potentiels
• mettant en œuvre des activités de promotion connexes qui utilisent les médias sociaux
• participant à diverses activités destinées aux utilisateurs cibles du Portail linguistique

Le suivi du plan d'action de la gestion pour l'évaluation de 2011 a révélé que toutes les mesures à prendre ont été entièrement mises en œuvre, notamment celles qui ont raisonnablement pu accroître la portée du Portail linguistique, comme :

• la création de liens Web pour guider les utilisateurs au moyen de techniques de marketing croisé afin de les diriger vers le programme des ambassadeurs
• l'ajout de liens sur le Portail linguistique permettant aux utilisateurs d'envoyer des cartes virtuelles sur les médias sociaux
• la présentation d'un exposé dans le cadre de la conférence annuelle de l'Association canadienne des journaux des débats
• la création d'une affiche pour les Rendez-vous de la Francophonie 2014

Depuis 2011, la Division du Portail linguistique fait affaire avec une agence de relations avec les médias pour gérer sa campagne annuelle de référencement payant. Selon la description donnée par la Division, le processus utilisé consistait à relever les milliers de mots-clés et de termes qu'une personne peut saisir dans un moteur de recherche pour trouver un site Web dont le contenu ressemble à celui du Portail linguistique. Pendant les campagnes publicitaires, une publicité du Portail linguistique s'affichait lorsque les utilisateurs saisissaient l'un de ces mots-clés ou termes et ils pouvaient cliquer sur cette publicité pour accéder au site Web du Portail linguistique.

Le nombre de clics est surveillé et transposé en une mesure appelée « taux de clics publicitaires », qui indique la fréquence à laquelle les personnes qui voient une publicité cliquent sur celle-ci. Ce taux peut être utilisé pour évaluer dans quelle mesure les mots-clés et les publicités fonctionnent bien. Un taux de clics publicitaires se situant entre 1 % et 3 % est généralement considéré comme un bon taux. En 2011, un taux de clics publicitaires moyen de 3,85 % a été enregistré pendant la campagne publicitaire; en 2013 à 2014 et en 2014 à 2015, le taux de clics publicitaires moyen s'est élevé à 6,93 %. Ces résultats démontrent qu'en 2013 à 2014 et en 2014 à 2015, les utilisateurs ont cliqué plus souvent sur les publicités le dirigeant vers le Portail linguistique.

Les progrès technologiques ont permis de moderniser les domaines de l'apprentissage et de l'éducation afin d'éveiller la sensibilisation à l'égard des langues et d'améliorer les communications en langue seconde. De récentes avancées technologiques telles que la ludification, qui est l'utilisation d'éléments du jeu dans d'autres domaines d'activité comme l'apprentissage, ainsi que les liens vers les médias sociaux incitent les utilisateurs à utiliser des outils et ressources en ligne pour acquérir de nouvelles connaissances et continuer à apprendre. Le Portail linguistique est muni de ce type d'éléments. Il prévoit l'élargir et continuer d'élaborer des fonctions d'apprentissage interactif modernes.

Le Portail linguistique respecte les normes générales sur l'accessibilité du Web du gouvernement du Canada, qui incluent des normes d'accessibilité pour les personnes malvoyantes, et il est continuellement mis à jour pour répondre aux normes Web du gouvernement du Canada. Après la migration du Portail linguistique sur le site Canada.ca, tous les sites Web du Portail linguistique devraient être accessibles à partir d'appareils mobiles. De plus, la Division du Portail linguistique a ajouté un certain nombre de fonctions de médias sociaux au Portail linguistique afin d'arrimer le Portail linguistique à l'évolution de l'utilisation du Web. Ces fonctions comprennent notamment des fonctions permettant le partage de sites Web, le partage de cartes virtuelles sur Facebook et Twitter, la rédaction de gazouillis quotidiens, la publication de flux en format RSS et l'envoi d'avis par courriel pour informer les utilisateurs des éléments ajoutés tous les mois au Portail linguistique.

Les répercussions du Portail linguistique sur le public cible ont été évaluées grâce à une analyse du nombre de visites du site Web et au moyen de données qualitatives générées par des groupes de discussion regroupant des utilisateurs et des ambassadeurs du Portail linguistique. Dans l'ensemble, l'évaluation a révélé que le Portail linguistique atteint son public cible et permet à la population canadienne d'avoir accès à des ressources linguistiques de qualité dans les deux langues officielles. Les utilisateurs et les ambassadeurs du Portail linguistique qui ont participé à des groupes de discussion ont indiqué qu'il a été utilisé de plusieurs façons par divers intervenants. Ils ont notamment mentionné que les étudiants et les apprenants utilisaient les outils et les ressources offerts sur le site Web et que les fonctionnaires comptaient sur TERMIUM Plus^® pour effectuer des recherches terminologiques. Dans l'ensemble, l'objectif immédiat du Portail linguistique, qui consiste à donner accès à des ressources linguistiques de qualité dans les deux langues officielles à la population canadienne, est atteint.

Des données plus exactes sur l'atteinte des résultats intermédiaires n'étaient pas disponibles au moment de l'évaluation. Le volume de contenu offert sur le Portail linguistique donne toutefois une portée impressionnante à cette initiative. De plus, l'accroissement du taux d'utilisation du Portail linguistique suggère que le contenu du site atteint une masse critique d'utilisateurs, même si son incidence sur les publics cibles n'a pu être mesurée. L'équipe du programme procède actuellement à l'élaboration d'un sondage continu auprès des utilisateurs. Ce dernier permettra de recueillir des données plus exactes sur le rendement de cet indicateur lorsque le Portail linguistique migrera vers le site Web Canada.ca en 2016.

3. La validité et la fiabilité des indicateurs de rendement dans l'obtention de résultats concrets

L'évaluation de 2011, tout comme celle réalisée actuellement, a permis d'examiner le rendement du Portail linguistique en fonction d'indicateurs détaillés et d'autres mesures de rendement du programme. Les deux évaluations ont permis d'examiner les résultats obtenus au moyen du cadre de mesure du rendement du Portail linguistique et les ont utilisés pour procéder à l'évaluation du rendement. Les indicateurs quantitatifs ainsi générés sont considérés comme des sources de données fiables sur le rendement. Les évaluations ont permis d'obtenir de plus amples détails sur l'analyse, pour fournir une description plus complète de la portée et des retombées du Portail linguistique. Grâce à une revue de la littérature et à d'autres sources de données qualitatives, il a été possible de procéder à une évaluation complète du rendement du site.

La Division du Portail linguistique collige des données sur la mesure du rendement depuis la création de sa stratégie de mesure du rendement (comme il a été recommandé lors de la précédente évaluation du Portail linguistique, en 2011). La mesure des résultats à long terme présente des lacunes, notamment en ce qui concerne les résultats intermédiaires et ultime, mais elles devraient être corrigées grâce à un sondage sur la satisfaction de l'utilisateur qui sera réalisé vers la fin de l'année 2016. Les indicateurs de rendement utilisés pour mesurer les résultats immédiats sont considérés comme valides et fiables. L'équipe d'évaluation n'a pas été en mesure de retenir un programme auquel le Portail linguistique aurait pu être comparé.