Qualitative Research on Labour Market Information Products Research Report

Executive Summary

Earnscliffe Strategy Group (Earnscliffe) is pleased to present this report to Employment and Social Development Canada (ESDC) summarizing the results of the online communities with Canadians about existing labour market information (LMI) products.

Budget 2015 announced enhancements to labour market information. The 2016 Budget reiterated commitments to provide “access to timely, reliable, and comprehensive LMI…” and to work “collaboratively with PT”. The FLMM also announced commitments to improve the collection; quality and dissemination of labour market information (LMI) to enable Canadians make informed labour market decisions and contribute to aligning human capital investment with the needs of the economy. This commitment was reiterated by the FLMM at their meeting in October 2017.

The National Work Plan (NWP) for LMI was developed in 2011 in recognition of the growing importance of providing local/regional LMI that is consistent and comparable across the country, to support both the labour market decisions of Canadian workers and employers, and the delivery of key programs. The NWP initially addressed the asymmetrical quality and quantity of labour market information being produced in the regions at the time. This process introduced the notion of “accountability” and performance standards for the spending of funds on regional labour market information.

Subsequent iterations of the NWP (NWP II, III and IV) sought to further streamline the department’s regional LMI offerings to standardized products and services. Those products and services stemmed from five core regional LMI functions:

1. determining labour market outlooks;
2. monitoring Labour Market News;
3. conducting labour market analysis;
4. providing occupational information; and
5. supporting Service Canada operations.

In its current version, the NWP for the production of regional LMI is based on an integrated analytical exercise that starts with a macro-economic scan and culminates with the assessment of employment outlooks for occupations at the local level and the 4-digit NOC level. A core standardized product is generated at each stage and made available to the external public via Job Bank. Similarly, the analytical exercise results in the generation of internal products to support the regional delivery of programs and services.

Currently, six external products are published as part of the NWP integrated exercise conducted through a detailed calendar. These six products are:

1. Wages,
2. Outlooks;
3. Weekly Labour Market News;
4. Labour Market Bulletins (monthly/quarterly/annual);
5. Environmental Scan; and
6. Sectoral Profiles.

In April 2017, the Labour Market Information Council (LMIC) was established. The LMIC is tasked to implement pan-Canadian priorities for the collection, analysis and distribution of Labour Market Information (LMI), including:

• addressing the need for more granular local LMI;
• prioritizing consistency of LMI through alignment of standards and methodologies; and
• working with stakeholders to develop and promote a collaborative platform for disseminating LMI for Canadians.

In addition, a new LMI Dissemination/Visualization Tool is being developed that will allow a wide array of LMI to be presented to the user based on his/her selection of a particular geography and/or theme, thus making the “packaging” of LMI products into small “‘tag’-able” sections that could be assembled, based on their relevance, to provide a customized LMI experience for the user.

In light of these emerging and changing environmental factors, a thorough analysis of the current products based on various user’s needs and expectations was needed to enable the Department to determine the appropriate suite of LMI products to develop and effectively disseminate to the public. More specifically, the objectives of this research were to:

• ensure LMI products meet user needs (for both format and information);
• determine what gaps exist; and
• determine what, if any, other LMI Canadians need to make informed career/training decisions.

The results of this research will enable ESDC to plan and develop LMI products to meet the needs of users in a more appropriate manner and format, as well as to determine what other products and/or information could be useful to make informed training and job-search decisions.

To meet the objectives outlined, Earnscliffe conducted a comprehensive wave of qualitative research. The research included twelve online communities, one in English and one in French for each of six target audiences:

• Post-Secondary Students (university, college, apprenticeship);
• Employed youth (16-24, working full time and not in school or training);
• Unemployed youth (16-24, not working FT and not in school or training);
• Adults 25+ who are seeking or considering new career opportunities;
• Parents of youth 16-24; and
• Influencers (career counsellors & advisors).

The groups identified above, chosen for this study, are a subset of the overall target audience of the LMI products. Other target audiences, which were not included in this research, are employers, other federal departments, other levels of government, think tanks, and academica, among others.

The online communities were held over the course of six days, from March 15, 2018 to March 20, 2018. The communities were hosted online by Recollective, an industry-leading research tool for developing robust insights communities and conducting online research studies of any duration and size. Recollective was developed by the Ramius Corporation (Ramius), an enterprise social software and services company.

For the purposes of this report, it is important to note that qualitative research is a form of scientific, social, policy and public opinion research. Qualitative research, such as the online communities conducted for this project, is designed to elicit the full range of ideas, attitudes, experiences and opinions of a selected sample of participants on a defined topic. Because of the small numbers involved the participants cannot be expected to be thoroughly representative in a statistical sense of the six target audiences for LMI products from which they were drawn and findings cannot reliably be generalized beyond their number.

The total cost to conduct this research was $98,613.97 including HST. The key findings from the research are presented below.

Overall Observations

• Overall, participants felt that the Job Bank site contains valuable and detailed information. The content presented generally exceeded participants’ expectations. There were notable differences from one segment to another, indicating there may not be a “one-size fits all” solution.
• However, as valuable as the content is, participants did not believe that on the whole, it was the most useful and functional tool for job searching and making decisions about education and training.
• Participants wished certain types of information were presented in a more user-friendly format, with more visuals, and the ability to sort and search.
• The most useful tools – the Wages and Outlook tabs – were highly rated because they were perceived to be simpler, geographically targeted and relevant.
• The least useful tools – including the EScan – were usually considered less useful due to being text-heavy, making it harder to find relevant information and understand the implications for participants’ purposes.

Jobs Report

• Overall, this section of the Job Bank was the most useful for participants.
• The Wages tab was consistently regarded as the most helpful and relatively clear tool. Participants appreciated the range of wages, and that they could examine the data for a smaller geographic area and then compare it to the rest of the province or country.
  • Constructive feedback included adding information about health and retirement benefits, and the number of years worked in the field before one could reasonably expect to be paid the maximum salary.
• The Outlook tab was among the more highly rated elements tested. Participants liked the information about skills and training, and appreciated that tab presented the number of jobs in a specific region. Any information about the potential for employment, rather than historic data, was well-received.
• Suggested improvement largely had to do with getting more specific, including linking to actual job postings, listing employers who are hiring, and clarifying the legend that explains the star ratings, and providing ratings out of five stars, rather than three. Participants were not sure what a particular rating meant, and their responses indicate that they did not notice the link on top of the Outlook page which leads to a detailed explanation of the rating system. It is worth noting that since participants were reviewing an image of the Outlook tab rather than a live webpage, the link would not have worked if they attempted to click on it.

Labour Market News and Bulletin

• The Labour Market News was among the least helpful resources presented. Participants agreed the news stories might contain helpful information, but would not use it because they found that the tool is not organized or easily searchable.
  • Participants felt that the list of news stories should be sortable by province and date, as well as searchable, according to participants. Currently, the news stories are searchable by city and postal code, industry and type of event, but findings indicate that participants either did not find or use this function.
  • The headlines should also be more concise – participants felt they were too long, and often after reading them they did not feel as though they wanted to read further.
• Participants reacted similarly to the Labour Market Bulletin. When made to read through the bulletin, they found valuable information. Over half rated many of the elements, including employment growth over time and employment by industry, as helpful. However, most agreed that reading through the whole document was not an efficient way to find that information.

EScans

• The EScan was the least helpful resource presented.
  • Employed youth and job seekers 25 and older were the least likely to find the EScans helpful.
  • Most participants felt the document was too long and difficult to understand. They felt that the information should be presented through the use of graphs and images, rather than text.
• The key highlights were the most useful component - the summary was generally preferred to reading the whole document.
• Some did find the information interesting, but felt that it was excessive and not entirely appropriate in a job search.
  • Several mentioned that this type of information would be of great use to labour market economists, but not the average job searcher.

Sectoral Profiles

• After the Wage and Outlook tabs, the sectoral profile was the third most helpful resource tested.
  • Post-secondary students were the most likely to find this resource helpful.
• The positive aspects included:
  • The information was interesting, particularly for those who were able to find a sector profile related to their own work, or a field they were familiar in some other way (e.g. their spouse works in the field).
  • The use of charts, graphs and bullet points to better organize the information
  • Forecasting elements were the most helpful of those tested, including the employment outlook.
• Despite finding the Sectoral Profiles more user-friendly than some of the other denser resources, participants offered some constructive criticism and suggestions:
  • Include less data about past trends, and more future projections.
  • Despite finding the information interesting, the consensus was that there was too much of it, minimizing the resource’s utility.
  • Though the resource’s organization and layout was better than the EScan, many offered solutions to make it more user friendly, including adding a table of contents.

Research Firm:

Earnscliffe Strategy Group Inc. (Earnscliffe)
Contract Number: G9292-180537/001/CY
Contract award date: February 15, 2018

I hereby certify as a Representative of Earnscliffe Strategy Group that the final deliverables fully comply with the Government of Canada political neutrality requirements outlined in the Communications Policy of the Government of Canada and Procedures for Planning and Contracting Public Opinion Research. Specifically, the deliverables do not include information on electoral voting intentions, political party preferences, standings with the electorate or ratings of the performance of a political party or its leaders.

Signed:

Date: May 23, 2018
Doug Anderson
Principal, Earnscliffe

Résumé analytique

L’agence Earnscliffe Strategy Group (Earnscliffe) est heureuse de remettre à Emploi et Développement social Canada (EDSC) son rapport sur les résultats d’une recherche sur des communautés en ligne menée auprès de Canadiens et portant sur les produits existants d’information sur le marché du travail (IMT).

Dans le Budget 2015, on a annoncé des améliorations à l’information sur le marché du travail. Le Budget 2016 a réitéré ces engagements pour un « accès à une IMT à jour, fiable et complète » et a promis de travailler « en collaboration avec les provinces et territoires ». Le Forum des ministres du marché du travail (FMMT) a également annoncé vouloir améliorer la cueillette, la qualité et la diffusion de l’information sur le marché du travail pour permettre aux Canadiens de prendre des décisions éclairées et pour adapter les investissements en capital humain aux besoins de l’économie. Cet engagement a été répété par le FMMT lors d’une rencontre tenue en octobre 2017.

Le Plan de travail national (PTN) pour l’IMT a été élaboré en 2011 en reconnaissance de l’importance accrue d’offrir une IMT locale/régionale cohérente et comparable partout au pays, dans le but de soutenir les décisions des travailleurs et des employeurs canadiens concernant le marché du travail ainsi que la prestation de programmes clés. Le PTN traitait initialement de la qualité et de la quantité asymétrique de l’IMT produite dans les régions à ce moment-là. Ce processus a ajouté la notion de « responsabilisation » et de normes de rendement pour la dépense de fonds dans l’information sur le marché du travail.

Dans les versions successives du PTN (PTN II, III et IV), on a cherché à simplifier davantage l’IMT régionale du ministère afin de normaliser les produits et services. Ces produits et services découlent de cinq fonctions essentielles de l’IMT :

• déterminer les perspectives du marché du travail;
• surveiller les tendances du marché du travail;
• mener des analyses du marché du travail;
• fournir de l’information sur le travail; et
• soutenir les activités de Service Canada.

Dans sa version actuelle, le PTN pour la production d’IMT régionale se fonde sur un exercice analytique intégré qui commence par une analyse macroéconomique et qui culmine avec l’évaluation des perspectives d’emploi pour des postes à l’échelon local et à celui de la CNP à quatre chiffres (classification nationale des professions). Le système génère un produit de base normalisé à chaque étape et le met à la disposition du public, par l’entremise du Guichet-Emplois. De la même façon, l’exercice analytique entraîne la génération de produits internes au soutien de la prestation de programmes et services à l’échelle régionale.

Actuellement, six produits externes sont publiés dans le cadre de l’exercice intégré du PTN mené selon un calendrier détaillé. Ces six produits sont :

• Salaires,
• Perspectives;
• Nouvelles hebdomadaires sur le marché du travail;
• Bulletins sur le marché du travail (mensuels/trimestriels/annuels);
• Analyse de l’environnement économique; et
• Portraits sectoriels.

En avril 2017, le Conseil de l’information sur le marché du travail (CIMT) a été établi. Le CIMT a pour mandat de formuler les priorités pancanadiennes pour la collecte, l’analyse et la distribution de l’IMT (information sur le marché du travail), y compris :

• répondre au besoin d’une IMT locale plus détaillée;
• prioriser la cohérence de l’IMT par l’harmonisation des normes et des méthodologies; et
• travailler de concert avec les intervenants pour élaborer et promouvoir une plateforme collaborative pour la diffusion d’IMT aux Canadiens.

D’autre part, on développe un nouvel Outil de diffusion/de visualisation de l’IMT, grâce auquel une large gamme d’IMT sera présentée à l’utilisateur, en fonction de son choix d’un thème ou d’une région en particulier, ce qui morcellerait « l’emballage » des produits d’IMT en petites sections qui seraient assemblées en fonction de leur pertinence, afin de procurer une expérience personnalisée à l’utilisateur.

À la lumière de ces facteurs environnementaux nouveaux et changeants, il est devenu nécessaire de faire une analyse en profondeur des produits actuels, en fonction des divers besoins et attentes des utilisateurs, pour permettre au Ministère de définir la gamme appropriée de produits d’IMT à développer et à diffuser de façon efficace. Plus particulièrement, la recherche avait pour objectif de :

• faire en sorte que les produits d’IMT répondent aux besoins des utilisateurs (pour ce qui est du format et de l’information);
• évaluer l’existence de lacunes; et
• définir, le cas échéant, les autres IMT dont les Canadiens pourraient avoir besoin pour prendre des décisions éclairées sur leur carrière/formation.

Les résultats de cette recherche permettront à EDSC de planifier et de préparer des produits d’IMT mieux adaptés aux besoins des utilisateurs, et d’établir quels autres produits ou renseignements seraient utiles pour prendre des décisions éclairées en matière de formation et de recherche d’emploi.

Pour atteindre les objectifs décrits, Earnscliffe a mené une série de séances de recherche qualitative qui comprenait douze communautés en ligne, une en anglais et une en français pour chacune des audiences cibles :

• Étudiants du niveau postsecondaire (université, collège, apprentissage);
• Jeunes travailleurs (16-24 ans, travaillant à temps plein et pas aux études ou en formation);
• Jeunes sans emploi (16-24 ans, ne travaillant pas à temps plein et pas aux études ou en formation);
• Adultes de 25 ans et plus à la recherche d’un nouvel emploi ou d’une nouvelle opportunité professionnelle;
• Parents de jeunes de 16-24 ans; et
• Influenceurs (conseillers en orientation).

Les groupes mentionnés ci-dessus et choisis pour cette étude, sont des sous-groupes de l’audience cible générale des produits d’IMT. Les autres groupes cibles qui n’ont pas été inclus dans cette recherche sont, entre autres, les employeurs, d’autres ministères fédéraux, d’autres ordres de gouvernement, des groupes de réflexion ainsi que des universitaires.

Les communautés en ligne ont été tenues sur une période de six jours, du 15 au 20 mars 2018, par Recollective, un outil de recherche de pointe conçu pour susciter de solides idées au sujet des collectivités et mener des études de recherche en ligne de n’importe quelle durée ou portée. Recollective a été élaboré par Ramius Corporation (Ramius), un fournisseur de logiciels sociaux et de services pour les entreprises.

Pour les fins du présent rapport, il est important de noter que la recherche qualitative est une forme de recherche scientifique, sociale, politique et d’opinion publique. La recherche qualitative, à l’aide de communautés en ligne comme dans le présent projet, n’est pas conçue pour susciter une gamme complète d’idées, d’attitudes, d’expériences et d’opinions d’un échantillonnage choisi de participants sur un sujet défini. En raison de leur petit nombre, on ne peut attendre des participants qu’ils soient totalement représentatifs, au sens statistique, des six audiences ciblées pour les produits d’IMT dont ils sont tirés et les conclusions ne peuvent être généralisées de façon fiable au-delà de leur nombre.

La valeur contractuelle totale de cette recherche a été de 98 613,97 $ incluant la TVH. Les principales conclusions de la recherche sont présentées ci-dessous.

Observations générales

• En général, les participants étaient d’avis que le site du Guichet-Emplois contient des renseignements précieux et détaillés. En général, le contenu présenté a dépassé les attentes des participants. On a constaté des notable différences d’un segment à l’autre, ce qui indique qu’il n’y a pas une solution « toute faite ».
• Cependant, aussi précieux que soit le contenu, en général, les participants n’étaient pas d’avis que c’était l’outil le plus utile et le plus fonctionnel pour rechercher un emploi et prendre des décisions en matière d’éducation et de formation.
• Les participants ont souhaité que certains types de renseignements soient présentés dans un format plus convivial, avec un plus grand nombre de visuels et la possibilité de faire un tri et des recherches.
• Les outils les plus utiles – onglets Salaires et Perspectives – ont reçu une cote élevée parce qu’ils ont été perçus comme étant plus simples, ciblés géographiquement et pertinents.
• Les outils considérés les moins utiles – y compris l’AEE – l’ont été généralement en raison de la lourdeur du texte, ce qui a compliqué la tâche de trouver de l’information pertinente et de comprendre les incidences pour les objectifs des participants.

Rapport sur l’emploi

• Dans l’ensemble, cette section du Guichet-Emplois a été vue comme la plus utile par les participants.
• L’onglet Salaires a constamment été considéré comme le plus utile et comme un outil relativement clair. Les participants ont apprécié la gamme de salaires et le fait qu’ils pouvaient étudier les données d’une région plus petite pour les comparer ensuite au reste de la province ou du pays.
  • Parmi les commentaires constructifs soumis, on compte l’ajout d’information sur les prestations de santé et de retraite, et sur le nombre d’années de travail à cumuler dans un domaine avant de pouvoir s’attendre à toucher l’échelon supérieur du salaire.
• L’onglet Perspectives a été l’un des éléments étudiés les mieux cotés. Les participants ont aimé les renseignements sur les compétences et la formation et ils ont aimé que cet onglet indique le nombre d’emplois dans une région spécifique. Toute information sur les possibilités d’emploi, plutôt que les données historiques, a été bien reçue.
• Les améliorations proposées portaient largement sur le fait d’être plus précis, y compris l’ajout de liens vers des offres d’emploi, une liste des employeurs qui embauchent, une légende d’explication plus claire du classement par étoiles, et un classement sur cinq étoiles plutôt que trois. Les participants n’étaient pas certains de la signification d’un certain classement et leurs réponses indiquent qu’ils n’ont pas vu le lien en haut de la page Perspectives, lequel mène à une explication détaillée du système de classement. Il convient de noter que, comme les participants étudiaient une image de l’onglet Perspectives plutôt qu’une page Web en direct, le lien n’aurait pas fonctionné s’ils avaient tenté de cliquer dessus.

Nouvelles et Bulletin sur le marché du travail

• Les Nouvelles sur le marché du travail ont été l’une des ressources les moins utiles à être présentées. Les participants ont convenu que les articles pouvaient contenir des renseignements utiles mais qu’ils ne les auraient pas consultés parce que, selon eux, cet outil n’est ni organisé ni facilement accessible.
  • Les participants ont estimé qu’on devrait pouvoir trier la liste d’articles par province et par date, et qu’elle devrait être consultable. En fait, on peut effectuer des recherches par ville et par code postal, par secteur et par type d’activité; nous en avons conclu que les participants n’ont pas trouvé ou qu’ils n’ont pas utilisé cette fonction.
  • Les titres devraient être plus concis – les participants ont estimé qu’ils étaient trop longs et souvent, après les avoir lus, ils n’avaient pas envie de poursuivre la lecture des articles.
• Les participants ont réagi de manière similaire au Bulletin sur le marché du travail. Quand on leur a demandé de lire le bulletin, ils y ont trouvé des renseignements utiles. Plus de la moitié d’entre eux ont évalué plusieurs éléments comme étant utiles, notamment la croissance de l’emploi au fil du temps et par secteur. Cependant, la plupart ont convenu que lire tout le document n’était pas un moyen efficace de trouver cette information.

Analyse de l’environnement économique (AEE)

• L’AEE a été la ressource la moins utile présentée.
  • Les jeunes travailleurs et les chercheurs d’emploi de 25 ans et plus ont été les moins enclins à qualifier l’AEE d’utile.
  • La plupart des participants ont estimé que le document était trop long ou difficile à comprendre. Ils étaient d’avis que les renseignements devraient être présentés à l’aide de diagrammes et d’images, plutôt que du texte.
• L’Aperçu a été l’élément le plus utile – les participants ont préféré lire l’aperçu plutôt que tout le document.
• Certains ont trouvé l’information intéressante mais ils ont pensé qu’elle était excessive et pas nécessairement appropriée à une recherche d’emploi.
  • Plusieurs ont mentionné que ce type de renseignement serait très utile pour des économistes du marché du travail mais pas pour les chercheurs d’emploi ordinaires.

Portraits sectoriels

• Après les onglets Salaires et Perspectives, le Portrait sectoriel a été la troisième ressource analysée jugée utile.
  • Les étudiants du niveau postsecondaire ont été les plus enclins à trouver cette ressource utile.
• Les aspects positifs incluaient :
  • L’information est intéressante, en particulier, pour les personnes qui arrivent à trouver un portrait sectoriel lié à leur propre travail ou un champ qui leur est autrement familier (par ex. leur conjoint travaille dans ce domaine).
  • Le recours à des diagrammes, graphiques et puces pour mieux organiser l’information.
  • Les éléments de prévision étudiés ont été les plus utiles, y compris les perspectives d’emploi.
• Bien qu’ils aient trouvé les portraits sectoriels plus conviviaux que certaines autres ressources plus denses, les participants ont fait certaines critiques et suggestions constructives :
  • Inclure moins de données sur les tendances passées et plus de projections pour l’avenir.
  • Même si l’information les a intéressés, le consensus était qu’il y en avait trop ce qui a pour effet de diminuer l’utilité de la ressource.
  • Bien que l’organisation et la mise en page de la ressource étaient meilleures que dans le cas de l’AEE, plusieurs ont suggéré des solutions pour la rendre plus conviviale, comme l’ajout d’une table des matières.

Société responsable de la recherche :

Earnscliffe Strategy Group Inc. (Earnscliffe)
Numéro de contrat : G9292-180537/001/CY
Date d’attribution du contrat : 15 février 2018

Par la présente, j’atteste, en ma qualité de représentant pour la société Earnscliffe, que les produits livrables définitifs sont entièrement conformes aux exigences du gouvernement du Canada en matière de neutralité politique, telles que définies dans la politique de communication du gouvernement du Canada et dans la procédure de planification et d’attribution de marchés de services de recherche sur l’opinion publique. Plus particulièrement, les produits livrables ne font aucune mention des intentions de vote électoral, des préférences quant aux partis politiques, des positions des partis ou de l’évaluation de la performance d’un parti politique ou de son chef.

Signature             

Date : 23 mai 2018
Doug Anderson
Partenaire, Earnscliffe