2017-2018 Education and Skills Youth Campaign Research and Evaluation (Phase I: Creative Testing)

Introduction

A series of new measures were announced in the 2017 budget to assist young Canadians in achieving their full potential. As such, the Government of Canada is committed to ensuring a high level of awareness and visibility of several programs and services that benefit youth, and it is currently in the process of developing an advertising campaign to reach out to young Canadians 18 to 24 years old, in addition to influencers of youth. The goal of the campaign is to raise awareness, as well as maintain and increase uptake of ESDC youth-related programs and services that assist young Canadians in getting the education, skills and experience they need to prepare for the jobs of today and tomorrow. The campaign’s call to action is to direct young Canadians to Canada.ca/leaderstoday and Canada.ca/leadersaujourdhui to get more information on post-secondary education, jobs and skills, and encourage them to take action and own their path to success. This advertising campaign will launch in October 2017 and run until March 2018.

To direct the final development of the campaign prior to launch, ESDC commissioned Corporate Research Associates to conduct qualitative research with the target audience. The overall objective of the creative pre-testing was to ensure the advertising campaign resonates with its intended target audience and meets its overall objectives.

More specifically, the testing aimed to:

• Determine how well the main messages are understood and perceived;
• Determine whether the ad concepts grab people’s attention and what components (design, vocabulary, imagery, tone) are successful or not;
• Assess the clarity of the concepts;
• Assess the strength and weaknesses of the ad concepts; and
• Generate other suggestions for improvement.

To achieve the research objectives, a total of 12 Netfocus groups (online, real-time) were conducted with youth 18 to 24 years old and key influencers from August 22nd to 28th, 2017. Both Indigenous and non-Indigenous youth were included in the study. Additional information on the research methodology is provided in the next section of this report.

This report presents a high level executive summary and description of the detailed methodology used, the detailed findings of the focus group discussions, and a series of conclusions and recommendations stemming from the research findings. All working documents are appended to the report, including the recruitment screener, the moderator’s guide, and the creative campaigns that were tested.

Research Methodology

Given the geographic reach and the target audience under study, a series of 12 Netfocus groups (simultaneous online and telephone discussion in real-time) were conducted from August 22^nd to 28^th, 2017, with cross-country representation. The target audiences included:

• Canadian non-Indigenous youth 18 to 24 years old;
• Canadian Indigenous youth 18 to 24 years old;
• Key influencers, including parents or caregivers of children 16 to 30 years old, teachers, youth group leaders or coaches, and high school career counselors.

The following table provides an overview of the group breakdown by language, audience, and location.

As is normal practice, those who attended at least one focus group in the past six months, who have been to three or more focus groups in the past five years, or who participated in a group on advertising testing were excluded from participation. At the same time, people working in a sensitive occupation, including marketing, market research, media, a political party or partisan organization, or a federal or provincial government department were also excluded from the study. All participants had lived in Canada for at least two years. Participants in each group included a mix of gender, as well as a mix of employment status and household income where possible.

Nine individuals were recruited in each group, and a total of 83 individuals took part in the discussions across groups. A $75 token of appreciation was provided to youth participants, while key influencers received $100 in appreciation for their time, consistent with standard market research practice. Each group discussion lasted approximately two hours.

Context of Qualitative Research

Qualitative discussions are intended as moderator-directed, informal, non-threatening discussions with participants whose characteristics, habits and attitudes are considered relevant to the topic of discussion. The primary benefits of individual or group qualitative discussions are that they allow for in-depth probing with qualifying participants on behavioural habits, usage patterns, perceptions and attitudes related to the subject matter. This type of discussion allows for flexibility in exploring other areas that may be pertinent to the investigation. Qualitative research allows for more complete understanding of the segment in that the thoughts or feelings are expressed in the participants’ “own language” and at their “own levels of passion.” Qualitative techniques are used in marketing research as a means of developing insight and direction, rather than collecting quantitatively precise data or absolute measures. As such, results are directional only and cannot be projected to the overall population under study.

Executive Summary

Corporate Research Associates Inc.
Contract Number: G9292-189455/001/CY
POR Registration Number: POR 015-17
Contract Award Date: August 9, 2017

Background and Objectives

To inform the final development of a youth advertising campaign aimed at increasing awareness and uptake of its youth-related programs and services, Employment and Social Development Canada (ESDC) commissioned a series of 12 Netfocus groups (simultaneous online and telephone discussions in real-time) with Canadian youth 18 to 24 years old (including both Indigenous and non-Indigenous audiences) and key influencers (including parents, caregivers, teachers, youth group leaders or coaches, and high school career counselors). Of those, eight groups were conducted in English with participants from various locations across Canada, while four groups were conducted in French with Quebec residents. Group discussions were conducted from August 22^nd to 28^th, 2017. Each focus group lasted approximately two hours and a $75 token of appreciation was provided to youth participants, while key influencers received $100 in appreciation for their time, as per standard market research practice. A total of 83 participants took part across groups.

The research assessed overall reactions to three advertising concepts being considered in terms of message clarity and comprehension, the creative’s impact in retaining attention, and the overall relevance to the target audiences. Caution must be exercised when interpreting the results from this study, as qualitative research is directional only. Results cannot be attributed to the overall population under study, with any degree of statistical confidence. The total contracted value of the research was $112,169.45 (taxes included) for both the qualitative and quantitative phases of the research combined. This report presents the findings from the qualitative research only.

Political Neutrality Certification

I hereby certify as a Representative of Corporate Research Associates Inc. that the deliverables fully comply with the Government of Canada political neutrality requirements outlined in the Directive on the Management of Communications. Specifically, the deliverables do not include information on electoral voting intentions, political party preferences, standings with the electorate or ratings of the performance of a political party or its leaders.

Signed

Margaret Brigley, President & COO | Corporate Research Associates
Date: August 31, 2017

Key Findings

Findings from the ESDC Education and Skills Youth Campaign Research and Evaluation (Creative Testing) suggest that the ‘Our Way’ campaign should be further developed with some modifications. The positive, upbeat and empowering tone of the concept holds strong appeal, particularly among English-speaking participants and when looking at all of the campaign components together, the message of young people taking control of their future with the government assisting in the process is compelling with the target audience. That being said, the video on its own, and to a lesser extent, the social media post, do not clearly convey the campaign message at a glance.

At the same time, visuals of young adults that look more like they are in their twenties, and the idea that young people have determined that ‘old ways’ are not working for them, imply an older audience leaving high school students and recent graduates feeling excluded from the campaign. This issue could easily be addressed by featuring a broader age range of individuals in the campaign visuals, and using in the video action shots that are more relevant to them personally. This may include visuals of groups of peers interacting, usage of technology such as mobile phones or tablets, feature common activities like biking or travelling, and set the scenes in familiar settings such as school or workplace. This approach should also reinforce the message communicated by the narrative by visually indicating that the reference to ‘trace your path’ relates to education and employment. These modifications would enhance the concept’s appeal and relevance among the French-speaking residents, thus making this concept the best approach to reach audiences across languages.

In terms of having a broad appeal, the ‘Our Way’ campaign was best at showing Canada’s ethnic and gender diversity. That being said, consideration should be given to showing ethnically diverse groups of people rather than focusing on any individual culture. At the same time, adjusting the sequence of the presentation of people featured in the video would alleviate any discomfort that exists with focusing on more evident cultural signs. The use of live actors rather than animation will also allow for a more realistic representation of ethnic and age diversity, in addition to making the ads more compelling.

In terms of the other two campaigns, the ‘Mute the Noise’ idea was also well received, particularly among French-speaking participants. Despite the campaign being liked, it requires more extensive creative edits to ensure appeal and relevance to the broader target audience. On a positive note, the concepts’ realistic account of young people’s questioning and anxiety, as well as the video’s clear messaging strongly resonated with the target audience. That said, the stressful tone of the video, the negative stereotypical portrayal of a young ‘flustered’ girl, and the fact that it is perceived to target primarily high school students are seen as important challenges to overcome. While expanding the scenarios outside of the school system may prove effective in widening the target audience, care should be taken in how youth react to adults so as to avoid portraying them as disrespectful or rude. Another issue with the campaign is the inability of the website to stand on its own without the video. Indeed, visuals included on the website lacked context to be fully appreciated and meaningful.

Findings clearly demonstrate that the ‘Your Move’ concept should not be further developed. This concept holds minimal appeal and is most relevant to a niche audience of young people who play video games. At the same time, the campaign’s graphic appeal of the three scenarios presented was deemed most appealing to youth in elementary or junior high school. Though the message is clearly communicated by the campaign, the gaming aspect overshadows it, thus reducing its effectiveness. In terms of the website search function, findings suggest that the ‘Google-style’ approach is well liked for its flexibility, though it lacks clear direction to begin the search and its appeal is highly dependent on the quality of the algorithm. Likewise, reactions were positive towards the ‘drop-down’ menu approach as an easy way to find out about the website content, despite not providing as much flexibility as the Google-type search engine. Given these findings, it is recommended that the ‘drop-down menu’ search engine be implemented, inclusive of a comprehensive list of options. The ‘step-by-step’ search function held minimal appeal.

Young people are open to the idea of the government using Internet tools on the website to personalize the user experience, notably Internet cookies. They are also agreeable to sharing personal information on the website, as long as it is pertinent to personalizing the experience. Finally, young adults and influencers are comfortable with being re-directed to third-party website from the government website to access programs and benefits, as long as a warning is posted.

Finally, the five terms that were briefly discussed, namely programs, resources, information, services, and tools, were considered similar in nature, despite each having a unique focus.

In conclusion, research shows that both youth and key influencers strongly endorse the concept of a youth targeted campaign and consider the presented concepts to be a notable improvement over the current website applications. While two of the three concepts offer notable potential, findings suggest the ‘Our Way’ Concept is most easily adaptable to effectively meet youth’s needs. That said, results show that care must be taken to ensure any search engine effectively communicates what the website includes in a clear, concise, yet comprehensive manner. Further, given that the needs and expectations are vastly different for those in or graduating from high school, those in post-secondary, and those entering the workforce, any concept must include messaging and scenarios that are mindful of the various needs and realities of young people, while still being relevant and compelling.

Sommaire

Corporate Research Associates Inc.
Numéro de contrat : G9292-189455/001/CY
Numéro ROP : ROP 015-17
Date du contrat : 9 août 2017

Contexte et objectifs

Pour aider à établir la version définitive d’une campagne publicitaire visant à augmenter la sensibilisation et les connaissances des différents programmes et services offerts aux jeunes, Emploi et Développement social Canada (EDSC) a demandé la tenue de douze groupes de discussion (simultanément en ligne et au téléphone, en temps réel) formés de jeunes adultes canadiens âgés de 18 à 24 ans (populations autochtones et non autochtones confondues) et d’influenceurs (incluant parents, tuteurs, enseignants, responsables ou entraîneurs de groupes de jeunes et conseillers en orientation dans des écoles secondaires). Huit de ces groupes ont été menés en anglais, avec des participants provenant de différentes régions de partout au Canada, alors que les quatre autres ont été menés en français, avec des résidents du Québec. Les discussions de groupe ont eu lieu entre le 22 et le 28 août 2017. Chacune d’entre elles durait environ deux heures et les jeunes participants recevaient une rétribution de 75 $ alors que les influenceurs en recevaient une de 100 $ en guise de remerciement pour leur temps, conformément aux normes en matière d’études de marché. Un total de 83 participants était réparti dans les douze groupes.

La recherche a permis d’analyser la réponse des participants aux trois concepts publicitaires, en ce qui a trait à la clarté et la compréhensibilité du message, à la capacité des éléments créatifs à retenir l’attention et à la pertinence générale pour le public cible. Il faut être prudent quant à l’interprétation des résultats de cette étude puisque la recherche qualitative ne donne qu’une idée de l’orientation. Les résultats ne peuvent être attribués, avec précision statistique, à l’ensemble du groupe étudié. La valeur totale de l’étude menée était de 112 169,45 $, taxes incluses pour l’ensemble de la recherche qualitative et quantitative. Ce rapport présente les résultats de la recherche qualitative.

Preuve de neutralité politique

J’atteste par la présente et à titre de représentant de Corporate Research Associates Inc. que les résultats attendus sont entièrement conformes aux exigences en matière de neutralité décrites dans la directive sur la gestion des communications. Plus précisément, les résultats attendus n’incluent pas de renseignements sur les intentions de vote électoral, les préférences quant aux partis politiques ou les positions des partis, et les cotes de performance d’un parti politique ou de ses dirigeants.

Signée

Margaret Brigley, Présidente et chef des opérations | Corporate Research Associates
Date : le 31 août 2017

Conclusions

Les résultats obtenus par l’étude de marché d’EDSC : Recherche et évaluation de la campagne de l’éducation et des compétences chez les jeunes (Test de créatifs), indiquent que la campagne « Notre voie » vaut la peine d’être développée, mais que quelques améliorations sont de mise. Le ton positif, énergique et encourageant adopté par la campagne la rend fort intéressante, surtout auprès des participants anglophones. En examinant la campagne dans son ensemble, on y voit le message de jeunes prenant leur avenir en main avec l’aide du gouvernement, ce qui interpelle le public visé. Cela dit, la vidéo à elle seule et, dans une moindre mesure, la publication sur les réseaux sociaux ne communique pas clairement et rapidement le message véhiculé par la campagne.

D’un autre côté, les images montrant de jeunes adultes qui semblent être dans la vingtaine et l’idée voulant que les jeunes ne croient pas que les « vieilles méthodes » soient adaptées à leurs besoins laissent entendre que l’on s’adresse à un public plus vieux; les élèves du secondaire et les récents diplômés se sentant ainsi exclus de la campagne. Ce problème peut être facilement résolu en élargissant la tranche d’âge des individus apparaissant dans les images et en montrant des scènes qui les représentent; par exemple, une interaction de groupe avec des pairs, l’utilisation d’appareils technologiques tels que les cellulaires ou les tablettes, la pratique d’activités courantes telles que le vélo et les voyages. Ces scènes se dérouleraient dans des endroits qui leur sont familiers comme l’école ou le lieu de travail. Cette approche permettrait de renforcer le message véhiculé à la narration, en le transmettant visuellement également. La référence à « tracer sa voie » se rapporte à l’éducation et à l’emploi. Ces changements rendraient le concept plus pertinent et attrayant pour les Canadiens francophones, et le concept engloberait alors un public plus large, malgré la différence linguistique.

En matière d’attrait général, la campagne « Notre voie » a été la plus efficace à démontrer la diversité en matière de culture et de sexe. Ceci étant dit, il faut s’assurer de bien représenter des groupes de personnes d’ethnies diverses plutôt que de mettre l’accent sur une culture en particulier. D’un autre côté, modifier la séquence de présentation des gens qui figurent dans la vidéo diminuerait l’inconfort possible relativement à la mise en évidence de signes culturels plus évidents. Le fait qu’on ait opté pour l’utilisation de vrais acteurs plutôt que d’avoir recours à une animation permet une représentation plus réaliste de la diversité d’ethnies et d’âges, tout en rendant la campagne publicitaire plus éloquente.

Pour ce qui est des deux autres campagnes, l’idée de « Silence le bruit » a également bien été reçue, particulièrement de la part de participants francophones. Malgré la réception positive, ce concept requiert des stratégies créatives plus approfondies afin d’assurer un attrait et une pertinence auprès d’un public cible plus large. Sur une note plus positive, les questionnements et l’anxiété des jeunes ont bien été dépeints et le message clair transmis par la vidéo a très bien passé auprès du public cible. Par contre, il faudrait revoir le ton inquiétant de la vidéo, le portrait stéréotypé et négatif d’une jeune fille perturbée et le fait qu’il semble cibler principalement les étudiants du secondaire. Présenter des scénarios se déroulant hors du contexte scolaire peut permettre d’atteindre un plus grand public, mais il faut également porter attention à la façon dont les jeunes agissent envers les adultes afin d’éviter de les dépeindre comme étant irrespectueux et impolis. Le site Web de la campagne présente également un problème, car il perd son sens sans la vidéo. Les aspects visuels du site manquent de contexte ce qui en diminue l’intérêt et le sens.

Les résultats démontrent que le concept « À toi de jouer » ne devrait manifestement pas être développé. Il manque de pertinence et il rejoint un public limité : des jeunes qui jouent à des jeux vidéo. Tout de même, l’aspect graphique des trois scénarios présentés dans cette campagne a été jugé plus attrayant pour les jeunes du primaire et du début du secondaire. Même si le message véhiculé par la campagne est clair, il a été éclipsé par les jeux vidéo ce qui l’a rendu moins efficace. Les recherches ont démontré que les fonctions du moteur de recherche « de type Google » sont appréciées pour la flexibilité qu’elles offrent. Cependant, il y a un manque d’instructions claires quant au démarrage d’une recherche et son attrait dépend de la qualité de l’algorithme. De même, le menu de type déroulant a reçu une rétroaction positive puisqu’il facilite la découverte du contenu du site Web, même s’il offre moins de flexibilité que les moteurs de recherche de type Google. Compte tenu des résultats, l’instauration d’un menu déroulant comprenant une liste d’options complète a été recommandée. La fonction de recherche par étapes présentait moins d’intérêt.

Les jeunes sont réceptifs à l’idée que le gouvernement utilise des outils Internet, par exemple les témoins «cookies», afin de personnaliser leur expérience sur le site. Ils sont également prêts à partager leurs renseignements personnels sur le site, tant que celles-ci sont utilisées pour personnaliser leur expérience. Enfin, les jeunes adultes et les influenceurs ne sont pas réticents à être redirigés vers un site Web tiers du site du gouvernement pour accéder à des programmes, tant qu’ils sont prévenus.

Finalement, cinq sujets, discutés brièvement, ont été considérés comme similaires, malgré leur intérêt unique. Il s’agit des programmes, des ressources, de l’information, des services et des outils.

En conclusion, les recherches ont démontré que les jeunes et les influenceurs appuient fortement la tenue d’une campagne qui cible les jeunes et qu’ils trouvent que les concepts présentés constituent une amélioration marquée par rapport au site Internet actuel. Alors que deux concepts des trois présentés ont un potentiel significatif, on peut déduire des résultats de l’étude que le concept « Notre voie » est le plus adapté pour répondre aux besoins des jeunes. Toutefois, il faut s’assurer que le moteur de recherche inclut bien tout le contenu du site de manière concise et claire, tout en étant complet. Étant donné la différence de besoins et d’attentes entre les élèves et les finissants du secondaire, les étudiants de niveau postsecondaire et les jeunes entrant sur le marché du travail, les concepts doivent comprendre un message et des scénarios adaptés aux divers besoins et réalités des jeunes, tout en demeurant pertinents et éloquents.