Préparé pour Immigration, Réfugiés et Citoyenneté Canada
Fournisseur: Advanis Inc.
Numéro du contrat: CW2239189
Valeur du contrat: 54 420,80$ (TVH comprise)
Date d’octroi : 1er septembre 2022
Numéro d’enregistrement : POR 034-22
Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec IRCC à :
IRCC.COMMPOR-ROPCOMM.IRCC@cic.gc.ca
This report is also available in English
Ce rapport de recherche sur l’opinion publique présente les détails méthodologiques de l’étude sur la Campagne publicitaire sur les services à l’intention des nouveaux arrivants - OECP (2022-2023) menée par Advanis Inc. au nom d’Immigration, Réfugiés et Citoyenneté Canada (« IRCC »). L’Étude de référence (avant le lancement de la campagne publicitaire) a été mené auprès de 506 nouveaux arrivants au Canada entre le 17 octobre et le 1er novembre 2022, tandis que la phase suivant le lancement de la campagne publicitaire a été menée auprès de 544 nouveaux arrivants entre les 6 et 27 février 2023.
This publication is also available in English under the title: 2022-23 Newcomer Services Campaign Advertising Campaign Evaluation Tool (ACET) Methodological Report
Cette publication peut être reproduite à des fins non commerciales uniquement. Une autorisation écrite préalable doit être obtenue auprès d’Immigration, Réfugiés et Citoyenneté Canada. Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec Immigration, Réfugiés et Citoyenneté Canada au: IRCC.COMMPOR-ROPCOMM.IRCC@cic.gc.ca ou encore à l’adresse suivante:
Direction générale des communications
Immigration, Réfugiés et Citoyenneté Canada
Tour Jean-Edmonds Sud
365, avenue Laurier Ouest
Ottawa (Ontario) K1A 1L1
Numéro de catalogue : Ci4-226/2023F-PDF
Numéro international normalisé du livre (ISBN) : 978-0-660-49926-0
Publications connexes (numéro d’enregistrement: POR 115-20):
Numéro de catalogue : Ci4-226/2023E-PDF (Rapport méthodologique, anglais)
ISBN: 978-0-660-49925-3
Droits d'auteur: Sa Majesté le Roi du chef du Canada, représenté par le ministre d’Immigration, Réfugiés et Citoyenneté Canada, 2023
Attestation de neutralité politique
J’atteste, par les présentes, à titre d’agent principal d’Advanis, l’entière conformité des produits livrables aux exigences en matière de neutralité politique du gouvernement du Canada énoncées dans la Politique sur les communications et l’image de marque et la Directive sur la gestion des communications.
Plus précisément, les produits livrables ne comprennent pas d’information sur les intentions de vote électoral, les préférences quant aux partis politiques, les positions des partis ou l’évaluation de la performance d’un parti politique ou de ses dirigeants.
Signé:
Nicolas Toutant, vice-président, Recherche et évaluation
Le gouvernement du Canada souhaite aider les immigrants à réussir leur vie au Canada. Afin de sensibiliser les nouveaux arrivants aux services auxquels les résidents permanents peuvent avoir accès, le gouvernement du Canada a lancé la Campagne publicitaire sur les services à l’intention des nouveaux arrivants en 2009 pour informer ces derniers des services d’établissement offerts pour les aider à réussir dans leur nouveau pays.
Le gouvernement du Canada exige une évaluation de la campagne à l’aide de l’outil d’évaluation de campagnes publicitaires (OECP) pour toutes les campagnes publicitaires dont la valeur des achats médias dépasse 1 000 000$ (Voir la Directive sur la gestion des communications : https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=30682#appB).
Cette étude quantitative vise à s’assurer que la publicité destinée aux nouveaux arrivants au Canada était efficace et appropriée et qu’elle a atteint son objectif de mieux faire conna\xeetre et comprendre les services d’établissement offerts pendant la pandémie.
L’étude portait sur les nouveaux arrivants au Canada dans l’ensemble du pays (à l’extérieur du Québec). L’étude a permis de mesurer si la population cible connaissait les publicités, si elle s’en souvenait, de même que l’incidence de ces publicités. L’étude comptait deux phases: une phase de référence menée avant le lancement de la campagne et une phase à la fin de la campagne. Plus précisément, l’étude visait à évaluer:
Les résultats de cette recherche ont permis de recueillir des commentaires sur l’efficacité des publicités pour sensibiliser le public cible aux services qui leur sont offerts. Les résultats serviront également à orienter et à éclairer la conception et la mise en \u0153uvre des futures activités de sensibilisation du public et d’information visant les nouveaux arrivants.
La phase de référence du sondage a été menée en ligne auprès de 506 nouveaux arrivants au Canada (depuis 2017, âgés entre 24 et 60 ans), à l’extérieur du Québec, du 17 octobre au 1er novembre 2022. La phase post-campagne du sondage a été menée auprès de 544 nouveaux arrivants au Canada, à l’extérieur du Québec, du 6 au 27 février 2023. Les répondants, provenant d’une base de données avec des informations de profil préétablies et recrutés au hasard par téléphone, ont reçu un SMS ou une invitation par courriel à participer à l’étude. Le temps moyen pour répondre au sondage de référence était de 5,8 minutes, et de 8,2 minutes pour le sondage post-campagne. La marge d'erreur pour le sondage de référence était de +/-4,36 %, avec un intervalle de confiance de 95 %, tandis que pour le sondage post-campagne, elle était de +/-4,20 %, avec un intervalle de confiance de 95 %. Les données rapportées ont été pondérées de manière à reproduire le plus fidèlement possible la répartition réelle de la population des nouveaux arrivants selon l’âge et le genre au Canada, en fonction des données d’IRCC. On a offert aux répondants de répondre au sondage dans la langue officielle de leur choix.
Un rapport complet sur la méthodologie quantitative, comprenant tous les renseignements sur l’exécution du travail sur le terrain qui est nécessaire pour reproduire l’initiative de recherche, se trouve à l’annexe A. Les instruments de recherche sur les enquêtes quantitatives se trouvent dans l’annexe B. Enfin, des tableaux de résultats des enquêtes quantitatives sont fournis en anglais et en français dans un document distinct.
La valeur de ce contrat est de 54 420,80$ (TVH comprise).
Advanis a utilisé son échantillon populationnel aléatoire (EPA), qui est une base de données correspondant à un profil préétabli pour trouver des répondants potentiels. Notre EPA recrute des personnes qui vivent au Canada en utilisant la composition téléphonique aléatoire (numéros de téléphones fixes et de téléphones cellulaires) pour recueillir un échantillon aléatoire de répondants potentiels. Advanis a identifié des nouveaux arrivants de toutes les provinces canadiennes (à l’exception du Québec) qui sont au Canada depuis moins de cinq ans pour alimenter son échantillon. Les répondants potentiels ont été sélectionnés pour atteindre le nombre cible de questionnaires complétés pour chaque province ou région du Canada.
| Province/Région | Sondage de référence | Sondage post-campagne |
|---|---|---|
| Canada Atlantique | 206 | 208 |
| Ontario | 2 080 | 1 695 |
| Manitoba | 152 | 128 |
| Saskatchewan | 114 | 89 |
| Alberta | 401 | 235 |
| Colombie-Britannique | 837 | 556 |
| Territoires | 8 | 8 |
| Total | 3 798 | 2 919 |
Le questionnaire du sondage de référence et le questionnaire post-campagne ont été conçus par IRCC et fournis à Advanis. Les questions du sondage ont permis de filtrer les réponses des personnes âgées de moins de 24 ans ou de plus de 60 ans, des personnes ayant déclaré être nées au Canada, des personnes ayant déclaré être arrivées au Canada avant 2017 pour la phase de référence et avant 2018 pour la phase post-campagne, et des personnes travaillant pour une société d'études de marché, un magazine ou un journal, une agence de publicité, une firme de conception graphique, un parti politique, une station de radio ou de télévision, une agence de relations publiques ou le gouvernement fédéral/provincial.
La plupart des questions étaient les mêmes pour les deux sondages (de référence et post-campagne), mais des questions supplémentaires ont été ajoutées pour le sondage post-campagne. On a montré aux répondants des bannières publicitaires et des vidéos d'IRCC et on leur a posé des questions de suivi sur leur exposition aux publicités, de même que sur leur réaction et leur évaluation sur celles-ci.
Pour les deux phases du sondage, Advanis a utilisé un sondage par interview téléphonique assistée par ordinateur (ITAO) pour recruter des répondants potentiels au questionnaire en ligne. Les participants potentiels de notre EPA ont été appelés au hasard et on leur a demandé s’ils acceptaient de participer à une étude en ligne. Ceux qui ont accepté ont reçu une invitation par SMS ou par courriel. En tout, 3 069 personnes ont accepté de recevoir une invitation à répondre au questionnaire en ligne pour la phase de référence et 2 230 pour la phase post-campagne.
Les invitations ont été envoyées principalement par SMS. Des courriels n’ont été envoyés que si le participant potentiel en avait fait la demande. Un message de rappel a été envoyé tous les trois jours, après l’envoi de l’invitation initiale, aux personnes qui n’avaient pas rempli le questionnaire ou qui n’avaient pas été exclues du sondage. Jusqu’à trois messages de rappel ont été envoyés.
Un test préalable a été effectué le 17 octobre pour le sondage de référence et les 6 et 7 février pour le sondage post-campagne. Aucun problème n’a été relevé dans le questionnaire ni dans le processus de collecte de données lors des tests préalables.
Une adresse courriel et un numéro de téléphone de soutien étaient fournis dans le questionnaire pour les problèmes d’ordre technique. Un numéro unique était intégré à l’hyperlien des questionnaires pour éviter d’obtenir des réponses en double d’un même participant.
La phase de référence du sondage a été menée en ligne auprès de 506 nouveaux arrivants au Canada (depuis 2017, âgés entre 24 et 60 ans), à l’extérieur du Québec, du 17 octobre au 1er novembre 2022. La phase post-campagne du sondage a été menée auprès de 544 nouveaux arrivants au Canada, à l’extérieur du Québec, du 6 au 27 février 2023.
Le tableau ci-dessous présente le détail des invitations initiales envoyées, des sondages non ouverts, des candidats rejetés ainsi que des sondages complets et incomplets. Au total, 506 questionnaires web ont été remplis lors de la phase de référence et 544 lors de la phase post-campagne. La marge d'erreur pour le sondage de base était de +/-4,36 %, avec un intervalle de confiance de 95 %, et de +/-4,20 %, avec un intervalle de confiance de 95 %, pour le sondage post-campagne.
Le taux de réponse, calculé en divisant le nombre d’unités répondantes dans le champ d’enquête par la somme des cas non résolus, des unités non-répondantes dans le champ d’enquête et des unités répondantes dans le champ d’enquête, était de 25,5 % pour la phase de référence avant la campagne et de 33,7 % pour la phase post-campagne. Ce taux de réponse se situe dans les fourchettes normales d’un sondage de ce type.
| Disposition | Phase de référence | Post-Campagne |
|---|---|---|
| Nombre total d’invitations envoyées (SMS/courriel) | 3 069 | 2 230 |
| Invalides (adresses courriel incomplètes ou incorrectes, renvoi d’une invitation par courriel) | 1 | 3 |
| Nombre total de cas non résolus (pas de réponse du tout) | 2 261 | 1 443 |
| Nombre total d’unités non-répondantes dans le champ d’enquête | 24 | 34 |
| Répondant qualifié cessant de répondre au sondage avant la fin (incomplet) | 24 | 34 |
| Nombre total d’unités répondantes dans le champ d’enquête | 783 | 750 |
| Autres répondants exclus | 277 | 206 |
| Questionnaires complétés | 506 | 544 |
| Taux de réponse (unités répondantes dans le champ d’enquête / (cas non résolus + unités non-répondantes dans le champ d’enquête + unités répondantes dans le champ d’enquête) | 25,5% | 33,7% |
La participation inclusive est une exigence de la recherche sur l'opinion publique commandée par le Gouvernement du Canada. Par exemple, les enquêtes en ligne sont programmées pour s'adapter aux appareils mobiles, limiter les grands tableaux de questions à échelle, être compatibles avec les lecteurs d'écran et permettre l'utilisation des touches de tabulation pour naviguer dans les écrans. Des formats alternatifs (par exemple, des entrevues téléphoniques) sont également disponibles sur demande. Les mesures mises en place par Advanis ont permis de répondre aux besoins potentiels des participants susceptibles de rencontrer des difficultés, puisque personne n'a demandé de soutien supplémentaire.
Au total, 3 069 Canadiens ont été invités à participer au sondage en ligne lors de la première phase, et 2 230 pendant la deuxième phase. Le temps moyen pour répondre au sondage de référence était de 5,8 minutes, et de 8,2 minutes pour le sondage post-campagne.
Pour les deux phases, le nombre de questionnaires complétés par province correspondait approximativement au nombre de questionnaires complétés ciblé par IRCC.
| Province/Région | Phase de référence : Nombre de questionnaires complétés | Phase de référence : Nombre ciblé | Phase post- campagne : Nombre de questionnaires complétés | Phase post- campagne : Nombre ciblé |
|---|---|---|---|---|
| Canada Atlantique | 32 | 27 | 43 | 27 |
| Ontario | 288 | 270 | 312 | 270 |
| Manitoba | 24 | 20 | 24 | 20 |
| Saskatchewan | 15 | 17 | 15 | 17 |
| Alberta | 49 | 54 | 44 | 54 |
| Colombie-Britannique | 94 | 111 | 105 | 111 |
| Territoires | 2 | 1 | 0 | 1 |
| Province non confirmée | 2 | N/A | 1 | N/A |
| Total | 506 | 500 | 544 | 500 |
| Phase du sondage | Travaille dans un secteur qui le rend inadmissible | Né au Canada | Installé au Canada avant 2017 ou 2018 | N’a pas entre 24 et 60 ans | Habite au Québec | Total |
|---|---|---|---|---|---|---|
| Référence | 66 | 11 | 197 | 0 | 3 | 277 |
| Post-campagne | 57 | 9 | 134 | 4 | 2 | 206 |
| Total | 123 | 20 | 331 | 4 | 5 | 483 |
Au total, 1 050 entrevues en ligne ont été réalisées au cours de la période de collecte de données. Les données finales ont été pondérées dans chaque phase du sondage selon l’âge et le genre. La méthode de pondération a été fournie par IRCC sur la base d’estimations internes des caractéristiques démographiques de la population de nouveaux arrivants au Canada (englobant les résidents permanents et temporaires), et Advanis a appliqué la pondération à la base de données. Les personnes dont le genre a été enregistré comme "autre" (n=2 dans le sondage de référence et n=1 dans le sondage post-campagne) ont reçu une pondération de 1,0.
| Phase du sondage | Âge | Genre | N non-pondéré | N pondéré | Poids |
|---|---|---|---|---|---|
| Sondage de référence | 24-34 | Masculin | 81 | 165 | 2,035 |
| Sondage de référence | 24-34 | Féminin | 60 | 150 | 2,497 |
| Sondage de référence | 35 + | Masculin | 242 | 107 | 0,440 |
| Sondage de référence | 35 + | Féminin | 121 | 83 | 0,684 |
| Sondage de référence | 35 + | Autre | 2 | 2 | 1,000 |
| Sondage post-campagne | 24-34 | Masculin | 112 | 178 | 1,586 |
| Sondage post-campagne | 24-34 | Féminin | 62 | 161 | 2,603 |
| Sondage post-campagne | 24-34 | Autre | 1 | 1 | 1,000 |
| Sondage post-campagne | 35 + | Masculin | 244 | 115 | 0,471 |
| Sondage post-campagne | 35+ | Féminin | 125 | 89 | 0,713 |
Toutes les variables démographiques et dérivées utilisées dans l'analyse et/ou la pondération ont été incluses dans la base de données. Les réponses ouvertes ont été codées en thèmes généraux. Les réponses codées et les réponses verbatim originales ont été conservées dans la base de données. Une base de données a été fourni pour la phase de référence et la phase post-campagne. Une base de données fusionné pour les deux phases a également été fourni à IRCC.
Les questions ont été croisées avec des catégories thématiques afin de mieux comprendre les résultats. Des tableaux croisés ont été fournis pour la phase de référence et la phase post-campagne. Des tableaux croisés fusionnés comparant les résultats des deux phases ont également été fournis. Les tableaux croisés finaux comprenaient des fréquences et des pourcentages non pondérés (totaux) et pondérés.
Il y a biais de non-réponse lorsque les non-répondants diffèrent de manière significative des répondants et que cette différence a un impact sur les informations recueillies. Il est difficile d'évaluer la présence d'un biais de non-réponse car les informations sur les raisons pour lesquelles les non-répondants n'ont pas participé ne sont généralement pas disponibles. Cela dit, une façon d'évaluer l'impact potentiel du biais de non-réponse est de déterminer si l'échantillon est représentatif en comparant les caractéristiques des répondants et en vérifiant si elles reflètent les caractéristiques connues de la population. Dans la mesure du possible, nous pouvons vérifier la répartition des répondants entre les différentes catégories démographiques (par exemple, l'âge et le genre) et géographiques et comparer ces répartitions aux caractéristiques connues de la population. Si la variation est relativement faible et que nous n'avons aucune raison de supposer que d'autres facteurs influencent la volonté des répondants de participer, nous pouvons conclure que la probabilité d'un biais de non-réponse ayant un impact sur les informations recueillies dans le cadre de l'étude est minime. C'est le cas de l'étude actuelle.
Différentes stratégies ont été employées pour augmenter les taux de réponse et réduire les effets du biais de non-réponse. Entre autres:
Les instruments quantitatifs du sondage en français et en anglais pour les phases de référence et après la campagne sont présentés dans un document distinct.
Une série complète de données tabulées pour les phases de référence et après la campagne sont présentées dans un document distinct.