Recherche secondaire sur les téléphones cellulaires et les
sondages téléphoniques

Table des matières

• Introduction
• 1. L'état actuel des choses
• 2. Conclusions tirées de la recherche expérimentale
• 3. Pratiques exemplaires en matière d'intégration d'échantillons de téléphones cellulaires
• 4. Bases de sondage par téléphonie cellulaire au Canada
• 5. Conclusions et recommandations
• Annexe

Liste des figures

• Figure 1 : Profil démographique des ménages possédant un téléphone cellulaire uniquement
• Figure 2 : Comparaison des échantillons par groupe démographique
• Figure 3 : Pratiques communes et éléments de réflexion
• Figure 4 : Études pilotes de l'Outil d'évaluation des campagnes publicitaires (OECP) sur la téléphonie cellulaire — spécifications techniques
• Figure 5 : Études pilotes de l'OECP sur la téléphonie cellulaire — comparaison des données attitudinales
• Figure 6 : Aperçu des avantages et des inconvénients inhérents à l'inclusion des appareils cellulaires

Introduction

Travaux publics et Services gouvernementaux Canada (TPSGC) a confié à Phoenix SPI le mandat de mener une recherche secondaire afin d'explorer les questions relatives à l'inclusion des appareils cellulaires dans la recherche par sondage téléphonique.

Historique et objectif

La Direction de la recherche sur l'opinion publique (DROP) de TPSGC fournit des services consultatifs et de coordination pour toutes les recherches sur l'opinion publique réalisées pour le compte du gouvernement du Canada. La Direction facilite les recherches en accompagnant les ministères clients du gouvernement du Canada tout au long du processus d'enquête afin de garantir que les objectifs soient respectés et que la recherche entreprise respecte les politiques du gouvernement du Canada et les règlements du Conseil du Trésor ainsi que les normes de l'industrie. Pour exercer son rôle, la DROP doit non seulement être au courant, mais posséder une connaissance approfondie de l'évolution actuelle du domaine de la recherche sur l'opinion publique (ROP) afin de bien conseiller ses clients et d'élaborer ou de réviser les normes relatives aux sondages. Un des secteurs qui attire l'attention est la téléphonie cellulaire et son impact sur la recherche par sondage au Canada.

Pour sa part, la DROP a besoin de comprendre, entre autres, quelles sont les pratiques actuelles des organismes de recherche par sondage en ce qui a trait aux téléphones cellulaires, quelles sont les incidences et les répercussions possibles d'inclure les téléphones cellulaires dans les bases de sondages, quelles sont les pratiques exemplaires et les normes de l'industrie ayant trait aux téléphones cellulaires (dans la mesure où elles existent) et quelle est la base d'échantillonnage de téléphones cellulaires disponible au Canada, particulièrement de quelle façon la base est créée et dans quelle mesure elle peut être considérée comme représentative. L'objectif de ce mandat de recherche secondaire consistait donc à entreprendre un examen des publications afin de fournir à la DROP un tableau exhaustif de l'environnement actuel, soutenu par une analyse des implications pour les sondages téléphoniques réalisés par le gouvernement du Canada, et de formuler des recommandations à l'intention de TPSGC.

Portée du mandat

Les chercheurs utilisent différents types de sondages réalisés par téléphone cellulaire, qu'il s'agisse de sondages administrés avec l'aide d'un intervieweur ou autoadministrés. Parmi les approches les plus répandues, citons les enquêtes standard réalisées par composition aléatoire (CA) de numéros de téléphone fixe, les sondages remplis sur le Web au moyen de téléphones cellulaires à capacités sans fil (téléphones intelligents), le recrutement sur le Web (consistant à remplir le sondage au moyen d'un appareil cellulaire) et la messagerie texte (par Service de messages courts (SMS) ou « textos ») (à l'exclusion des messages texte de préavis d'un sondage par téléphone cellulaire à venir).^{Note de bas de page 1} Dans le cadre de cette recherche, l'accent a été mis sur les sondages téléphoniques à base double (téléphones fixes et cellulaires).

Méthodes

Compte tenu de l'objectif, un examen des publications a été effectué sur un corpus comprenant diverses perspectives provenant de sources diverses comme le gouvernement, le milieu universitaire, l'industrie et des associations de recherche par sondage pertinentes. Certaines sources ont été contactées directement, par courriel ou au téléphone, tandis que les sites Web, les bases de données électroniques et les publications des autres ont été examinées pour y relever le contenu pertinent. L'accent était mis sur les pratiques exemplaires, les normes en vigueur et les approches de l'inclusion des appareils cellulaires, l'opinion de l'industrie et du milieu universitaire dans ce domaine ainsi que sur les résultats et les méthodologies de la recherche expérimentale réalisée dans ce domaine. La portée géographique de l'examen des publications était le Canada et les États-Unis, sans s'y limiter exclusivement. Par exemple, l'Association européenne pour les études d'opinion et de marketing (ESOMAR) propose des recommandations concernant les questions d'actualité telles que la recherche par téléphone cellulaire. Une liste exhaustive des sources et des ouvrages consultés figure en annexe.

Aucune cueillette de données ayant trait à la recherche sur l'opinion publique n'a été entreprise au cours de ce projet.

Organisation

Les publications sélectionnées ont été organisées de la façon suivante :

1. État actuel des choses
2. Conclusions expérimentales
3. Pratiques exemplaires
4. Échantillons de téléphones cellulaires au Canada
5. Conclusions et recommandations.

Les publications examinées comprenaient également une analyse d'évaluations récentes réalisées par le gouvernement du Canada à la suite de campagnes publicitaires incluant des échantillons de téléphones cellulaires. Les conclusions et leurs implications sont présentées dans la section 2.

Notes au lecteur

Pendant la lecture de ce rapport, les réviseurs devraient tenir compte des éléments suivants :

• Dans le texte, toutes les sources consultées et tous les ouvrages cités font l'objet d'un renvoi en bas de page et d'une citation bibliographique complète en annexe.

• Pour simplifier la lecture, des acronymes sont utilisés tout au long du rapport. Par souci de commodité, le tableau ci-dessous en donne une liste complète.

1. L'état actuel des choses

Cette section traite de l'état actuel des choses en ce qui a trait à la place des appareils cellulaires dans les sondages téléphoniques. Bien que la majeure partie des publications disponibles se rapportent aux États-Unis, les questions sont également traitées selon le contexte canadien le cas échéant.

1.1 Pourquoi les appareils cellulaires sont importants pour la recherche par sondage

Avec l'utilisation croissante des appareils cellulaires et la diminution de l'utilisation des téléphones conventionnels fixes au Canada, on observe un intérêt grandissant pour les effets de ce phénomène sur les sondages téléphoniques. Jusqu'à une époque récente, l'échantillonnage par CA portant exclusivement sur les téléphones à fil (ou postes fixes) se soldait par très peu d'erreurs de couverture, puisque pratiquement chaque ménage canadien possédait un téléphone fixe (encore 97 % en 2000). Avec le déclin du nombre de ménages dotés d'un téléphone fixe (p. ex. de 91 % en 2006 à 67 % en 2010^{Note de bas de page 2}) et l'augmentation du nombre de ménages utilisant un téléphone cellulaire uniquement (TCU) (p. ex. 13 % en 2010 alors qu'ils étaient 8 % en 2008), les chercheurs doivent explorer les aspects de l'utilisation des appareils cellulaires et ses implications pour la recherche par sondage^{Note de bas de page 3}.

La compréhension des défis méthodologiques posés par les ménages TCU revêt d'autant plus d'importance que l'on s'attend à ce que leur nombre atteigne 20 % d'ici la fin de 2015^{Note de bas de page 4}. Aux États-Unis, le problème posé par les appareils cellulaires et les ménages TCU est encore plus aigu; en effet, les estimations de 2011 indiquent que jusqu'à 31 % des ménages américains ne possèdent qu'un téléphone cellulaire^{Note de bas de page 5}.

L'impact de l'exclusion des ménages possédant un téléphone cellulaire uniquement dans la recherche par sondage est évident : une erreur de couverture résultant d'une base d'échantillons incomplète. Dans la pratique, cela signifie que le segment TCU de la population en général n'est pas atteint par les enquêtes téléphoniques réalisées exclusivement par CA de numéros de téléphone fixe et que les bases d'échantillons obtenus de cette manière ne peuvent plus être considérées comme représentatives de la population en général. La crédibilité des données de recherche sur l'opinion publique (ROP) ainsi obtenues peut elle aussi être remise en question et, par extension, les politiques, programmes et autres décisions élaborés à partir de ces données. Bien que ce problème revête actuellement beaucoup plus d'importance parmi les professionnels de la recherche par sondage aux États-Unis, il n'existe aucune raison de supposer que cette trajectoire — l'augmentation de la proportion des ménages TCU au détriment des ménages dotés d'un téléphone fixe — prendra une tournure différente au Canada.

La proportion des ménages TCU parmi l'ensemble de la population augmente de façon spectaculaire si l'on met l'accent sur certains sous-groupes démographiques, en particulier les jeunes et les minorités ethniques. Cela signifie que les ménages TCU posent non seulement un problème pour les sondages visant l'ensemble de la population, mais un écueil encore plus pressant et plus marqué pour les études ciblant certains sous-groupes. À partir de données obtenues en 2010 dans le cadre de l'Enquête nationale sur la santé réalisée sous forme d'interviews (NHIS), Blumberg and Luke (2010) proposent un profil démographique des ménages TCU aux États-Unis de 2007 à 2010 (voir figure 1).

Figure 1 : Profil démographique des ménages possédant
un téléphone cellulaire uniquement^{Note de bas de page 6}

Enquête nationale sur la santé réalisée sous forme d'interviews	Janvier à juin 2007	Janvier à juin 2010
Sexe
Homme	14 %	26 %
Femme	12 %	24 %
Âge
18 à 24	28 %	40 %
25 à 29	31 %	51 %
30 à 34	17 %	40 %
35 à 44	11 %	27 %
45 à 64	7 %	17 %
65 et plus	2 %	5 %
Études
Inférieur au secondaire	15 %	29 %
Diplôme d'études secondaires	12 %	24 %
Cours de niveau collégial	15 %	27 %
Diplôme universitaire	11 %	23 %
Situation professionnelle
Avec emploi	15 %	29 %
Étudiant(e)	21 %	33 %
Personne au foyer	10 %	23 %
Type de ménage
Propriétaire	7 %	16 %
Locataire	31 %	47 %
Revenu du ménage
Sous le seuil de la pauvreté	9 %	39 %
Proche du seuil de la pauvreté	11 %	33 %
Revenu élevé	16 %	22 %

Les sondages téléphoniques qui incorporent des échantillons de téléphones cellulaires donnent donc accès à des répondants répartis selon une composition démographique différente.

Le tableau suivant donne une autre perspective. Il donne des données démographiques non pondérées sur les sondages téléphoniques à base double réalisés par CA en 2010 par le Pew Research Center, aux États-Unis. Comme le précise en détail la figure 2, une proportion plus élevée de l'échantillonnage des ménages TCU est masculine, a moins de 30 ans, est d'origine hispanique et moins instruite (c.-à-d. qu'elle n'est pas allée plus loin que l'école secondaire). Les conclusions sont faciles à tirer : si, par exemple, un plan d'enquête demande un suréchantillonnage de jeunes, il va devenir de plus en plus difficile d'obtenir les quotas cibles en utilisant seulement une base d'échantillonnage de téléphones fixes.

Figure 2 : Comparaison des échantillons par groupe démographique^{Note de bas de page 7}

Pew Research Center Sondages de 2010	Échantillon — Téléphones fixes (N=10 723)	Échantillon - Téléphones cellulaires (N=5 352)
Sexe
Homme	41 %	55 %
Femme	59 %	45 %
Âge
18 à 29	7 %	29 %
30 à 49	25 %	33 %
50 à 64	34 %	27 %
65 et plus	31 %	10 %
Origine ethnique
Blanche	81 %	71 %
Noire	10 %	14 %
Hispanique	6 %	11 %
Études
Inférieur au secondaire	7 %	9 %
Diplôme d'études secondaires	27 %	37 %
Cours de niveau collégial	27 %	29 %
Diplôme universitaire	39 %	35 %

Au Canada, les observations sont semblables en ce qui concerne l'âge : les Canadiens plus jeunes ont plus tendance à utiliser un appareil cellulaire. Selon une estimation prudente, au moins la moitié de la tranche d'âge des 18-34 utilisent uniquement un téléphone cellulaire, selon des données publiées par Statistiques Canada en décembre 2010^{Note de bas de page 8} (encore que cette proportion ait indubitablement augmenté au cours des deux dernières années). Par ailleurs, en accord avec les données américaines, une étude réalisée en 2008 au Canada^{Note de bas de page 9} a constaté que les répondants TCU au Canada sont plus jeunes et plus susceptibles d'être masculins, de vivre dans un ménage de petite taille et d'avoir un revenu peu élevé par comparaison avec la population en général.

Bien que la pondération puisse pallier certaines lacunes démographiques résultant d'une erreur de couverture, aucun rajustement statistique réalisé après la cueillette des données ne peut contrôler l'inconnu, c'est-à-dire la façon dont les attitudes et les perceptions des Canadiens TCU se comparent à celles des Canadiens qui possèdent uniquement un téléphone fixe et de ceux qui utilisent les deux modes téléphoniques, question qui est l'essence même de toute recherche sur l'opinion publique. De plus, des recherches récentes suggèrent que c'est bien le cas : les répondants TCU au Canada ont bel et bien des attitudes différentes, ainsi que certains comportements (EKOS / Arcturus Solutions, 2008; Léger Marketing, 2011). Pour cette raison, les problèmes d'erreur de couverture, ainsi que les caractéristiques potentiellement uniques des ménages TCU, poussent les professionnels de la recherche par sondage à tenir sérieusement compte des appareils cellulaires, et particulièrement des ménages possèdent un téléphone cellulaire uniquement, lors de la conception de sondages téléphoniques visant le grand public. À mesure qu'augmente le nombre des personnes faisant appel à la téléphonie cellulaire dans leur vie quotidienne, de moins en moins de gens deviendront accessibles pour des enquêtes réalisées par composition aléatoire (CA) de numéros de téléphone fixe conventionnel, ce qui signifie qu'il devient nettement impératif de trouver une solution de rechange à la fois rentable et crédible.

1.2 Le contexte actuel

Compte tenu du défi méthodologique que représentent les téléphones cellulaires et les ménages possédant un téléphone cellulaire uniquement, il n'y rien d'étonnant à ce que des bases d'échantillonnage de téléphones cellulaires soient de plus en plus incluses dans les sondages téléphoniques par CA. Cette méthode contribue à garantir la représentativité des sondages téléphoniques par rapport à la population en général, du moins en ce qui a trait à l'échantillonnage démographique non pondéré des répondants.

Aux États-Unis, on a observé au cours des quelques dernières années une transition marquée de l'échantillonnage par CA exclusive de numéros de téléphone fixe à des plans d'enquête par CA faisant appel à une base double (téléphones fixes et cellulaires)^{Note de bas de page 10}. En effet, les enquêtes à base d'échantillonnage double constituent maintenant une pratique courante en ce qui a trait aux sondages du grand public américain. Deux firmes de sondage de pointe, le Pew Research Center et Gallup, incorporent les téléphones cellulaires dans tous leurs sondages téléphoniques réalisés auprès du public américain, la dernière depuis janvier 2008^{Note de bas de page 11}. De plus, deux des enquêtes longitudinales les plus importantes réalisées dans le domaine de la santé aux É.-U., celle menée par le Behavioral Risk Factor Surveillance System (et administrée par les CDC [Centers for Disease Control and Prevention, centres de contrôle et de prévention des maladies]) et le California Health Interview Survey (réalisé par le University of California, Los Angeles (UCLA) Center for Health Policy Research), ont toutes deux inclus les téléphones cellulaires dans leur base d'échantillonnage.

Il en va de même pour les principaux enquêteurs politiques affiliés aux grands médias (p. ex. les sondages publiés par NBC News et le Wall Street Journal ou ABC News et le Washington Post), qui utilisent tous des plans d'enquête à base d'échantillonnage double^{Note de bas de page 12}. Selon Paul Lavrakas, président du groupe de travail sur les téléphones cellulaires de l'American Association for Public Opinion Research, « l'exclusion de la base mobile entraînerait un faible niveau de crédibilité pour n'importe quel sondage téléphonique réalisé auprès du public américain et qui ne porterait que sur des échantillons appartenant à la base téléphonique fixe, à moins que les sondeurs ne soient en mesure de donner des preuves irréfutables du contraire. »^{Note de bas de page 13}

Au Canada, tant le gouvernement du Canada que l'ARIM, la principale association de recherche sur l'opinion publique et de marketing du Canada, ont amorcé une recherche sur les téléphones cellulaires et leurs implications pour la recherche par sondage. Les ministères et organismes du gouvernement du Canada qui mènent des recherches sur l'opinion publique ont commencé à demander que leurs sondages téléphoniques portent sur une base d'échantillons double. Bien qu'il soit impossible de savoir quelle approche de la recherche par sondage téléphonique les entreprises du secteur privé privilégient, il est bon de souligner que la Newspaper Audience Databank (banque de données sur l'audience des quotidiens, NADbank), l'organe de recherche de l'industrie canadienne des quotidiens, a commencé en 2012 à élargir sa base d'échantillons en y incluant les ménages TCU de Toronto, de Montréal et de Vancouver^{Note de bas de page 14}. Ce changement de méthodologie s'est produit, du moins en partie, en réaction à l'Enquête sur le service téléphonique résidentiel menée par Statistique Canada en 2010 et selon laquelle la proportion des ménages TCU est en augmentation à Toronto (16 %), Montréal (14 %) et Vancouver (20 %). La raison invoquée était double : réduire les erreurs de couverture et augmenter les chances d'atteindre certains adultes « axés sur le mobile » et sous-représentés dans les échantillons téléphoniques fixes.

En résumé, les bases d'échantillons doubles semblent en passe de devenir la norme, ou du moins l'approche reconnue en matière de sondages téléphoniques aux États-Unis. Si la proportion des ménages TCU continue à augmenter au Canada, il semble inconcevable que les professionnels de la recherche par sondage n'emboîtent pas le pas à leurs collègues américains pour faire une pratique exemplaire de l'inclusion des échantillonnages cellulaires dans les sondages téléphoniques d'envergure nationale.

1.3 Pratiques communes et éléments de réflexion

La question des « pratiques exemplaires », ou des normes, est traitée dans la section 3. Cependant, d'après l'examen des publications disponibles, il convient de souligner ce qui ressort comme des pratiques communes ou des éléments de réflexion en ce qui a trait aux sondages réalisés par téléphone cellulaire auprès du grand public (éléments de réflexion et pratiques qui varient selon que la recherche vise des sous-segments de la population, comme les jeunes ou les immigrants).

Figure 3 : Pratiques communes et éléments de réflexion

1.4 Résumé

Avec une proportion bien plus élevée de ménages TCU, les É.-U. représentent un bon exemple de la façon dont l'érosion de la base d'échantillons traditionnellement obtenue par CA de numéros téléphoniques fixes peut être affrontée par les organismes de recherche. La tendance aux États-Unis est le recours à des bases d'échantillonnage doubles, comprenant à la fois des lignes fixes et des appareils cellulaires, afin d'augmenter la représentativité des sondages téléphoniques réalisés auprès de la population en général. Actuellement, le Canada semble avoir emprunté une trajectoire parallèle; le nombre de ménages TCU y augmente rapidement et des efforts ont été entrepris afin d'explorer l'utilité des bases d'échantillonnage doubles et les implications que peut avoir le fait d'interviewer les abonnés cellulaires sur leur appareil mobile.

2. Conclusions tirées de la recherche expérimentale

La croissance spectaculaire des ménages possédant uniquement un téléphone cellulaire, alliée à un souci de validité des résultats des sondages fondés sur des bases d'échantillonnage ne comprenant que des lignes fixes, a eu pour effet de braquer l'attention sur l'avancement des connaissances de l'industrie de la recherche dans ce domaine. De nombreuses études expérimentales ont été réalisées au cours des dix dernières années, principalement aux États-Unis, afin de mieux comprendre l'impact des ménages possédant uniquement un téléphone cellulaire sur les estimations de sondages. Nous décrivons ci-dessous les principales conclusions des études expérimentales fondamentales.

2.1 Études américaines

Aux États-Unis, la majeure partie de la recherche sur les sondages téléphoniques réalisés actuellement peut être considérée comme expérimentale, dans la mesure où les organismes se livrent à des opérations de « réglage fin » ou de « remaniement » de leurs méthodologies afin de déterminer quelle est la méthode de sondage par téléphone cellulaire optimale. C'est dans cet esprit que nous nous penchons sur ce que nous pouvons apprendre des recherches récentes au sujet des méthodes de sondage par téléphone cellulaire.

2.1.1 Le biais de non-couverture

Nous avons décrit plus haut l'impact démographique de l'omission des appareils cellulaires dans les sondages réalisés auprès de la population en général. L'une des questions essentielles qui se posent aux chercheurs est la mesure dans laquelle les comportements et les attitudes de la population possédant uniquement un téléphone cellulaire diffèrent de celle de la population dans son ensemble. Une étude récente réalisée par le Pew Research Center for the People and the Press a révélé que les sondages téléphoniques à base double (téléphones fixes et cellulaires), pondérés démographiquement afin de correspondre aux caractéristiques de la population américaine, continuent de fournir des données correctes concernant « la plupart des mesures politiques, sociales et économiques »^{Note de bas de page 22}. Le Pew Research Center observe cette situation depuis le milieu des années 2000 et ces conclusions corroborent les recherches précédentes. Lee, Brick, Brown et Grant (2010) ont fait état de résultats semblables après leur évaluation de l'ampleur du biais résultant de l'exclusion des ménages TCU lors du California Health Interview Survey de 2007. Bien que la pondération démographique puisse corriger le biais de non-couverture, elle ne compense pas le fait que les répondants TCU se distinguent par certaines attitudes et certains comportements. L'essentiel consiste à reconnaître quand ces différences pèsent dans la balance.

2.1.2 Mesures incitatives

La question à considérer est de savoir si les montants incitatifs permettent ou non de réaliser des économies lors des sondages par téléphone cellulaire. Nous avons indiqué plus haut qu'à l'heure actuelle, certains organismes de recherche choisissent de ne pas en offrir, du moins pas de façon systématique. Plusieurs études fournissent des preuves à l'appui de cette pratique.

Guterbock, Holmes, Bebel et Furia (2012) ont observé l'utilisation des mesures incitatives auprès de segments difficiles à atteindre de la population générale. L'offre consistait en une carte-cadeau de 10 $. Ils ont constaté que la carte-cadeau ne permettait pas de réaliser, sur les coûts de cueillette des données, des économies suffisantes pour compenser celui de l'incitatif lui-même. En bref, ils n'ont rien trouvé qui suggère que les montants incitatifs offerts lors de sondages permettent de mener à bien des interviews auprès des groupes difficilement accessibles.

Le Pew Research Center^{Note de bas de page 23} a également expérimenté avec des montants incitatifs différents afin d'observer leur impact sur les taux de réponse. L'étude réalisée en 2008 par le Center n'a pratiquement décelé aucune différence entre les taux de réponse des répondants par téléphone cellulaire, peu importe le montant (l'étude portait sur deux montants : 10 $ et 20 $). Une autre étude expérimentale récente réalisée auprès de répondants TCU a montré qu'une carte-cadeau de 10 $ n'avait aucun effet observable sur les taux de réponse (Oldendick et Lambries, 2010).

Call (2012) a obtenu des résultats semblables en expérimentant avec des mesures incitatives et un message vocal sur une base d'échantillonnage de téléphones cellulaires. Qu'on utilise une mesure incitative, un message vocal ou les deux en combinaison, cela n'a eu aucun effet sur les taux de réponse. De plus, l'utilisation d'un message vocal mentionnant la mesure incitative n'a pas réduit la quantité de tentatives de rappel nécessaires afin de mener à bien une interview. Le message était le suivant :

Conformément aux conclusions précédentes, Lutz et Losch (2012), en examinant ce qui motive un utilisateur de téléphone cellulaire à participer à un sondage, ont observé que 80 % des répondants par téléphone cellulaire auraient mené à bien l'interview même si on ne leur avait pas offert un montant incitatif de 10 $.

Inversement, quelques études ont montré que des montants incitatifs de 10 $ en argent comptant avaient pour effet d'améliorer le taux de production d'un centre d'appels, ou le nombre d'es terminés signalées par heure, lors de sondages par téléphone cellulaire (Diop, Kim, Holmes et Guterbock, 2008; Diop, Kermer et Guterbock, 2008). Dans cette dernière étude, un montant incitatif de 10 $ (par opposition à un autre de 5 $) améliorait la production dans une mesure telle que l'augmentation du coût des incitatifs était absorbée par la baisse du coût des interviews. Nair et Gentry (2012) ont observé que l'envoi par avance d'une lettre assortie d'un montant incitatif garanti de 2 $ ou 5 $ (un montant incitatif de 1 $ n'ayant eu aucun effet sur le taux de coopération) contribuait à obtenir la coopération des répondants appelés à une date ultérieure pour participer à un sondage téléphonique^{Note de bas de page 24}.

Compte tenu de ces observations contradictoires, il faudra plus de recherches pour déterminer quand les mesures incitatives deviennent avantageuses et quand elles servent réellement à maximiser les taux de réponse.

2.1.3 Plan d'échantillonnage

Comme nous l'avons vu plus haut, il existe deux approches de la conception des plans d'enquête à base d'échantillonnage double : avec ou sans chevauchement. Inversement, la méthode avec chevauchement saute cette étape et traite indifféremment ces deux types de ménages. La méthode sans chevauchement consiste à filtrer l'échantillonnage de téléphones cellulaires afin d'en éliminer les ménages utilisant à la fois un appareil cellulaire et une ligne téléphonique fixe. Bien que la méthode sans chevauchement soit la plus séduisante, puisqu'elle simplifie de beaucoup le travail statistique par rapport à l'autre, Kelly, Montgomery, Barron et Koppelman (2012) ont montré que l'utilisation d'un échantillonnage avec chevauchement est la plus rentable. Alors que les deux méthodes ont produit des distributions démographiques semblables, le CIC (coût d'une interview complétée) de la méthode avec chevauchement s'élevait à un peu moins de la moitié de celui de la méthode sans chevauchement.

Mis à part le coût, un autre élément essentiel à considérer est l'erreur due à la non-réponse. Les bases d'échantillonnage doubles servent à limiter l'erreur de couverture, mais la méthode sans chevauchement risque de provoquer un biais de non-réponse. Par exemple, dans le cas d'utilisateurs doubles difficiles à joindre par ligne téléphonique fixe, mais non admissibles à remplir un sondage si on les joint sur leur appareil cellulaire, la méthode du filtrage (c.-à-d. sans chevauchement) risque d'augmenter l'erreur due à la non-réponse si ce type d'utilisateur diffère des répondants abonnés à une ligne fixe uniquement. Non seulement il n'a été réalisé que peu de recherche exploratoire sur cette question, mais les données disponibles sont loin d'être concluantes.

Alanya et De Keulenaer (2012) ont observé que des échantillons à base double avec chevauchement (et une pondération appropriée) permettaient d'obtenir de meilleures estimations de la population, tant en Belgique qu'en Espagne. Inversement, Kennedy (2007) a constaté que des biais d'une ampleur comparable affectaient des variables précises (après pondération afin de corriger les facteurs démographiques et de service téléphonique) entre les résultats d'enquêtes appliquant les méthodes avec et sans chevauchement (en s'appuyant sur les données provenant d'une étude menée en 2006 par le Pew Research Center, AP et AOL). Il faudra plus de recherche expérimentale avant de pouvoir déterminer l'impact du filtrage des ménages TCU sur le biais de non-réponse.

2.1.4 Évaluation et qualité des données

Le bon sens suggère que la qualité des données recueillies au téléphone cellulaire ne soit pas aussi rigoureuse que celles qui sont recueillies par ligne téléphonique fixe. Plusieurs raisons motivent cette croyance^{Note de bas de page 25} :

• La qualité sonore (tant pour l'intervieweur que pour le répondant).
• Les facteurs de distraction pour le répondant.
• Les cas où le répondant, l'intervieweur (ou les deux) se dépêchent pour terminer le sondage.
• Les cas où le répondant se concentre sur plusieurs tâches à la fois.

Parmi les indicateurs de la qualité des données, citons des facteurs comme les données manquantes (c.-à-d. les cas de refus ou de répondants sans opinion), les refus de répondre à certaines questions délicates, la satisfaisance (c.-à-d. le choix d'une réponse socialement désirable, le fait de ne pas différencier les valeurs présentées par des questions à choix multiple, la tendance à exprimer un accord ou à répondre par l'affirmative peu importe la question) ou l'absence de corrélations théoriquement significatives dans les données.

La plupart des études ont néanmoins trouvé peu de preuves pouvant étayer l'hypothèse selon laquelle la qualité des données varie entre les interviews réalisées par téléphone fixe ou cellulaire. Afin d'examiner l'effet du mode de communication sur la qualité des données, Kennedy (2010) a attribué des répondants au hasard à une étude basée sur un échantillonnage double fixe et cellulaire afin qu'ils soient rappelés pour une interview de suivi, soit par téléphone fixe ou par cellulaire. Bien que des différences de qualité aient été relevées entre les interviews effectuées par téléphone fixe et par cellulaire, celles-ci tendaient à rester peu importantes et de portée restreinte. En fait, seul un des sept tests effectués a clairement établi la preuve d'un problème potentiel de qualité des données : celui du raccourci cognitif (qui consiste à éviter de réfléchir ou de faire appel à sa mémoire pour donner une réponse adéquate). Bien qu'encourageante, cette étude ne portait pas sur des échantillons très nombreux et l'auteur met en garde contre toute surinterprétation des résultats.

Des résultats semblables ont été publiés par d'autres chercheurs. Witt, ZuWallack et Conrey (2009) ont relevé peu de différence modale entre les données obtenues par téléphone fixe et par cellulaire, qu'il s'agisse du taux de non-réponse à une question ou de la richesse des réponses à des questions ouvertes. Brick et al. (2006) n'ont relevé aucune différence significative entre les données obtenues par téléphone fixe et par cellulaire, qu'il s'agisse de données manquantes, de la longueur des réponses aux questions ouvertes ou, à l'instar de Witt, ZuWallack et Conrey, des réponses données à des questions de nature délicate. Quant au Pew Research Center (2006), à l'instar ici aussi de Witt, ZuWallack et Conrey, il n'a trouvé aucune différence de quantité d'éléments de non-réponse entre les répondants par téléphone fixe ou cellulaire.

Malgré ces constatations, l'AAPOR (2010) soutient qu'il est nécessaire de poursuivre la recherche dans le domaine de l'évaluation afin de mieux comprendre l'impact des téléphones cellulaires sur la qualité des données de sondage.

2.1.5 Questions opérationnelles

Plusieurs études ont exploré les problèmes dont la nature est opérationnelle.

• La longueur de l'interview : Au début des interviews par téléphone cellulaire, la préoccupation générale au sein de l'industrie était que les interviews plus longues ne seraient plus possibles, que les utilisateurs d'appareils cellulaires soient moins généreux de leur temps que les abonnées à une ligne fixe. En fait, Brick, Edwards et Lee (2007) ont trouvé les répondants contactés par cellulaire désireux de remplir un questionnaire de 30 minutes (il faut cependant noter que le sondage était commandé par le gouvernement d'un État et portait sur la santé, ce qui peut avoir suscité plus d'intérêt au sein du public en général). Après une étude de plusieurs années, Keeter (2011) conclut qu'il n'y a aucune preuve que les répondants pris dans un échantillonnage de téléphones cellulaires mettent fin à l'interview plus fréquemment.

• Les messages vocaux : La recherche expérimentale a démontré que le fait de laisser un message vocal aux utilisateurs de cellulaires lors d'un sondage téléphonique n'augmente pas la probabilité qu'ils complèteront une interview (Benford et al., 2010; Call, 2012). Benford et al. ont plutôt constaté que le fait de laisser un message vocal réduisait la probabilité d'un refus lors du rappel.

• Les taux de réponse : Ceux-ci tendent à baisser dans les échantillonnages de téléphones cellulaires par rapport aux échantillonnages de ligne fixe comparables (du moins si l'on se fie aux données provenant des États-Unis : Link et al. [2007]).

2.2 Études canadiennes

Il est clair que les États-Unis sont à la fine pointe de la recherche expérimentale visant à explorer l'impact du cellulaire sur sa recherche par sondage téléphonique. Cela dit, plusieurs études canadiennes, tant gouvernementales qu'industrielles, contribuent à la discussion.

En effet, le gouvernement du Canada a mené des essais pilotes comparant différentes approches de l'inclusion d'échantillons de téléphones cellulaires lors de sondages réalisés auprès du grand public. Chacune de ces trois études pilotes^{Note de bas de page 26} portait sur l'évaluation de campagnes publicitaires au moyen d'un instrument de sondage normalisé, l'outil d'évaluation des campagnes publicitaires (OECP). Le motif invoqué pour inclure les échantillons cellulaires était double : 1) augmenter la représentativité en réduisant les erreurs de couverture résultant de l'augmentation du nombre des ménages possédant un téléphone cellulaire uniquement, et/ou 2) cibler particulièrement les jeunes afin d'augmenter le taux de réponse au sein de ce sous-groupe de la population générale. La figure 4 illustre les points saillants de chacune de ces études afin de faciliter leur comparaison.

Figure 4 : Études pilotes de l'OECP sur la téléphonie cellulaire — spécifications techniques^{Note de bas de page 27}

	Campagne axée sur les soins et la reconnaissance 2011	Campagne écoÉNERGIE Rénovation — Maisons 2011-2012	Campagne Emplois de meilleure qualité 2011
Ministère	ACC	RNCan	RHDCC
Coût	27 831,90 $	67 533,06 $	64 802,68 $
Taille de l'échantillon	N=1 007	N=1 000	N=1 300 (300 jeunes; 1 000 du grand public)
Durée moyenne	9,5 minutes	10 minutes	12 minutes (jeunes) 7 minutes (grand public)
Public cible	Canadiens de 18 ans et +	Canadiens de 18 ans et +	Canadiens de 16 ans et +
Ventilation de l'échantillon	871 interviews avec des répondants utilisant un téléphone fixe; 131 interviews avec des répondants possédant un TCU.	870 interviews avec des répondants utilisant un téléphone fixe; 130 interviews avec des répondants possédant un TCU.	Pour le sondage du grand public, 700 interviews ont été menées à bien avec des répondants utilisant un téléphone fixe et 300 avec des répondants possédant un TCU. Pour le sondage des jeunes, 194 interviews ont été menées à bien avec des répondants utilisant un téléphone fixe et 106 avec des répondants possédant un TCU.
Ventilation par région	Disproportion régionale	Disproportion régionale	Disproportion régionale
Source de l'échantillon	Ligne fixe : Échantillonneur ASDE (échantillon formé de numéros inscrits et confidentiels) TCU : Échantillon tiré de Probit, le modèle hybride d'EKOS.	Ligne fixe : Échantillonneur ASDE (échantillon formé de numéros inscrits et confidentiels) TCU : Échantillonneur ASDE; échantillonnage aléatoire basé sur les échanges cellulaires; RVI appliqué pour ne conserver que les ménages TCU.	Ligne fixe : Échantillonneur ASDE (échantillon formé de numéros inscrits et confidentiels) TCU : Échantillonneur ASDE; échantillonnage aléatoire de numéros de téléphone cellulaire actif.
Rendement de l'échantillon	Taux de réponse général : 16,3 % La répartition des appels n'a pas été séparée par type d'échantillon.	Différences observables entre les deux échantillons : Pas de réponse : 33 % ligne fixe; 20 % cellulaire Refus (ménage) : 22 % chacun Refus (répondant) : 6 % ligne fixe; 10 % cellulaire	Différences observables entre les deux échantillons : Pas de réponse : GP : 43 % ligne fixe; 32 % cellulaire Jeunes : 28 % ligne fixe; 22 % cellulaire Répondeur : GP : 11 % ligne fixe; 6 % cellulaire Jeunes : 10 % ligne fixe; 9 % cellulaire Refus : GP : 13 % ligne fixe; 16 % cellulaire Jeunes : 9 % ligne fixe; 9 % cellulaire
Biais de non-réponse	L'analyse a révélé quelques sources de biais systématique des échantillons, en particulier la sous-représentation des jeunes (4 % contre 12 % au sein de la population).	Aucune analyse effectuée.	En ce qui a trait à la non-réponse, l'analyse n'a révélé que très peu sinon aucune différence entre les résultats pondérés ou non.

Les spécifications techniques disponibles pour chacun de ces essais pilotes sont insuffisantes pour permettre une conclusion fiable. Il convient néanmoins de noter la différence des méthodes de génération des échantillons — recrutement au moyen d'un modèle en ligne commercial, CA couplée avec le filtrage par RVI, et CA — ainsi que les taux de refus sensiblement égaux, peu importe la base (téléphones fixes ou cellulaires). Cela suggère que les répondants sont aussi susceptibles de refuser de participer à un sondage, qu'ils soient contactés sur une ligne téléphonique fixe ou sur leur appareil cellulaire.

Pour aborder brièvement les données de sondage, les études américaines ont mis à jour des différences démographiques très nettes entre les échantillons de lignes téléphoniques fixes et les échantillons TCU (voir la section 1.1 plus haut). Les données tirées de ces sondages de l'OECP permettent de comparer les attitudes par type d'échantillon : téléphone fixe et téléphone cellulaire uniquement.

Figure 5 : Études pilotes de l'OECP sur la téléphonie cellulaire —
comparaison des données attitudinales^{Note de bas de page 28}

	Campagne axée sur les soins et la reconnaissance 2011		Campagne écoÉNERGIE Rénovation — Maisons 2011-2012		Campagne Emplois de meilleure qualité 2011
OECP	Ligne fixe	TCU	Ligne fixe	TCU	Ligne fixe	TCU
Q. Comment évalueriez-vous la performance du gouvernement du Canada pour ce qui est de donner des renseignements au sujet de…?
Notes négatives	18 %	21 %	29 %	27 %	22 %	20 %
Neutres	30 %	24 %	34 %	29 %	33 %	26 %
Notes positives	48 %	56 %	34 %	42 %	40 %	50 %
Q. Maintenant, en utilisant la même échelle, comment évalueriez-vous la performance du gouvernement du Canada pour ce qui est de donner des renseignements à l'ensemble de la population?
Notes négatives	35 %	30 %	33 %	28 %	29 %	29 %
Neutres	25 %	23 %	29 %	27 %	28 %	25 %
Notes positives	38 %	47 %	35 %	42 %	41 %	45 %
Q. De manière générale, comment évalueriez-vous la performance du gouvernement du Canada dans son ensemble?
Notes négatives	30 %	30 %	32 %	29 %	26 %	25 %
Neutres	23 %	24 %	26 %	20 %	26 %	28 %
Notes positives	45 %	45 %	40 %	48 %	45 %	46 %

Comme le montre clairement la figure 5, on remarque de légères différences d'attitude entre les deux échantillons : en général, les répondants possédant un téléphone cellulaire uniquement avaient plus tendance que les répondants par téléphone fixe à donner une note positive au gouvernement du Canada. Cela souligne l'importance croissante des sondages téléphoniques portant sur une base d'échantillons double.

En plus des études pilotes menées au moyen de l'OECP, plusieurs autres études récentes réalisées par le gouvernement du Canada ont inclus un élément de téléphonie cellulaire, principalement dans un but expérimental, mais également pour mieux cibler les jeunes et/ou les ménages TCU. Ces études permettent de tirer plusieurs conclusions dont, par exemple :

• L'édition 2011 du sondage de suivi sur l'assurance-emploi (RHDCC) a permis de constater que les utilisateurs de téléphones cellulaires diffèrent de plusieurs manières importantes des utilisateurs de téléphones fixes, particulièrement dans le cas des panélistes en ligne. En ce qui a trait à l'assurance-emploi, ces différences comprenaient une opinion plus positive de l'économie et du marché du travail, une probabilité accrue d'occuper un emploi, une propension accrue à croire à leur sécurité d'emploi et à leur capacité de trouver un emploi comparable s'ils venaient à perdre le leur, ainsi qu'une propension accrue à recourir à l'assurance-emploi (AE) en cas de chômage. La conclusion : l'exclusion des utilisateurs de téléphones cellulaires (c.-à-d. l'utilisation d'une base d'échantillons de numéros de téléphones fixes conventionnels) n'aurait pas permis d'obtenir un reflet juste des attitudes de la population canadienne.

• L'étude Les arts et le patrimoine au Canada : Sondage de 2012 sur l'accès et la disponibilité réalisée pour le ministère du Patrimoine canadien a obtenu des résultats démographiques semblables à ceux des études américaines, c'est-à-dire que les enquêtes réalisées par CA de numéros de téléphones fixes sous-représentent la jeunesse. La portion de téléphones fixes de l'échantillon menait à un taux d'interviews menées à bien de 12 % parmi les 18-34 ans. Après l'ajout de listes de téléphones cellulaires complètes, cette proportion est passée à 19 %. Bien qu'elle soit toujours sous-représentée (les jeunes représentent environ 28 % de la population canadienne), ce chiffre s'approche beaucoup plus de la proportion réelle de la population âgée de moins de 35 ans. On remarque également que la moitié des interviews terminées par téléphone cellulaire l'ont été avec des Canadiens de moins de 35 ans, ce qui, une fois encore, correspond aux études réalisées aux É.-U., qui ont recensé un nombre disproportionné de jeunes parmi les utilisateurs d'appareils cellulaires.

Dans la même optique, Statistiques Canada a expérimenté l'utilisation d'appareils cellulaires dans le cadre de la cueillette de données réalisée par l'agence lors de l'Enquête de surveillance de l'usage du tabac au Canada. L'échantillon qui a servi à l'essai pilote était prélevé dans une liste d'abonnés au cellulaire âgés de 15 ans et plus et résidant en Ontario et au Québec (ce qui constitue un échantillon basé sur une liste et non obtenu par CA de numéros de cellulaires). Bien que les résultats de cet essai pilote ne soient pas disponibles au grand public (en raison du cadre législatif de Statistiques Canada), le fait que l'agence expérimente dans ce domaine témoigne de l'importance croissante des téléphones cellulaires dans la recherche par sondage.

Il convient également de citer les conclusions d'une étude pilote antérieure, réalisée en 2008^{Note de bas de page 29} pour le compte du gouvernement du Canada. Le projet visait plusieurs objectifs, dont le principal consistait à recueillir des renseignements pouvant aider les ministères et organismes du gouvernement à évaluer la faisabilité des sondages par téléphone cellulaire. L'essai pilote a permis de tirer de nombreuses conclusions, dont les suivantes :

• qu'il existe des différences démographiques importantes entre les ménages TCU et l'ensemble de la population canadienne : les individus TCU sont plus jeunes et plus susceptibles d'être masculins, de vivre dans un ménage de petite taille et d'avoir un revenu peu élevé;

• qu'il existe plusieurs différences d'attitude et de comportement entre les ménages TCU et l'ensemble de la population (qui n'ont pas nécessairement trait à l'âge ou au revenu);

• que les échantillons obtenus par CA (de numéros de lignes fixes uniquement) ne représentent plus un moyen suffisant de sonder l'ensemble de la population;

• que les interviews par téléphone cellulaire coûtent considérablement plus cher que les autres modes de cueillette de données, ce qui doit être pris en considération lors de la conception de projets d'enquêtes.

Près de cinq ans plus tard, ces observations sont toujours pertinentes et corroborent les constatations d'autres recherches réalisées aux États-Unis et au Canada.

Enfin, au-delà des affaires publiques et des recherches réalisées par le gouvernement du Canada, une étude menée par Léger Marketing^{Note de bas de page 30} a relevé de nombreuses différences d'attitude entre les ménages TCU et ceux qui sont abonnés à une ligne fixe, dans des domaines très variés comprenant la santé, les voyages, le magasinage et l'alimentation. La plupart des différences s'expliquaient par l'âge — les abonnés au TCU étant plus jeunes — suivi par la situation du ménage (locataire ou propriétaire). Cela dit, même en pondérant les écarts démographiques, certaines différences d'attitude persistaient (quoique de manière tout à fait aléatoire; par exemple, en ce qui a trait aux voyages, les Canadiens TCU préfèrent se rendre aux Bahamas et dans le domaine de la santé, ils ont eu plus tendance à faire un effort pour améliorer leur santé au cours de la dernière année). Ici encore, cette étude tend à confirmer l'importance des sondages téléphoniques par CA combinant des numéros de cellulaires et de lignes fixes. Comme il est impossible pour les chercheurs de déterminer avec certitude quelles différences d'attitude résultent de l'utilisation d'un téléphone cellulaire uniquement, la prudence dicte d'inclure un échantillon de numéros de cellulaires dans la base d'échantillonnage des sondages.

2.3 Résumé

Dans un contexte en évolution rapide, la recherche expérimentale aux É.-U. est abondante; les professionnels de la recherche par sondage, tout comme les organismes, tentent de combler les lacunes sur le plan des connaissances concernant les téléphones cellulaires et les ménages TCU. La recherche récente suggère que les mesures incitatives ne sont pas rentables dans le cas des échantillons de téléphones cellulaires, qu'une base d'échantillonnage avec chevauchement est plus rentable malgré la nécessité d'appliquer une pondération complexe et que la qualité des données n'est pas compromise par une cueillette de données réalisée par téléphone cellulaire. Au Canada, il n'existe pas encore assez de preuves empiriques pouvant contribuer à donner forme à la recherche par sondage par téléphone cellulaire. Jusque-là, les organismes de recherche américains représentent une excellente source de connaissances.

La figure 6 donne un aperçu (basé sur la recherche existante) de quelques-uns des avantages et des inconvénients inhérents aux sondages par téléphone fixe et cellulaire.

Figure 6 : Aperçu des avantages et des inconvénients inhérents à l'inclusion des appareils cellulaires

	Valeur ajoutée	Inconvénients
Couverture	Réduit l'erreur de couverture lors d'un sondage de l'ensemble de la population. Peut augmenter de façon substantielle l'accès aux jeunes et à certains autres sous-groupes (p. ex. locataires, groupes à faible revenu).	Augmente le coût de la cueillette des données, particulièrement lorsqu'un échantillon sans chevauchement est utilisé (c.-à-d. que les abonnés doubles sont éliminés de l'échantillon). Une pondération prudente est requise afin de garantir la justesse des estimations, d'autant plus que la compréhension de l'industrie en est à ses premiers balbutiements.
Taux de réponse	--	Taux de réponse inférieur avec les échantillons cellulaires. Échecs de contact et refus plus nombreux. Les techniques de conversion des refus sont moins efficaces. Il peut s'avérer plus difficile de calculer le taux de réponse, car une proportion supérieure de numéros tend à rester non résolue à la fin de la période de travail sur le terrain.
Cueillette de données	Peut réduire la durée de la période de travail sur le terrain (p. ex. si moins de compositions et de tentatives de rappel sont nécessaires pour rejoindre les jeunes).	Nécessite des protocoles spécialisés. Nécessite une formation spécialisée des intervieweurs. Nécessite de nouvelles répartitions des appels.
Coût	Peut réduire les coûts sur le terrain dans le cas de certains sous-groupes tels que les jeunes.	Coûte plus cher en général.

3. Pratiques exemplaires en matière d'intégration d'échantillons de téléphones cellulaires

Un examen des associations industrielles concernées en Amérique du Nord et en Europe a révélé l'absence de pratiques exemplaires « officielles » généralement reconnues dans le domaine de la téléphonie cellulaire et des recherches par sondage. Les renseignements contenus dans la présente section proviennent de publications diffusées par les plus importantes associations industrielles, notamment l'American Association for Public Opinion Research (AAPOR), l'Association de la recherche et de l'intelligence marketing (ARIM), l'Association européenne pour les études d'opinion et de marketing (ESOMAR) ainsi que la Marketing Research Association (MRA)^{Note de bas de page 31}. Parmi ces associations, l'AAPOR est le chef de file dans ce domaine, et même l'ARIM reconnait l'AAPOR comme la source de renseignements la plus complète sur le sujet^{Note de bas de page 32}. Il convient de noter que, au moment de rédiger ces lignes, l'American Statistical Association, Statistique Canada et le Census Bureau des États-Unis n'avaient pas publié de documents comparables.

3.1 Aperçu

Ce qui revient le plus souvent dans les publications est que le contexte évolue rapidement et que l'industrie n'a pas encore établi de consensus concernant des normes et des pratiques exemplaires. En réalité, le « Cell Phone Task Force Report » de 2010 de l'AAPOR conclut qu'il serait prématuré d'établir des normes ou des « pratiques exemplaires » pour s'attaquer aux enjeux se rapportant aux sondages par téléphone cellulaire. Le président du groupe d'étude, Paul Lavrakas (Ph.D.), un chercheur de pointe dans le domaine, a été plus direct dans sa récente déclaration : « Quiconque prétend qu'il existe une pratique exemplaire ne sait pas de quoi il parle. Nous-mêmes en tant qu'industrie n'en connaissons pas [Traduction] »^{Note de bas de page 33}. Par conséquent, le langage utilisé dans les publications examinées comprend des expressions comme « lignes directrices », « recommandations » ou « considérations ». La publication de la MRA est la seule qui utilise le terme « pratique exemplaire » en lien avec la recherche par téléphone cellulaire.

Les lignes directrices, les recommandations et les considérations proposées par ces associations portent sur tout le cycle de vie d'un projet de sondage téléphonique, du plan à la production de rapports. Bien que les détails et les particularités semblent varier d'une publication à l'autre, on observe un chevauchement important en ce qui a trait aux types de considérations ou d'enjeux abordés par ces associations. Lorsqu'il existe des différences concernant les pratiques proposées et les bases d'échantillonnage de téléphones cellulaires, ces différences sont souvent plus complémentaires que contradictoires les unes par rapport aux autres. Voici donc une analyse concernant les diverses lignes directrices, recommandations et considérations pour la recherche par téléphone cellulaire, organisée par thème ou par sujet. Rappelons qu'il ne s'agit pas de pratiques « exemplaires » universellement reconnues ou même proposées.

3.2 Considérations relatives au plan

Selon les associations chefs de file de l'industrie, les enjeux suivants devraient être pris en considération lors de la planification d'un projet de sondage par téléphone :

• Couverture et échantillonnage : L'intégration d'une base de sondage par CA de numéros de téléphones cellulaires dans un sondage téléphonique permet de réduire au minimum la probabilité d'erreurs découlant d'une couverture inadéquate de la population cible au moyen d'une base de sondage par CA de numéros de téléphones fixes. En ce qui a trait à la couverture, et à l'avantage potentiel d'intégrer la téléphonie cellulaire à un sondage grand public, il existe plusieurs enjeux clés qui doivent être pris en considération durant la phase de planification :

  • Les chercheurs doivent décider d'opter s'il s'agira d'une base de sondage double avec chevauchement (c.-à-d. sans filtrer l'échantillon en fonction du service et de l'utilisation de téléphones fixes) ou sans chevauchement (c.-à-d. filtrer l'échantillon cellulaire pour qu'il ne contienne pas les ménages TCU). À ce stade-ci, le groupe d'étude de l'AAPOR croit qu'aucune des deux bases de sondage doubles n'est privilégiée par les chercheurs.

    • Une approche avec chevauchement est moins coûteuse, mais nécessite la conception d'un système de pondération plus complexe pour tenir compte des multiples probabilités de sélection des répondants. Cela est encore plus compliqué si l'on tient compte des utilisateurs doubles qui se servent à la fois d'un téléphone cellulaire et d'un téléphone fixe. Les études indiquent que les personnes qui utilisent principalement un téléphone cellulaire et les personnes qui utilisent principalement un téléphone fixe^{Note de bas de page 34} ont tendance à répondre différemment selon le service utilisé pour communiquer avec elles lors d'un sondage. Cette situation peut entraîner une non-réponse différentielle et des résultats de sondage biaisés, si ces différences ne sont pas prises en considération dans le système de pondération.

    • Une approche sans chevauchement rend la pondération beaucoup plus simple après la collecte des données, mais constitue une option beaucoup plus coûteuse en raison de la proportion relativement faible de ménages TCU (estimée à moins de 15 % au Canada à ce moment).

  • L'achat d'un échantillon de numéros de téléphone cellulaire est une option à envisager. L'AAPOR a cerné un certain nombre d'enjeux, notamment : la méthode d'établissement de la base de sondage du fournisseur, la fréquence de la mise à jour de cette base, les types de services sans fil compris (p. ex. spécialisés, partagés, facturation particulière), l'étendue de la non-couverture et du chevauchement entre les bases de sondage pour les téléphones fixes et cellulaires du fournisseur, la façon de gérer les numéros de services partagés ainsi que les zones géographiques accessibles pour la sélection d'échantillons de même que la façon dont elles ont été déterminées. Consulter la section 4 qui porte sur les base de sondage par téléphone cellulaire au Canada.

  • Les chercheurs doivent aussi prendre une décision concernant la répartition de l'échantillon — c'est-à-dire les proportions relatives attribuées aux bases de sondage par téléphone cellulaire et téléphone fixe. À titre de référence, l'AAPOR recommande de mener suffisamment d'interviews au moyen de l'échantillon de téléphones cellulaires afin de ne pas avoir à effectuer d'importantes pondérations.

  • Un échantillonnage au sein d'un ménage est un autre facteur à considérer dans le cadre de la recherche par téléphone cellulaire. Un sondage téléphonique à CA utilise habituellement l'approche de la « date d'anniversaire la plus récente » pour une sélection aléatoire des répondants d'un ménage. Lorsqu'un répondant potentiel est joint par téléphone cellulaire, l'interview est généralement menée auprès de cette personne, à condition que cette personne réponde aux critères d'admissibilité de l'étude, étant donné que toute tentative de sélectionner un répondant peut entraîner un refus. Aux États-Unis, la plupart des organisations considèrent le téléphone cellulaire comme un appareil personnel et non pas comme un appareil appartenant à un ménage.

• Durée du questionnaire : La durée du questionnaire est un facteur important à considérer dans le cadre de toute recherche par sondage. Cependant, il revêt encore plus d'importance lorsqu'il est question d'une base de sondage par téléphone cellulaire. Même si les preuves ont tendance à être anecdotiques, certains chercheurs indiquent qu'il est plus difficile de poursuivre le sondage avec les répondants qui utilisent un téléphone cellulaire qu'avec ceux qui utilisent un téléphone fixe (c'est-à-dire un répondant qui ne termine pas le sondage). Les répondants qui utilisent un téléphone cellulaire peuvent être distraits plus facilement. Par exemple, ils peuvent être occupés à d'autres activités comme conduire, faire des achats ou faire de l'exercice. De plus, étant donné la nature « mobile » du téléphone cellulaire, l'environnement des répondants peut changer au cours de l'interview. Les répondants peuvent soudainement avoir de nombreuses distractions lorsqu'il n'y en avait aucune, leur environnement sécuritaire peut devenir un risque pour leur sécurité personnelle (p. ex. en conduisant) ou la confidentialité peut être compromise durant l'interview (c'est-à-dire passer d'un lieu privé à un lieu public). Compte tenu de ces facteurs, l'AAPOR et l'Association européenne pour les études d'opinion et de marketing recommandent aux chercheurs d'envisager la possibilité de réduire la durée des interviews menées par téléphone cellulaire par rapport à celles menées au moyen d'un téléphone fixe.

• Rémunération : Le problème lié à la rémunération des répondants à un sondage par téléphone cellulaire découle d'une préoccupation d'ordre éthique selon laquelle les chercheurs ne doivent pas causer de tort à un répondant, y compris ne pas occasionner de fardeau financier au répondant pour le compte du chercheur. Compte tenu de la nature de la facturation de la téléphonie cellulaire (c'est-à-dire que selon certains plans, les clients sont facturés à la minute), le fait de répondre à un appel entrant de sondage téléphonique peut représenter un fardeau financier. Selon le cas, ces associations recommandent que les chercheurs songent à offrir une forme de rémunération afin d'éliminer le fardeau financier potentiel associé à la participation à un sondage ou de réduire celui-ci.

• Coût : Le coût et les avantages prévus de l'intégration d'échantillons de sondage par téléphone cellulaire dans un sondage téléphonique doivent être examinés de près par les chercheurs. L'intégration d'échantillons de sondage par téléphone cellulaire peut être coûteuse (surtout lorsque les ménages TCU sont ciblés, c.-à-d. l'utilisation d'une approche de base de sondage sans chevauchement), et les avantages prévus d'une couverture plus grande pourraient ne pas justifier ce coût. Le Pew Research Center a indiqué qu'il faut environ 60 % plus de numéros de téléphone en état de marche pour mener une interview avec une base de sondage par téléphone cellulaire. Ceci est en grande partie attribuable au taux d'inadmissibilité plus élevé (p. ex. mineurs inadmissibles).

3.3 Considérations relatives à la collecte de données

La réalisation d'un sondage téléphonique à CA, par téléphone fixe et téléphone cellulaire, à base double, exige de tenir compte d'une multitude de facteurs opérationnels qui ont une incidence sur le processus de collecte de données. Ces facteurs comprennent, mais certainement sans s'y limiter, les suivants :

• La sécurité du répondant : Par-dessus tout, les chercheurs doivent prendre en considération la sécurité du répondant et prendre toutes les mesures nécessaires pour veiller à ne pas causer de tort ou de préjudices au répondant en raison de sa participation à une interview. Les répondants devraient être présélectionnés afin de s'assurer qu'il est sécuritaire et légal de mener l'interview au moment de l'appel. Par ailleurs, la possibilité de rappeler le répondant à un autre moment (plus sûr) doit être envisagée, peut-être même à une ligne de téléphone fixe.

• La qualité des données : Lors de l'élaboration de protocoles de collecte de données dans le cadre d'un sondage téléphonique à CA, par téléphone fixe et téléphone cellulaire, à base double, les chercheurs doivent porter une attention particulière à la question de la qualité des données. Si l'on communique avec un répondant qui se trouve dans un environnement qui n'est pas propice à fournir des réponses complètes et exactes (p. ex. dans un endroit public lorsqu'il s'agit de répondre à un sondage sur un sujet de nature délicate comme la santé de la personne), la qualité des données peut être compromise si le répondant n'est pas à l'aise de fournir des réponses honnêtes et exactes. Les répondants qui se trouvent dans des endroits publics ou semi-privés ne devraient pas être tenus de fournir des réponses de vive voix qui pourraient 1) les placer dans une situation comportant un risque fondé de responsabilité criminelle ou civile; 2) nuire à leur situation financière, leur employabilité ou leur réputation; ou 3) porter atteinte à leur vie privée de toute autre façon. Dans ces situations, il est généralement préférable de fixer un autre moment pour rappeler le répondant.

• Les protocoles d'appel : Étant donné que certaines personnes considèrent que leur téléphone cellulaire est un appareil personnel (ou privé), les chercheurs doivent porter une attention particulière aux préoccupations potentielles relatives à la protection des renseignements personnels. Pour cette raison, lors d'un sondage téléphonique à base double, il convient de varier les protocoles d'appels selon la base de sondage. Pour atténuer le risque d'irriter les répondants potentiels (ou d'être soupçonnés de harcèlement) dans une base de sondage par téléphone cellulaire, l'AAPOR recommande que le nombre total de tentatives d'appel se limite à un maximum de dix (idéalement variant de six à dix tentatives d'appel). De plus, le groupe d'étude sur la téléphonie cellulaire recommande que les rappels ne soient pas effectués trop fréquemment (p. ex. plusieurs tentatives d'appel dans une période de 24 heures).

• Le moment choisi pour appeler : Les téléphones cellulaires sont mobiles de par leur nature et peuvent être utilisés dans des zones géographiques autres que celle où le téléphone cellulaire a été acheté. Cela signifie qu'une inscription de numéro de téléphone cellulaire dans un fuseau horaire donné peut, au moment de l'appel de sondage, se trouver dans un autre fuseau horaire. L'AAPOR, l'Association européenne pour les études d'opinion et de marketing et la MRA recommandent de modifier les périodes d'appel afin de réduire le risque de communiquer avec un répondant qui a déménagé ou qui se trouve actuellement dans un autre fuseau horaire où il est jugé trop tôt ou trop tard pour appeler.

• La répartition des appels : L'AAPOR recommande d'adapter la répartition des appels en fonction des téléphones cellulaires. Par exemple, la règle est de répertorier un appel comme « sans réponse » après six sonneries. Cependant, lorsqu'il s'agit de téléphones cellulaires, ce nombre devrait augmenter à huit sonneries avant qu'un appel soit répertorié comme « sans réponse ». De plus, il faut analyser les nouveaux codes en fonction des résultats provisoires exclusifs aux téléphones cellulaires (p. ex. « aucun service en ce moment », « réseau occupé », « le client est dans l'impossibilité de répondre »).

• La messagerie vocale : Une pratique courante permettant de maximiser la probabilité d'interviewer un répondant à un téléphone fixe est de laisser un message vocal. Laisser un message vocal à la première tentative d'appel sur un téléphone cellulaire peut constituer un préavis important concernant le sondage. Un facteur important à considérer toutefois est de laisser ou non un numéro de rappel sur le message vocal. Les chercheurs devraient décider si les intervieweurs doivent laisser un numéro de rappel dans ce message étant donné que le numéro sortant inscrit sur l'afficheur du téléphone cellulaire pourrait ne pas être valide pour un rappel entrant.

• Les téléphones cellulaires personnels ou d'affaires : Beaucoup de répondants qui utilisent un téléphone cellulaire fourni par leur entreprise l'utilisent à la fois pour leurs appels personnels et d'affaires. Pour cette raison, les chercheurs devraient établir des règles claires et uniformisées dont les intervieweurs se serviront pour déterminer si un numéro devrait être réparti dans la catégorie « téléphone d'affaires ».

• La conversion des refus en acceptation : Les taux de refus ont tendance à être plus élevés chez les répondants qui utilisent un téléphone cellulaire que chez ceux qui utilisent un téléphone fixe. À ce titre, il est recommandé que d'ici à ce qu'une recherche définitive soit réalisée, les tentatives de conversion des refus soient limitées afin de réduire le risque d'énerver davantage les répondants qui utilisent un téléphone cellulaire. Cela est en grande partie dû au fait de rappeler des répondants qui ont déjà refusé plutôt que d'appeler d'autres membres de l'unité d'échantillonnage (ménage).

• La formation de l'intervieweur : Mener des interviews auprès de répondants qui utilisent un téléphone cellulaire est une tâche plus complexe que celle d'interviewer des répondants qui utilisent un téléphone fixe. Par conséquent, les chercheurs devraient voir à ce que les intervieweurs soient bien formés pour gérer les exigences de ces interviews et qu'ils aient les bons outils (p. ex. scénarios et autres protocoles) à portée de main pour réaliser une interview de qualité lorsqu'ils communiquent avec un répondant sur son téléphone cellulaire.

• Le calcul du taux de réponse : L'AAPOR recommande que dans le cas des sondages à base double, les taux de réponse soient calculés d'abord pour chacune des bases de sondage et ensuite pour le sondage dans son ensemble, à l'aide de pondérations qui reflètent les proportions de répartition de l'échantillonnage.

3.4 Pondération

La pondération est un autre facteur à prendre en considération et ce dernier est analysé de façon approfondie par l'AAPOR. Dans le cadre d'un sondage téléphonique à CA à base double, des pondérations sont nécessaires pour tenir compte des bases de sondage différentes. Dans le cas d'un plan avec chevauchement, les pondérations doivent tenir compte des multiples probabilités de sélection. La pondération est plus simple dans le cas d'un pan sans chevauchement. Essentiellement, le plan est considéré comme un échantillon stratifié comportant trois strates : les utilisateurs de téléphone fixe seulement, les utilisateurs doubles (principalement sans fil ou principalement à téléphone fixe) et les utilisateurs de téléphone cellulaire seulement. Les pondérations sont d'abord calculées pour l'échantillon des utilisateurs de téléphone fixe seulement (lequel comprend les utilisateurs doubles et doit prendre en considération la propension de réponse sur ce service) et pour l'échantillon des utilisateurs de téléphone cellulaire seulement séparément, puis de façon combinée. Pour ce qui est des pratiques recommandées, la documentation se fait discrète à ce sujet, sauf pour insister sur l'importance de divulguer les procédures de pondération afin que l'industrie puisse collectivement en savoir plus sur les approches les plus efficaces.

3.5 Questions légales et considérations d'ordre éthique

Tous les documents consultés insistent sur l'importance des questions légales et des considérations d'ordre éthique dans le cadre de sondages par téléphone cellulaire. Les chercheurs doivent s'assurer de se conformer aux lois existantes. Aux États-Unis, la Telephone Consumer Protection Act interdit l'utilisation d'un composeur automatique de numéros avec les téléphones cellulaires sans consentement préalable. Au Canada, il n'existe pas de loi comparable. Les questions légales comprennent notamment la conformité aux restrictions relatives aux appels sur des téléphones cellulaires (s'il y a lieu), à la messagerie texte et aux pourriels ainsi que la prise en considération des conséquences possibles de ces lois.

Les considérations d'ordre éthique comprennent notamment les suivantes :

• Les restrictions concernant l'heure de la journée pour appeler : Certaines personnes peuvent se trouver dans un autre fuseau horaire que celui que l'échantillon de sondage doit couvrir géographiquement. Par conséquent, les intervieweurs qui travaillent avec des échantillons de sondage par téléphone cellulaire devraient être formés pour connaître la façon d'expliquer poliment l'erreur commise par inadvertance de communiquer avec une personne qui se trouve dans un fuseau horaire où il est trop tôt ou trop tard.

• La prise en considération de la protection et de la confidentialité du répondant : Afin d'assurer la protection, tout chercheur qui effectue un sondage dans le cadre duquel il communique avec des personnes par téléphonie mobile doit prendre des mesures appropriées pour contribuer à assurer la protection du répondant et de toute autre personne à proximité. Il est recommandé que les chercheurs laissent le répondant déterminer lui-même s'il est en sécurité et encouragent le répondant à porter attention à sa propre protection en lui demandant directement (p. ex. « Êtes-vous dans un endroit où vous vous sentez en sécurité pour parler au téléphone et répondre à mes questions? »). Afin d'assurer la confidentialité, les répondants qui se trouvent dans des endroits publics ou semi-privés ne devraient pas être tenus de répondre de vive voix si cela peut poser un risque fondé de responsabilité criminelle ou civile, nuire à leur situation financière, leur employabilité ou leur réputation ou porter atteinte à leur vie privée de toute autre façon.

• La transmission des renseignements exacts sur l'identification de l'appelant : Étant donné que les téléphones cellulaires affichent couramment le numéro de l'appelant, les chercheurs devraient éviter la falsification par inadvertance ou volontaire de l'identification de l'appelant, que ce soit le numéro affiché ou le nom de l'appelant. La MRA recommande à tous les chercheurs d'utiliser de l'équipement téléphonique permettant de transmettre l'identification de l'appelant et de veiller à ce que le numéro de téléphone et les autres renseignements d'identification qui sont transmis permettent au destinataire de l'appel d'identifier l'appelant ou l'entité responsable de l'appel. Il est également conseillé que le numéro transmis puisse être utilisé par le répondant pour rappeler.

• La tenue à jour d'une liste d'exclusion interne : L'absence de réponse en raison d'un refus est généralement plus élevée dans le cas des sondages par téléphone cellulaire que pour les mêmes sondages faits à des téléphones fixes. Pour cette raison, les organisations qui mènent les sondages par téléphone cellulaire devraient savoir que l'éthique dicte de tenir à jour une liste d'exclusion interne des numéros de téléphone cellulaire afin de respecter le souhait de leurs propriétaires qui ont demandé ne plus être appelés par l'organisation.

3.6 Résumé et répercussions

Il existe une multitude d'enjeux associés à la réalisation de recherches par sondages auprès des utilisateurs de téléphones cellulaires. Tel qu'il a été mentionné, ces enjeux varient des considérations liées aux méthodes employées, aux préoccupations légales et d'ordre éthique, aux répercussions opérationnelles pour les firmes de sondage. Bien que les enjeux relevés dans la présente section aient des répercussions sur tout le cycle de vie d'un projet de sondage, ils ont de toute évidence une forte incidence sur la formation adéquate des intervieweurs. Cet enjeu important a été mis en évidence dans le rapport « Cell Phone Task Force Report » de l'AAPOR, mais mérite d'être répété, étant donné que d'interviewer des répondants qui utilisent un téléphone cellulaire est une tâche plus complexe que celle d'interviewer des répondants qui utilisent un téléphone fixe (p. ex. protocoles d'appel, exigences d'admissibilité, protection des répondants, etc.). Enfin, en ce qui a trait aux pratiques exemplaires, à ce stade-ci, elles sont toujours inexistantes. L'industrie de la recherche en Amérique du Nord maintient le débat sur les sondages par téléphone cellulaire et sur la meilleure façon de les intégrer afin d'obtenir des résultats de sondage représentatifs et fiables. Toute tentative par le gouvernement du Canada d'établir des pratiques exemplaires concernant les téléphones cellulaires semble pour l'instant prématurée.

4. Bases de sondage par téléphonie cellulaire au Canada

Après avoir abordé l'importance des sondages téléphoniques à base double, l'état de la pratique actuelle ainsi que les pratiques exemplaires, la question considérée maintenant est de savoir ce qui est offert au Canada dans le domaine des bases de sondage par téléphone cellulaire.

4.1 Fournisseurs d'échantillons

La majorité des fournisseurs d'échantillons au Canada ne semblent pas avoir pénétré le marché de la téléphonie cellulaire — du moins pas au moment de documenter cette étude. Selon la liste des fournisseurs d'échantillons inscrits auprès de l'ARIM (dans le cadre du Research Buyer's Guide^{Note de bas de page 35}), très peu de sociétés auraient des échantillons à vendre pour la téléphonie cellulaire.

4.2 Établissement d'une base de sondage

Il existe plusieurs façons d'établir des bases de sondage pour la téléphonie cellulaire — CA, numéros de téléphone cellulaire présélectionnés et ménages qui n'utilisent que la téléphonie cellulaire. Chaque approche a ses propres enjeux relatifs aux méthodes employées et ses répercussions financières.

4.2.1 Échantillons aléatoires

Les échantillons pour la téléphonie cellulaire les moins coûteuses à se procurer sont les bases de sondage à CA. Étant donné que les répertoires téléphoniques de numéros de téléphone cellulaire n'existent pas à l'heure actuelle, les bases de sondage par téléphone cellulaire sont générées à partir d'une liste d'échanges de numéros de téléphone cellulaire réservé existante au Canada. Une société, par exemple, répartit les échanges de numéros de téléphone cellulaire en blocs de 100 numéros, pondère l'échantillon par zone géographique et calcule ensuite la quantité de numéros nécessaires par bloc. Les numéros quant à eux sont sélectionnés de façon aléatoire par un programme informatisé. Le taux de connexion habituel est de 50 à 55 %. Ces échantillons comprendront les ménages qui n'utilisent que la téléphonie cellulaire et les utilisateurs des deux types de téléphones (cellulaires et fixes).

Les données administratives accessibles au moyen de ces bases de sondage se limitent à l'indicatif régional et au centre tarifaire. Cela signifie que le numéro de téléphone cellulaire peut être associé à une province et à la ville dans laquelle se trouve le centre de commutation d'échange téléphonique et que ces renseignements peuvent être combinés pour l'associer au numéro d'une division de recensement (DR) au Canada. Les numéros ne peuvent être associés à une plus petite zone géographique, comme une sous-division de recensement (c.-à-d. une municipalité).

4.2.2 Numéros de cellulaires en état de marche

Une autre option en matière d'échantillons pour la téléphonie cellulaire est une base de sondage fondée sur des numéros de téléphone cellulaire en état de marche. Certaines sociétés tiennent à jour une base de données de numéros de téléphone cellulaire en état de marche. Ces numéros ont été composés au préalable et les numéros de téléphone hors service ont été retirés.

4.2.3 Ménages qui n'utilisent que la téléphonie cellulaire (TCU)

La troisième option d'échantillons pour la téléphonie cellulaire est une base de sondage des ménages qui n'utilisent que la téléphonie cellulaire. L'échantillon de ces ménages peut être compilé à partir d'une base de données des numéros de téléphone cellulaire en état de marche. La seule différence est que tous ces numéros sont des numéros confirmés de ménages TCU. La sélection peut être effectuée au moyen d'un système de réponse vocale interactive. Comme pour l'échantillon de numéros de téléphone cellulaire en état de marche, certains des numéros compris dans l'échantillon acheté de ménages TCU pourraient ne plus être en service. Il s'agit du type d'échantillon de téléphone cellulaire le plus cher à l'heure actuelle, et de loin.

4.3 Conclusions et répercussions

Des échantillons pour la téléphonie cellulaire sont accessibles au Canada, mais seulement par l'entremise d'un très petit nombre de fournisseurs (au moment de rédiger ces lignes, deux fournisseurs). Bien que plusieurs types d'échantillons de numéros de téléphone cellulaire soient accessibles, seuls les échantillons aléatoires devraient être utilisés pour mener des sondages téléphoniques à CA à base double. Les ménages qui n'utilisent que la téléphonie cellulaire devraient être présélectionnés, ce qui, évidemment, fait augmenter le coût (c.-à-d. la quantité) de l'échantillon nécessaire en raison de la faible proportion de ces ménages au Canada. De plus, même si des échantillons de commodité des numéros de téléphone cellulaire en état de marche et des numéros des ménages TCU sont accessibles, et qu'ils comportent des avantages selon le type de recherche effectuée, il ne s'agit pas d'échantillons à probabilité aléatoire et ils ne produiront pas des résultats de sondage qui peuvent être considérés comme étant représentatifs de la population ciblée.

5. Conclusions et recommandations

L'enjeu que posent les sondages téléphoniques pour la téléphonie cellulaire est au cœur des discussions de la communauté de recherche sur l'opinion publique en Amérique du Nord. La tendance marquée du déclin de l'utilisation du téléphone fixe a été documentée et le consensus établi est que la proportion des ménages qui n'utilisent que la téléphonie cellulaire (TCU) continuera de croître. L'intérêt pour la question découle principalement de la préoccupation relative aux erreurs de couverture et à la possibilité de biais de non-réponse qui résulte de l'exclusion systématique d'un segment de la population en général des sondages téléphoniques nationaux.

Après avoir examiné la documentation et les études expérimentales sur le sujet, un des éléments les plus importants qui en est ressorti est que l'industrie ne cessera de changer puisque les répercussions des ménages TCU sur les recherches par sondages ne sont pas encore bien établies. Bien que tous s'entendent pour dire que le profil démographique des ménages TCU diffère de celui des ménages à téléphone fixe, on ne sait pas avec certitude où, quand et à quelle fréquence ces différences se manifestent pour ce qui est des attitudes et des opinions. De plus, aucun consensus n'a été établi concernant les approches les plus efficaces et efficientes à l'échantillonnage pour la téléphonie cellulaire et à leur intégration aux sondages téléphoniques. À l'heure actuelle, l'industrie met à l'essai, par exemple, des plans d'échantillonnage, des protocoles de collecte de données et d'interview ainsi que des questions analytiques découlant de l'échantillonnage à base de sondage double (téléphone fixe et cellulaire). À ce stade-ci, il n'existe pas d'approche méthodologique « appropriée » qui régit l'intégration de la téléphonie cellulaire aux sondages téléphoniques.

À partir de la documentation examinée, nous avons formulé les recommandations suivantes à la Direction de la recherche en opinion publique (DROP). Nous sommes conscients que certaines de ces mesures ou de ces activités pourraient déjà avoir été entreprises par la Direction, mais elles sont tout de même mentionnées dans les présentes à des fins d'exhaustivité. La DROP devrait prendre en considération les mesures suivantes :

• Ne pas établir de normes ou de pratiques exemplaires pour l'instant. Les conclusions indiquent qu'il serait prématuré pour le gouvernement du Canada d'établir un ensemble de pratiques exemplaires en matière d'utilisation d'échantillons pour la téléphonie cellulaire dans le cadre de sondages téléphoniques de recherche sur l'opinion publique commandés par le gouvernement fédéral. Tel qu'il a été mentionné, à l'exception de la MRA, aucune organisation de l'industrie n'a mis en place de pratiques exemplaires pour régir l'intégration des échantillons pour la téléphonie cellulaire aux sondages téléphoniques. De plus, même si la MRA considère que son document d'une page à l'intention des chercheurs constitue des « pratiques exemplaires », la portée de ce document est très restreinte. Il ne traite que de la conformité avec la Telephone Consumer Protection Act aux États-Unis et des lignes directrices en matière d'éthique relatives aux protocoles d'appel et à la protection du répondant.

• L'intégration de la téléphonie cellulaire aux sondages téléphoniques de recherche sur l'opinion publique devrait être considérée au cas par cas. Voici quelques lignes directrices à prendre en considération pour ce faire : 1) la nécessité d'obtenir des résultats représentatifs à l'échelle nationale; 2) le public cible; 3) le budget disponible. La planification du sondage devrait refléter une approche équilibrée qui tient compte de chacun de ces facteurs. Par exemple, si le budget est limité et que la précision statistique n'est pas prioritaire pour une étude en particulier, il peut s'avérer suffisant et correct d'exclure les téléphones cellulaires du plan d'échantillonnage.

• Concernant le public cible, les sondages téléphoniques de recherche sur l'opinion publique qui ciblent des sous-groupes de la population canadienne en particulier parmi lesquels une grande proportion de ménages TCU a été documentée (notamment les jeunes) devraient peut-être intégrer un échantillon pour la téléphonie cellulaire (dans la mesure du possible). Lorsque ces sondages n'utilisent pas d'échantillons pour la téléphonie cellulaire une justification à ce sujet ainsi qu'une description des répercussions de ce choix sur les résultats du sondage devrait nécessairement être fournie.

• Dans le cas des études qui intègrent un échantillon pour la téléphonie cellulaire, il existe plusieurs facteurs à considérer qui devraient être abordés avec les sociétés de recherche, même s'il est trop tôt pour établir des pratiques exemplaires dans ces domaines :

  • Plan d'échantillonnage : Lors de l'échantillonnage à CA, les bases de sondage à CA pour téléphones fixes et pour téléphones cellulaires se chevaucheront-elles ou est-ce qu'un processus de présélection sera utilisé pour exclure les répondants qui utilisent un téléphone fixe de l'échantillon pour la téléphonie cellulaire? La DROP devrait demander aux fournisseurs de recherche d'énoncer clairement dans leurs propositions l'approche utilisée dans le cadre de l'étude et de fournir des précisions quant à la façon de la mettre en œuvre.

  • Rémunération : Existe-t-il de nouvelles recherches ou preuves à l'appui de l'utilisation de mesures incitatives? Dans le cas contraire, si un fournisseur de recherche recommande l'utilisation de ces mesures incitatives, la DROP devrait demander au fournisseur d'expliquer la raison de cette approche étant donné que les preuves (au moment de rédiger ces lignes) indiquent que ces mesures incitatives ne sont pas rentables, bien que la recherche dans ce domaine ne soit pas définitive.

  • Protocoles d'appel : La DROP devrait demander aux fournisseurs de recherche de limiter le nombre et la fréquence de rappels lorsque des échantillons pour la téléphonie cellulaire sont utilisés afin d'éviter le harcèlement (réel ou perçu comme tel). À l'heure actuelle, l'AAPOR recommande de 6 à 10 tentatives d'appel. Il est important de prendre note qu'un parallèle peut être établi entre le nombre de rappels et les taux de réponse. En règle générale, moins le nombre de rappels est élevé, plus le taux de réponse d'un sondage est faible. Étant donné que le gouvernement du Canada souhaite maximiser les taux de réponse, l'établissement d'une règle de rappel trop restreinte irait à l'encontre de cet objectif.

  • Pondération : Même si l'industrie poursuit le débat sur la meilleure façon de pondérer les sondages qui intègrent la téléphonie cellulaire et qu'aucune approche unanime n'a été recommandée, la DROP devrait songer à : 1) aborder cette question dans ses propositions (p. ex. des pondérations seront-elles utilisées? quelle est l'approche prévue?) et 2) demander aux sociétés de recherche d'intégrer des renseignements pertinents dans la section des rapports de sondage concernant les méthodes employées (c.-à-d. de quelle façon les pondérations ont-elles été conçues et mises en application?).

• Le décalage entre les fuseaux horaires devrait être pris en considération lors de l'établissement des heures d'interview. Étant donné que les abonnés de téléphones cellulaires peuvent apporter leurs appareils de téléphonie mobile et leurs numéros avec eux dans leurs déplacements ou leurs déménagements partout au Canada, il se peut que l'on communique avec des abonnés de téléphones cellulaires à des moments inopportuns pour le répondant en raison du décalage entre les fuseaux horaires. La DROP devrait demander aux fournisseurs de préciser les heures auxquelles les interviews seront menées à partir du centre d'appel afin de veiller à ne pas communiquer avec un répondant à une heure inappropriée (p. ex. après 21 h 30, heure locale).

• La formation des intervieweurs est essentielle pour les études qui intègrent les téléphones cellulaires, compte tenu des autres facteurs et exigences (tels que la protection des répondants, la qualité des données, les questions techniques, etc.). La DROP devrait confirmer auprès des fournisseurs que les intervieweurs attitrés aux sondages pour la téléphonie cellulaire ont reçu la formation adéquate ou que cette exigence est stipulée dans les énoncés des travaux pour les enquêtes de recherche sur l'opinion publique.

• Continuer d'utiliser des sondages téléphoniques, comme les études de l'OECP, à des fins expérimentales. Ces études sont généralement normalisées pour ce qui est de la méthodologie (c.-à-d. plan d'échantillonnage et questionnaire), ce qui signifie que les données démographiques et certaines variables peuvent être suivies à long terme afin d'examiner la proportion de ménages TCU (c.-à-d. leur intégration ou non) dans les résultats de sondage.

• Afin que l'industrie au Canada, et plus particulièrement la DROP, puisse accroître l'apprentissage dans le domaine et parfaire les connaissances de base, les rapports de recherche du gouvernement du Canada pour les études qui intègrent la téléphonie cellulaire devraient divulguer entièrement les méthodes utilisées, en particulier les méthodes qui s'appliquent à l'échantillonnage de téléphones cellulaires. Cela comprend le plan d'échantillonnage, les spécifications techniques (c.-à-d. le nombre de rappels, les heures d'appel, la répartition des appels, etc.) ainsi que la façon dont les deux échantillons sont fusionnés et pondérés afin d'être représentatifs de la population cible. Il faudrait songer à intégrer cette exigence aux énoncés des travaux pour les études de recherche sur l'opinion publique ainsi qu'à l'ajouter aux Normes pour la recherche sur l'opinion publique effectuée par le gouvernement du Canada — Sondages téléphoniques.

• Surveiller la pratique actuelle dans la communauté de recherche par sondage en se tenant au courant des activités réalisées au Canada et ailleurs — en particulier aux États-Unis. Par exemple, le groupe d'étude sur la CA à base de sondage double de l'AAPOR devrait se remettre au travail en 2013. L'AAPOR a établi un besoin d'effectuer plus de recherches afin de mieux comprendre la non-réponse dans les sondages à base double (et la possibilité de biais) ainsi que la façon la plus efficace de communiquer avec les utilisateurs à la fois de téléphonie cellulaire et de téléphone fixe, parmi d'autres considérations. Compte tenu de cette demande de recherche et des efforts de l'AAPOR dans ce domaine, on pourrait s'attendre à obtenir de nouvelles données sur le domaine assez régulièrement dans un avenir rapproché.

• Assurer le suivi des initiatives législatives au Canada qui pourraient avoir des répercussions sur l'échantillonnage de téléphones cellulaires. Rappelons que la loi aux États-Unis (c.-à-d. la Telephone Consumer Protection Act) interdit la composition automatique de numéros de téléphone cellulaire (tous les numéros doivent être composés de façon manuelle) sans le consentement préalable du propriétaire du téléphone cellulaire à ce qu'on communique avec lui de cette manière.

• Envisager un partenariat avec l'ARIM, l'association de cette industrie au Canada, afin d'explorer les enjeux relatifs aux ménages TCU et les répercussions de la téléphonie cellulaire dans divers domaines. Par exemple, l'AAPOR a indiqué que les codes de répartition des appels normalisés ainsi que les calculs de taux de réponse pourraient nécessiter un réexamen afin d'intégrer les téléphones cellulaires. De la même manière, les protocoles de rappel, la formation des intervieweurs et les stratégies de conversion des refus pourraient aussi nécessiter une redéfinition pour les échantillons pour la téléphonie cellulaire.

• Prévoir d'autres discussions avec Statistique Canada pour apprendre de l'expérience de cette organisation dans le domaine. En tant que bureau national de statistique du Canada dont le mandat consiste à « fournir des renseignements statistiques » et « promouvoir l'utilisation de pratiques et de normes statistiques reconnues », il va de soi que Statistique Canada explore l'incidence de la téléphonie cellulaire sur les sondages téléphoniques d'une multitude de points de vue, c'est-à-dire l'échantillonnage, les protocoles d'appel, l'erreur de mesure, le biais de non-réponse, etc. À ce titre, beaucoup de leçons peuvent être tirées des initiatives expérimentales de Statistique Canada dans ce domaine ainsi que de l'analyse spécialisée de cet organisme et des commentaires qui contribuent aux connaissances méthodologiques de base de la communauté de recherche internationale. En plus des méthodes et des pratiques de Statistique Canada dans le domaine de la téléphonie cellulaire, il pourrait être utile pour la DROP d'établir une forme d'échange de renseignements avec Statistique Canada, p. ex. identifier une personne-ressource au sein de l'organisme et entretenir une relation de travail (informelle ou autre) mutuellement avantageuse.

• L'échantillonnage de téléphones cellulaires comporte des répercussions financières. Les données obtenues des États-Unis indiquent que les échantillons pour la téléphonie cellulaire sont à peu près deux fois plus cher que les échantillons pour les téléphones fixes, et cela fait augmenter le dédoublement lors de l'utilisation de plans d'échantillonnage à base de sondage double sans chevauchement. Aux États-Unis, la loi qui interdit la composition automatique des numéros de téléphone cellulaire (ce qui n'est pas le cas au Canada) a une incidence sur le coût. Même si la composition automatique est permise au Canada, les échantillons pour la téléphonie cellulaire sont quand même plus chers que pour les interviews menées au moyen de téléphones fixes. À l'avenir, les ministères et les organismes fédéraux devraient tenir compte de ce fait et être prêts à ajuster les budgets alloués aux projets de sondages téléphoniques de recherche sur l'opinion publique afin de couvrir les coûts supplémentaires de l'échantillonnage de téléphones cellulaires. Une transition vers l'intégration des échantillons pour la téléphonie cellulaire sans budget suffisant aura des répercussions négatives sur la qualité des recherches par sondage.

Annexe

Sources consultées et œuvres citées

• AAPOR. (2010). New Considerations for Survey Researchers When Planning and Conducting RDD Telephone Surveys in the U.S. With Respondents Reached via Cell Phone Numbers (disponible en anglais seulement).

• AAPOR. (2008). Guidelines and Considerations for Survey Researchers When Planning and Conducting RDD and Other Telephone Surveys in the U.S. With Respondents Reached via Cell Phone Numbers. (Version PDF 141 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Alanya, A. et De Keulenaer, F. (2012). A screening or overlapping dual frame approach for telephone surveys in Europe, document présenté lors de la RC33 Eighth International Conference on Social Science Methodology, Sydney, Australie, cité par Lavrakas, P. (2012). cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• ARIM. (2007). Cell Phones and Surveys: Issues of Interest to Field Operations (Version PDF 480 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Benford, R., Tompson, T., Fleury, C., Feinberg, G., Feinberg, B., Speulda, N., et Weber, A. (2009). Cell Phone and Landline — Considerations for Sample Design, Estimates, Weighting, and Costs, document présenté lors de la 64^th Annual Conference of the American Association for Public Opinion Research : Public Choices in Changing Times, du 14 au 17 mai 2009, Hollywood, Floride.

• Blumberg, S. et Luke, J. (2010a). Wireless Substitution: Early Release of Estimates From the National Health Interview Survey, de janvier à juin 2010 (Version PDF 332 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Blumberg, S. et Luke, J. (2010b). Wireless Substitution: Early Release of Estimates From the National Health Interview Survey, de juillet à décembre 2009 (disponible en anglais seulement).

• Brick, J.M., Cervantes, I.F., Lee, S. et Norman, G. (2001). Erreurs non dues à l'échantillonnage dans les enquêtes téléphoniques à base de sondage double (Version PDF 224 Ko) (Aide pour les fichiers PDF) (juin 2011), vol. 37, n^o 1, p.1 à 12, produit n^o 12-001-X au catalogue de Statistique Canada, Division des méthodes d'enquêtes auprès des entreprises (juin 2011).

• Brick, J.M., Edwards, W.S., et Lee, S. (2007). Sampling Telephone Numbers and Adults, Interview Length, and Weighting in the California Health Interview Survey Cell Phone Pilot Study, Public Opinion Quarterly. Public Opinion Quarterly, vol. 71, p. 793 à 813.

• Brick, J.M., Dipko, S., Presser, S., Tucker, C. et Yuan, Y. (2006). Non-response Bias in a Dual Frame Sample of Cell and Landline Numbers, Public Opinion Quarterly, Public Opinion Quarterly, vol. 70(5), p. 780 à 793.

• Call, K. (2012). Increasing response rates in cell frames: Results from an incentive and voice mail experiment (Version PDF 468 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement), une présentation de l'AAPOR, cité par Lavrakas (2012).

• Canadian Radio-Television and Telecommunications Commission (CRTC). 2010, Naviguer dans les eaux de la convergence : Tableau des changements au sein de l'industrie des communications canadiennes et des répercussions sur la réglementation, projection du Convergence Consulting Group, note de bas de page n^o 62.

• Christian, L., Keeter, S., Purcell, K. et Smith, A. (2010). Assessing Cell Phone Noncoverage Bias Across Different Topics and Sub-groups, document présenté lors de la 65th Annual Conference of the American Association of Public Opinion Research: Opportunity through Diversity, du 13 au 16 mai 2010, Chicago, Illinois.

• Christian, L., Keeter, S., Purcell, K. et Smith, A. (2010). Assessing the Cell Phone Challenge (PDF Version 124 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Diop, A., Kim, Y., Holmes, J. et Guterbock, T. (2008). Prince William County Cell Phone Pilot Survey [A Supplement to the 2007 Citizen Satisfaction Survey]: Summary Report of Results. Center for Survey Research, mars 2008.

• EKOS/Arcturus Solutions (2008). Enquête sur les ménages utilisant uniquement la téléphonie cellulaire—Projet de nouvelles technologies (Web 2.0) et de communication du gouvernement du Canada, POR-300-07, préparé pour Travaux publics et Services gouvernementaux Canada, Ottawa, Canada.

• ESOMAR (2010). Guideline for Conducting Survey Research via Mobile Phone (Version PDF 140 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement), World Research Codes and Guidelines.

• Gallup (s.d.). Does Gallup call cell phones? (disponible en anglais seulement).

• Guterbock, Holmes, Bebel et Furia (2012). Why We No Longer Need Cell Phone Incentives, présentation de l'AAPOR, cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Harwood, J. (2012). Pollsters Struggle to Pin Down the Right (Cell) Number (disponible en anglais seulement), New York Times, le 5 août 2012.

• Hui, S., Pierannunzi1, C. et Balluz, L. (2011). The Impact of a Mixed-mode Data Collection Design on Response and Non-response Bias on a RDD Landline Telephone Survey (Version PDF 172 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Keeter, S. (2011). Adding Cell Phones to Your Telephone Surveys, présentation préparée par Scott Keeter pour la série de webinaires de l'AAPOR, le 25 août 2011.

• Keeter, S. (2006). The Cell Phone Challenge to Survey Research (disponible en anglais seulement), le 15 mai 2006

• Keeter, S. (2006). Cell-Only Voters Not Very Different (disponible en anglais seulement), le 26 octobre 2006.

• Keeter, S., Dimock, M. et Christian, L. (2010). The Growing Gap between Landline and Dual Frame Election Polls (Version PDF 152 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Keeter, S., Kennedy, C., Clark, A., Tompson, T. et Mokrzycki, M. (2008). Calling Cell Phones in '08 Pre-Election Polls (disponible en anglais seulement).

• Keeter, S., Kennedy, C., Clark, A., Tompson, T. et Mokrzycki, M. (2007). What's Missing from National Landline RDD Surveys? The Impact of the Growing Cell-Only Population, Public Opinion Quarterly, vol. 71, p. 772 à 792.

• Kelly, J., Montgomery, R., Barron, M. et Koppelman, M. (2012). "To Screen or Not to Screen: Cell Phone Only vs. Take All Design for RDD Landline/Cell Surveys", document présenté lors de la RC33 Eighth International Conference on Social Science Methodology, Sydney, Australie. cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Kennedy, C. (2010). Non-response and Measurement Error in Mobile Phone Survey (Version PDF 1.05 MB) (Aide pour les fichiers PDF) (disponible en anglais seulement), thèse de doctorat (méthodologie de sondage), University of Michigan, Ann Arbor.

• Kennedy, C. (2007). Evaluating the effects of screening for telephone service in dual frame RDD Surveys, Public Opinion Quarterly, vol. 71, p. 750 à 771.

• Kuusela, V., Callegaro, M. et Vehovar, V. 2007. The influence of mobile telephones on telephone surveys, In J. Lepkowski, C. Tucker, M. Brick, E. De Leeuw, L. Japec, P.J. Lavrakas, M. Link et R. Sangster (Eds.), Advances in Telephone Survey Methodology. Hoboken, New Jersey, Wiley, p. 87 à 112.

• Lavrakas, P. (2012). Recent Developments and Emerging Issues in Dual Frame RDD Surveying, présenté le 17 juillet 2012 lors du Social Research Centre (SRC) Workshop: Telephone Surveys and the Mobile Phone Only Household, Melbourne, Australie. cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement)

• Lavrakas, P. (2011). Is the Exclusion of Mobile Phones from Telephone Surveys a Problem: The U.S. Experience (Version PDF 1.34 MB) (Aide pour les fichiers PDF) (disponible en anglais seulement) présentation préparé pour l'Australian Mobile Phone Survey Workshop, Melbourne, Australie.

• Lavrakas, P., Steeh, C., Shuttles, C. et Fienberg, H. (2007). The State of Surveying Cell Phone Numbers in the United States: 2007 and Beyond, Public Opinion Quarterly, 2007, vol 71:5, p. 840 à 854.

• Lee, S., Brick, J.M., Brown, E.R, et Grant, D. (2010). Growing Cell-Phone Population and Noncoverage Bias in Traditional Random Digit Dial Telephone Health Surveys, Health Services Research, août 2010, vol. 45(4), p. 1121 à 1139.

• Léger Marketing. (2011). Cellular-Only Householders vs. Landlines: Are there Attitudinal Differences?, document présenté Barry Davis lors de la MRIA 2011 National Conference: Ripe with Innovation, du 29 au 31 mai 2011, Kelowna, Colombie-Britannique.

• Link, M.W., Battaglia, M.P., Frankel, M.R., Osborne, L. et Mokdad, A.H. (2007). Reaching the U.S. Cell Phone Generation: Comparison of Cell Phone Survey Results With an Ongoing Landline Telephone Survey, Public Opinion Quarterly, vol. 71(5).

• Lutz, G. et Losch, M. (2012). Distractions, Privacy, Costs: What Are Cell Phone Respondents Concerned About?, une présentation de l'AAPOR, cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• MRA (s.d.). Calling Cell Phones: Best Practices for Researchers (Version PDF 32 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• NADbank (s.d.). Cellphone-Only Household Sample Added to Major Markets (disponible en anglais seulement).

• Nair, V. et Gentry, R. (2012). The Impact of Pre-placement Incentive on Non-Response in Cell Phone Surveys, une présentation de l'AAPOR, cité par Lavrakas, P. (2012) (Version PDF 872 Ko) (Aide pour les fichiers PDF) (disponible en anglais seulement).

• Pew Research Center (2012). Assessing the Representativeness of Public Opinion Surveys (disponible en anglais seulement), le 15 mai 2012.

• SM Research (s.d.). Brochure.

• Statistique Canada (2011). ARCHIVÉE Enquête sur le service téléphonique résidentiel. Le Quotidien, décembre 2010.

• Weinger, M. (2012). Gallup ups cell-phones to 50 percent. Politico, le 10 octobre 2012.

• Witt, L., Conrey, F. et ZuWallack, R. 2009. Out and About: An Evaluation of Data Quality in Cell Phone Surveys, document présenté lors de la 64^e Conférence annuelle de l'American Association for Public Opinion Research : Public Choices in Changing Times, du 14 au 17 mai 2009, Hollywood, Floride.