Recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte et à la transition de mode pour le gouvernement du Canada

Rapport final

Table des matières

• Sommaire
• 1. Introduction
• 2. Sondages réalisés pour le gouvernement du Canada
• 3. Ouvrages de tiers
• 4. Recherche expérimentale interne d'EKOS
• 5. Pratiques exemplaires et leçons apprises

Le contenu exprimé dans ce document représente les conclusions de l'auteur et non pas nécessairement ceux de Travaux publics et Services gouvernementaux Canada.

Sommaire

Introduction

Récemment, de nombreux débats ont eu lieu sur les avantages potentiels associés aux méthodes à mode mixte pour la réalisation d'une recherche en sciences sociales. Compte tenu de cette situation, Travaux publics et Services gouvernementaux Canada a confié aux Associés de recherche EKOS le mandat d'effectuer une recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte pour le gouvernement du Canada. Pour les besoins de cette étude, un sondage à mode mixte signifie un sondage qui est fondé sur une combinaison d'un minimum de deux méthodes (dans le présent cas, par téléphone et en ligne) pour la collecte de données.

L'approche adoptée dans le cadre de cette recherche comprend un examen approfondi de documents pertinents, notamment les rapports de recherche en opinion publique du gouvernement du Canada publiés depuis 2010 sur le site Rapports de recherches sur l'opinion publique de Bibliothèque et Archives Canada, ainsi que d'autres sources autorisées sur le Web, et de publications universitaires et d'associations de l'industrie.

Les principales constatations de cet examen sont précisées ci-dessous et les conclusions de l'étude sont décrites plus en détail ultérieurement dans le présent rapport.

Sondages réalisés pour le gouvernement du Canada

Quatre cent cinquante-et-un rapports de recherche sur l’opinion publique sur le site de Bibliothèque et Archives Canada ont été examinés par EKOS. Nous décrivons ci-dessous certains des résultats et conclusions les plus frappants découlant de notre examen de ces rapports.

Limites des sondages réalisés pour le gouvernement du Canada

Selon notre examen, il semble très difficile de déterminer tous les coûts associés à la réalisation des sondages à mode mixte par rapport aux sondages à mode de collecte unique, et ce, pour un certain nombre de raisons :

• Bien que le mode de sondage soit un facteur principal du coût, d'autres facteurs importants comprennent la longueur du sondage, la taille de l'échantillon et les types de questions posés (p. ex., questions ouvertes par rapport à questions fermées) — qui varient grandement d'un sondage à l'autre.
• Bon nombre des études examinées comprenaient un élément qualitatif (p. ex., groupes de discussion, entrevues auprès de répondants clés); cependant, seulement un budget total global est fourni.
• Plusieurs des études examinées ne comportent aucun budget.

Notre examen révèle également qu'il est difficile de comparer des taux de réponse entre les sondages à mode unique et les sondages à mode mixte, puisque les sondages téléphoniques à mode unique sont généralement fondés sur la composition aléatoire (CA) tandis que les sondages à mode mixte font normalement appel aux panels de recherche.

Notre examen des travaux du gouvernement du Canada permet de suggérer qu'il ne semble pas y avoir une différence importante entre ces deux méthodes de sondage pour ce qui est du temps passé sur le terrain. Cependant, il y a lieu de noter que les rapports ne comprenaient aucune information sur le temps consacré à la conception et la programmation; il est donc difficile d'évaluer avec précision l'actualité des sondages à mode mixte par rapport aux sondages à mode unique.

Enfin, très peu de sondages justifient le recours à une méthode en particulier. Les rapports qui fournissent une explication à cet égard citent souvent le coût ou le besoin de cohérence avec des versions précédentes du sondage. Dans la plupart des cas, les objectifs de la recherche ont permis de déduire les motifs de l'utilisation d'un sondage à mode mixte.

Malgré ces limites et mises en garde, notre examen des sondages du gouvernement du Canada effectués au cours des dernières années permet de fournir un aperçu des raisons qui motivent l'utilisation des sondages à mode mixte. Voici les principales raisons du recours aux sondages à mode mixte (elles sont décrites en détail plus loin dans le présent rapport) :

1. Coût et champ d'application
2. Atteinte des segments de la population difficiles à joindre
3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible
4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne
5. Représentations visuelles

En outre, notre examen semble indiquer que dans certaines circonstances, il est avantageux d'utiliser une méthode à mode mixte et que dans d'autres circonstances, cette méthode est inappropriée. Une des principales raisons du recours à une méthode à mode mixte est de surmonter les problèmes de champ d’application liés aux sondages en ligne. En 2010, selon l'Enquête canadienne sur l'utilisation d'Internet, environ deux ménages canadiens sur dix n'avaient pas accès à Internet. Afin d'assurer une représentativité complète dans les sondages en ligne, il faudrait offrir aux répondants potentiels n'ayant pas accès à Internet un autre moyen de répondre (p. ex., par courrier, par téléphone), en faisant ainsi des sondages à mode double. Une autre raison clé motivant le recours à une méthode à mode mixte est de stimuler les taux de réponse et de réduire le biais de non-réponse, tout en veillant à ce que le coût du sondage soit raisonnable. En outre, la recherche indique qu'en offrant plus d'un mode de collecte de données, le sondage est plus attrayant pour le répondant.^{Note de bas de page 1} Cela est particulièrement utile lorsqu'il faut atteindre le plus grand nombre possible de personnes dans le cadre du sondage (p. ex., un sondage sur la satisfaction de la clientèle, un sondage de spécialistes dans un domaine particulier).

Toutefois, dans certains cas, il semble que la présence d'intervieweurs peut créer un biais de désirabilité sociale. Les répondants sont plus susceptibles d'exagérer ou de faire une déclaration trompeuse concernant leurs choix de style de vie ou leurs points de vue sur des enjeux controversés lorsqu'ils parlent à des intervieweurs par rapport à remplir un questionnaire anonyme (p. ex., en ligne).^{Note de bas de page 2} Ces constatations suggèrent qu'un sondage à mode unique (en ligne) pourrait mieux convenir (p. ex., un sondage un sur la santé) lorsqu'il faut poser de telles questions (cet enjeu est discuté plus en détail ci-dessous et dans le reste de ce rapport). 

Ouvrages de tiers

Nous avons aussi procédé à l'examen d'ouvrages de tiers sur les sondages à mode mixte. Nous avons constaté que les sondages téléphoniques en ligne ont fait l'objet de seulement une petite partie des recherches publiées. Les conclusions et incidences de cet examen sont résumées ci-après, en fonction des principaux enjeux soulevés dans les ouvrages.

Coûts

Bien que peu de documents font état des coûts spécifiques, selon la grande majorité des études, le coût lié à la réalisation d'un sondage à mode mixte est constamment inférieur à celui d'un sondage mené exclusivement par téléphone.

Effets du mode de collecte de données en ligne et par téléphone

De Leeuw (2005)^{Note de bas de page 3} a examiné la documentation existante sur les effets des sondages à mode mixte. Selon l'auteure, il y a des différences marquées entre les modes de sondage lorsque les questions sont de nature délicate. Tout particulièrement, elle a constaté que les réponses étaient plus socialement souhaitables (et moins cohérentes) pour les modes avec intervieweur. Toutefois, elle a aussi constaté que ces modes donnaient lieu à des réponses plus détaillées lorsque des questions ouvertes étaient posées. L'auteure insiste sur la nécessité de fournir un « stimulus » équivalent entre les modes et souligne que cette équivalence n'est pas toujours respectée. Par exemple, dans le cadre d'un sondage téléphonique, les intervieweurs peuvent ne mentionner que les pôles dans une échelle de sept points (c’est-à-dire 1 et 7), tandis que l'échelle complète peut être utilisée dans une version en ligne.

Fricker et coll. (2005)^{Note de bas de page4} ont réalisé une expérience dans le cadre de laquelle on attribuait de manière aléatoire un sondage en ligne ou téléphonique à des répondants ayant accès à Internet. Cette étude a permis de conclure que pour ces deux types de sondage, il n'y avait aucune différence entre les réponses concernant des questions ayant trait aux attitudes et qui n'étaient pas de nature délicate. En outre, il n'y avait pas de différences entre les modes pour ce qui est des tendances à l'acquiescement.^{Note de bas de page 5} Les répondants en ligne ont toutefois obtenu un meilleur pointage en ce qui a trait aux questions sur les connaissances. Les auteurs suggèrent que cela pourrait reposer sur le fait que ces répondants pouvaient relire les questions et répondre à leur propre rythme.

Schonlau et coll. (2004)^{Note de bas de page 6} ont examiné les effets du mode de collecte de données entre les sondages en ligne et les sondages téléphoniques. Cette étude a révélé qu'il existe un biais de désirabilité sociale parmi les répondants au sondage téléphonique concernant les questions de nature délicate. Tout particulièrement, selon cette étude, les répondants au sondage téléphonique sont beaucoup plus susceptibles d'évaluer leur santé comme étant « excellente » plutôt que simplement « très bonne ». Fait intéressant, cet écart disparaît lorsque les catégories « excellente » et « très bonne » sont regroupées. Cependant, il faut noter que l'échantillon en ligne a été établi au moyen d'un panel non probabiliste à participation volontaire; par conséquent, ces résultats devraient être utilisés avec circonspection.

Greene et coll. (2008)^{Note de bas de page 7} ont effectué une méta-analyse de quatre études liées à la santé qui mettaient en contraste les études en ligne et téléphoniques. Toutes ces études ont révélé un biais de désirabilité sociale parmi les répondants au sondage téléphonique.

Réduction du biais de non-réponse

Selon notre examen, un des principaux avantages d'un sondage à mode mixte est un accroissement du taux de réponse et une diminution des erreurs liées à la non-réponse. Il faut toutefois faire une distinction importante à ce sujet. Le fait de donner aux répondants un choix de modes de sondage ne garantit pas nécessairement une augmentation des taux de réponse. Une expérience faite par Dillman, Clark et West (1994)^{Note de bas de page 8} a permis de révéler que le taux global de réponses n'a pas augmenté même si les répondants avaient le choix entre un sondage téléphonique et un sondage postal. Dans le même ordre d'idées, une méta-analyse de neuf sondages en ligne-postaux effectuée par Fricker et Schonlau (2002) n'a pas permis de conclure que le fait de laisser aux personnes le choix entre un mode « conventionnel » et un mode en ligne donnait lieu à des taux de réponse plus élevés.^{Note de bas de page 9} Par contre, il peut être utile d'attribuer à l'avance un mode de sondage aux répondants en fonction de leur préférence (si celle-ci est connue) : Dillman et coll. (2009)^{Note de bas de page 10} affirment qu'offrir aux répondants leur mode de sondage privilégié augmente les taux de réponse.

De plus, dans le cadre des études qui consistent à encourager à répondre à un mode et ensuite à faire la transition à un autre mode (c'est-à-dire un modèle séquentiel à mode mixte), s'il y a lieu, il y avait une augmentation des taux de réponse et une diminution du biais de non-réponse. Par exemple, Dillman et coll. (2001)^{Note de bas de page 11} ont fait l'expérience de faire la transition d'un sondage téléphonique à un sondage postal, et d'un sondage postal, en ligne ou à l'aide de la technologie de réponse vocale interactive (RVI) à un sondage téléphonique. Ils ont constaté que ce type de transition de mode peut améliorer les taux de réponse et réduire les biais de non-réponse de manière considérable (dans le présent cas, les suivis téléphoniques ont permis d'augmenter les taux de réponse de 13 pour 100 à 45 pour 100^{Note de bas de page 12}).

Traitement des données manquantes

Greene et coll. (2008) ont également examiné les différences qui existent entre les données manquantes des divers modes. Dans le cadre de cette étude, on a précisément offert aux répondants en ligne l'option de laisser tomber une question, contrairement aux répondants au sondage téléphonique (ces derniers pouvaient laisser tomber la question, mais ils n'ont pas été informés que c'était une option). Pour la plupart des questions, le niveau de données manquantes était très bas, peu importe le mode de sondage. Cependant, dans deux circonstances, les répondants téléphoniques étaient beaucoup moins susceptibles d'offrir une réponse valide : 1) répondre à des questions de connaissance relativement difficiles, et 2) répondre à des questions sur un problème de santé hypothétique. Les auteurs ont indiqué que ces répondants ont certainement choisi de laisser tomber ces questions en raison d'un sentiment d'incertitude ou de malaise à l'égard des questions.

Tâches de réponse

Dans la documentation, on précise que lorsqu'on demande aux répondants d'effectuer une tâche (p. ex., « choisir tous les énoncés pertinents »), cette tâche doit être uniforme dans tous les modes de sondage. La tâche de réponse ne doit pas être modifiée même si la question est adaptée pour différents modes. Par exemple, une version auto-administrée d'un sondage peut comprendre une question à laquelle il faut « indiquer toutes les réponses pertinentes » tandis qu'une version administrée par un intervieweur peut comprendre une série de questions avec réponses par « oui » ou par « non ». En modifiant la tâche du répondant, les deux tâches ne produisent pas de résultats comparables.

Fournir des exemples

Martin et coll. (2007) ^{Note de bas de page 13} soutiennent qu’en ce qui concerne les sondages à mode mixte dans le cadre desquels des exemples sont lus ou montrés aux répondants, il est important de ne pas mettre les exemples derrière des hyperliens puisqu'ils ne sont accessibles que dans la partie en ligne du sondage. Lorsqu'il s'agit d'exemples où les intervieweurs doivent « lire au besoin » (p. ex., les intervieweurs doivent lire les exemples seulement lorsque les répondants sont incertains ou perplexes), les auteurs affirment toutefois que les hyperliens peuvent favoriser une exposition équivalente au matériel de la partie en ligne du sondage.

Un autre facteur à considérer pour les sondages à mode mixte est le traitement des questions qui comprennent de longues listes d'exemples. Selon Hunter et Landreth (2006)^{Note de bas de page 14}, lorsque les intervieweurs doivent lire une longue liste d'exemples, les répondants les interrompent souvent quand ils reconnaissent le type de réponse souhaité ou entendent une réponse particulière qui s'applique à eux. Puisque ce problème ne se pose pas avec les sondages auto-administrés; ces types de questions ne sont pas susceptibles d'être posés de manière uniforme dans les sondages auto-administrés et les sondages administrés par un intervieweur.

Uniformité des éléments visuels

Aucune étude officielle n'a été réalisée au sujet des effets des caractères typographiques spéciaux (gras, soulignement, majuscules, italique, etc.), même si certains auteurs ont affirmé que l'utilisation ces caractères devrait être uniforme pour tous les modes. Dillman et coll. (2005)^{Note de bas de page 15} soutiennent qu'il faudrait recourir aux caractères typographiques (gras, soulignement, majuscules, italique, etc.) de manière uniforme au sein des questionnaires. En outre, Martin et coll. (2007)^{Note de bas de page 16} soulignent que ces caractères doivent être utilisés de manière cohérente non seulement au sein des modes, mais également entre les différents modes, lorsque cela est possible. Les auteurs précisent aussi que dans certains cas, l'uniformité n'est pas toujours possible. Mis à part le fait évident que les caractères typographiques ne s'appliquent pas aux sondages téléphoniques, les auteurs font remarquer que la convention liée aux hyperliens décourage l'utilisation du soulignement pour des besoins autres que les hyperliens dans les formulaires Internet.

Randomisation des catégories de réponses

 Krosnick et Alwin (1987)^{Note de bas de page 17} ont constaté que pour ce qui est des modes de sondages auto-administrés, les répondants ont tendance à traiter de manière plus approfondie les éléments figurant au début d'une liste de catégories de réponses et à examiner plus rapidement le reste des éléments dans la liste. Par conséquent, les répondants des sondages auto-administrés sont plus susceptibles de choisir les premières options (ce phénomène s'appelle l'effet de primauté). En revanche, dans les sondages administrés par un intervieweur, les répondants n'ont généralement pas suffisamment de temps pour traiter toutes les catégories de réponses lues par l'intervieweur; par conséquent, les dernières catégories entendues sont plus susceptibles d'être retenues. Donc, dans le cadre de ces sondages, les répondants ont tendance à choisir la plupart du temps la dernière option de réponse (ce phénomène s'appelle l'effet de récence). Cette constatation suggère que la randomisation des catégories de réponses est particulièrement importante pour les sondages à mode mixte qui utilisent une combinaison de modes auto-administrés et administrés par un intervieweur (p. ex., téléphone et en ligne).

Recherche expérimentale interne d'EKOS

EKOS a également réalisé des tests expérimentaux sur l'incidence des méthodes de sondage à mode mixte (ainsi que d'autres questions de méthodologie) au cours des dernières années.

En décembre 2012, EKOS a mené deux sondages identiques au moyen de modes différents et a comparé les résultats. Un sondage a été effectué exclusivement au moyen de la réponse vocale interactive (RVI). Le second était un sondage à mode mixte qui comprenait un volet en ligne et un volet RVI. Les résultats de cette analyse révèlent que les répondants au sondage mené à l'aide de la technologie RVI avaient systématiquement plus tendance à exprimer de la satisfaction à l'égard de l'avenir de la société; ils étaient plus susceptibles d'avoir confiance dans les établissements démocratiques du Canada et moins susceptibles de percevoir la classe moyenne du Canada comme étant en déclin. Fait intéressant, ces répondants étaient également plus susceptibles de se voir comme étant pauvres ou faisant partie de la classe ouvrière et, peut-être pour cette raison, étaient plus pessimistes au sujet de leur perspective financière personnelle. En outre, les répondants au sondage ayant recours à la RVI seulement étaient beaucoup plus susceptibles de laisser tomber des questions.

Dans le cadre d'une étude pour la conférence Net Gain 4.0 de l'Association de la Recherche et de l'Intelligence Marketing (ARIM), EKOS a réalisé simultanément deux sondages en ligne — un au moyen d'un panel probabiliste où les répondants sont recrutés de manière aléatoire par téléphone (à fil et cellulaire), et l'autre au moyen d'un panel à participation volontaire où les répondants peuvent consulter le site Web de l'entreprise et s'inscrire comme membre du panel. Les résultats révèlent deux constatations importantes. Tout d'abord, les membres du panel en ligne à participation volontaire affichent une incidence substantiellement plus élevée de répondants professionnels qui sont membres de multiples panels et qui répondent à un grand nombre de sondages en ligne à la recherche des diverses mesures incitatives financières. Ensuite, les membres de ce panel avaient un revenu faible non représentatif et avaient tendance à être de très grands utilisateurs d'Internet. Lorsque les résultats des sondages ont été comparés à des points de référence externes (comme les taux de tabagisme, les titulaires d'un passeport, etc.), les membres du panel probabiliste avaient constamment de meilleurs résultats que leurs homologues volontaires. De plus, les répondants au sondage à participation volontaire avaient systématiquement plus tendance à échouer les contrôles de qualité (comme la rapidité, la capacité à suivre des instructions, etc.).^{Note de bas de page 18} Ces résultats appuient la proposition selon laquelle la validité externe des échantillons fondés sur la probabilité est plus élevée que celle des échantillons à participation volontaire.

Pratiques exemplaires et leçons apprises

Selon notre examen des études du gouvernement du Canada, des ouvrages de tiers et de notre propre recherche interne, nous présentons les pratiques exemplaires et les leçons apprises ci-après en ce qui concerne les méthodes à mode mixte (cette liste est décrite plus en détail dans le dernier chapitre du présent rapport).

• Les principales raisons du recours aux sondages à mode mixte sont les suivantes :
  • Coût et champ d'application
  • Atteinte des segments de la population difficiles à joindre
  • Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible
  • Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne
  • Représentations visuelles
• La conception de sondages qui peuvent être menés de manière identique dans les deux modes afin de pouvoir déterminer avec plus d'exactitude les problèmes liés au coût et à la l'échéancier.
• Éviter les questions sur le style de vie ou suscitant la controverse si les sondages téléphoniques constituent un des modes de sondage (voir le chapitre 3 pour en savoir plus à ce sujet).
• Il faut éviter les questions ayant la possibilité de créer un biais de désirabilité sociale dans le cadre des sondages à mode mixte qui dépendent à la fois d'intervieweurs en direct et de questionnaires auto-administrés (p. ex., sur l'état de santé et les choix de modes de vie).
• Lorsqu'il est nécessaire de poser des questions sur l'état de santé et les choix de modes de vie, celles-ci devraient porter sur des événements objectifs (par exemple, poser des questions sur des diagnostics faits récemment par un médecin plutôt que de demander aux répondants d'évaluer leur santé).
• Il faut éviter les questions de type « vrai ou faux » (connaissance) dans les sondages à mode mixte.
• Dans le cadre d'une étude à plusieurs modes, il est important d'élaborer des sondages qui sont identiques pour chaque mode.
• Dans les sondages à mode mixte avec un élément en ligne, il faut afficher des exemples à l'écran plutôt que d'avoir à cliquer sur des hyperliens.
• En ce qui concerne les sondages à mode mixte avec un élément administré par un intervieweur et un élément auto-administré, les listes d'exemples devraient être courtes et présentées dans le même ordre.
• Les caractères typographiques spéciaux devraient être uniformes pour tous les modes.
• La randomisation des catégories de réponses, bien qu'elle soit importante pour presque tous les types de sondage, revêt une importance particulière dans les sondages à mode mixte (téléphoniques et en ligne).
• Lorsque les options de laisser tomber une question sont explicitement offertes aux répondants dans un mode, elles doivent l'être de façon uniforme dans tous les modes.
• Des panels probabilistes en ligne plutôt que des panels en ligne à participation volontaire devraient être utilisés pour les sondages à mode mixte ayant un élément en ligne.
• Dans le cadre de la transition de sondages téléphoniques assistés par ordinateur à des sondages auto-administrés, le fait d'offrir l'option de laisser tomber des questions peut avoir une incidence sur le suivi.

Selon notre examen, il semble que les méthodes à mode mixte (sondages en ligne et téléphoniques) permettront de réduire au minimum les coûts liés à la collecte des données, d'optimiser le champ d'application et d'accroître les taux de réponse. Il est moins clair si une méthode mixte permet de réduire le temps requis pour effectuer un sondage à mode mixte. Il faut également noter qu'une méthode à mode mixte n'est pas recommandée dans certaines circonstances (p. ex., lorsque des questions portent sur des enjeux de désirabilité sociale, lorsque des questions identiques ne peuvent pas être posées, etc.).

1. Introduction

Récemment, de nombreux débats ont eu lieu sur les avantages potentiels associés aux méthodes à mode mixte pour la réalisation d'une recherche en sciences sociales. Par exemple, Dillman, Smyth et Christian ont écrit ce qui suit : « Les évaluateurs sont de plus en plus à la recherche de moyens de compenser les biais dans les estimations fournies par les sondages et qui peuvent découler du champ d'application, de l'échantillonnage ou des erreurs de non-réponse dans les sondages à mode unique. En outre, les évaluateurs, devant composer avec des budgets de plus en plus serrés et la demande de résultats de sondages rapides, font désormais appel à des modes nouveaux et peu coûteux, comme le Web et la réponse vocale interactive (RVI), pour la collecte de données. La croissance rapide de documents sur les possibilités et les lacunes liées à l'introduction d'un deuxième ou troisième mode dans la conception des sondages démontre l'intérêt grandissant envers les sondages à mode mixte. » [Traduction] Compte tenu de l'attention accordée aux méthodes à mode mixte pour la réalisation de recherches en sciences sociales, Travaux publics et Services gouvernementaux Canada a confié aux Associés de recherche EKOS le mandat d'effectuer une recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte pour le gouvernement du Canada.

Pour les besoins de cette étude, un sondage à mode mixte signifie un sondage qui est fondé sur une combinaison d'un minimum de deux méthodes (dans le présent cas, par téléphone et en ligne) pour la collecte de données, et ce, grâce à un des quatre moyens suivants :

• Utiliser un mode pour communiquer avec les répondants et les encourager à répondre au moyen d'un mode différent.
• Utiliser un deuxième mode pour la collecte des réponses auprès de ces mêmes répondants ou à des questions précises d'un questionnaire.
• Utiliser d'autres modes pour des répondants différents au cours de la même période du sondage.
• Utiliser un mode différent pour sonder les mêmes répondants à une période ultérieure de collecte de données.

De plus, pour les besoins du présent projet :

• Le téléphone est défini comme étant un téléphone à fil, la réponse vocale interactive et le téléphone mobile (communication audio seulement).
• Le terme « en ligne » signifie le Web, incluant le courrier électronique, le téléphone mobile (à l'exception de l'audio), la messagerie texte et les médias sociaux.

Approche et méthodologie

L'approche adoptée dans le cadre de cette recherche comprend un examen approfondi de documents pertinents, notamment les rapports de recherche sur l'opinion publique du gouvernement du Canada publiés après 2010 sur le site de Bibliothèque et Archives Canada, ainsi que d'autres sources autorisées sur le Web, et des publications universitaires et d'associations de l'industrie.

L'examen de la documentation est fondé sur des études et des références axées sur le grand public et des populations spécialisées. Dans le cadre de l'examen, on a comparé les sondages téléphoniques-en ligne à mode mixte aux sondages téléphoniques-en ligne à mode unique en fonction des enjeux suivants :

• le coût;
• le caractère opportun;
• le champ d'application;
• les taux de réponse;
• le biais de non-réponse;
• les types d'erreurs de mesure qui ont une incidence sur la qualité des données des sondages à mode mixte ainsi que leurs répercussions relatives;
• les problèmes liés à la transition d'un sondage de suivi (d'un sondage téléphonique à un sondage en ligne).

EKOS a analysé l'information des ouvrages et tenté de tirer des conclusions relativement à ce qui suit :

• Quels sont les types de sondages à mode mixte réalisés par le gouvernement du Canada depuis 2010?
• Quels sont les avantages les plus importants liés à l'utilisation des sondages à mode mixte?
• Dans quelles circonstances les sondages à mode mixte sont-ils appropriés?
• Dans quelles circonstances les sondages à mode mixte sont-ils requis?
• Quels sont les problèmes les plus importants liés à la réalisation d'un sondage à mode mixte?
• Quels sont les problèmes les plus importants liés à la transition de mode de collecte de données dans le cadre d'un sondage de suivi (sondage téléphonique à sondage en ligne)?

Le présent rapport vise à aborder tous les enjeux précisés ci-dessus. Le reste du rapport est divisé en quatre chapitres. Le chapitre 2 comprend un aperçu des sondages menés par le gouvernement du Canada depuis 2010 et met l'accent sur les leçons apprises concernant les sondages à mode mixte. Le chapitre 3 donne un aperçu des ouvrages de tiers sur les sondages à mode mixte, et le chapitre 4 donne un résumé de certains travaux d'EKOS dans ce domaine. Enfin, le chapitre 5 résume les leçons apprises et les pratiques exemplaires découlant de cette recherche.

2. Sondages réalisés pour le gouvernement du Canada

Quatre cent cinquante-et-un rapports de recherche sur l’opinion publique de l'exercice 2010-2011, sur le site de Bibliothèque et Archives Canada, ont été examinés par EKOS. Nous décrivons ci-dessous certains des résultats et conclusions les plus frappants découlant de notre examen de ces rapports.

Limites des sondages réalisés pour le gouvernement du Canada

Selon notre examen, il semble très difficile de déterminer tous les coûts associés à la réalisation des sondages à mode mixte par rapport aux sondages à mode de collecte unique, et ce, pour un certain nombre de raisons :

• Bien que le mode de sondage soit un facteur principal du coût, d'autres facteurs importants comprennent la longueur du sondage, la taille de l'échantillon et les types de questions posés (p. ex., questions ouvertes par rapport à questions fermées ) — qui varient grandement d'un sondage à l'autre.
• Bon nombre des études examinées comprenaient un élément qualitatif (p. ex., groupes de discussion, entrevues auprès de répondants clés); cependant, seulement un budget total global est fourni.
• Plusieurs des études examinées ne comportent aucun budget.

Notre examen révèle également qu'il est difficile de comparer des taux de réponse entre les sondages à mode unique et les sondages à mode mixte, puisque les sondages téléphoniques à mode unique sont généralement fondés sur la composition aléatoire (CA) tandis que les sondages à mode mixte font normalement appel aux panels de recherche.

Notre examen des travaux du gouvernement du Canada permet de suggérer qu'il ne semble pas y avoir une différence importante entre ces deux méthodes de sondage pour ce qui est du temps passé sur le terrain. Cependant, il y a lieu de noter que les rapports ne comprenaient aucune information sur le temps consacré à la conception et la programmation; il est donc difficile d'évaluer avec précision l'actualité des sondages à mode mixte par rapport aux sondages à mode unique.

Enfin, très peu de sondages justifient le recours à une méthode en particulier. Les rapports qui fournissent une explication à cet égard citent souvent le coût ou le besoin de cohérence avec des versions précédentes du sondage. Dans la plupart des cas, les objectifs de la recherche ont permis de déduire les motifs de l'utilisation d'un sondage à mode mixte.

Motifs du recours aux sondages à mode mixte

Malgré ces limites et mises en garde, notre examen des sondages du gouvernement du Canada effectués au cours des dernières années permet de fournir un aperçu des raisons qui motivent l'utilisation des sondages à mode mixte. Les principales raisons du recours aux sondages à mode mixte sont les suivantes :

1. Coût et champ d'application
2. Atteinte des segments de la population difficiles à joindre
3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible
4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne
5. Représentations visuelles

Ces motifs sont décrits en détail ci-après (veuillez noter que les études ayant fait l'objet d'un examen sont désignées selon le Numéro d'enregistrement de la ROP (POR XXX-XX) au cas où le client souhaiterait les examiner de manière plus approfondie).

1. Coût et champ d'application

• (POR 023-11) Selon cette étude, un sondage hybride en ligne et téléphonique a été utilisé afin de maintenir les coûts à un niveau raisonnable tout en assurant un champ d'application approprié de la population cible pour un sondage probabiliste (c'est-à-dire un champ d'application d'au moins 90 pour 100). Sachant qu'environ un cinquième des Canadiennes et Canadiens n'utilise par Internet, environ 19 pour 100 des répondants ont été contactés par téléphone.

2. Communication avec des segments de la population qui seraient autrement difficiles à joindre

• (POR 118-09) Cette étude comprenait un sondage téléphonique auprès du grand public, tandis qu'un panel en ligne a été utilisé pour les segments de la population qui sont plus difficiles à joindre (p. ex., les Canadiennes et Canadiens âgés de 16 et 17 ans ainsi que les immigrants récents).
• (POR 049-10) Cette étude comprenait un sondage téléphonique auprès du grand public, tandis qu’un sondage en ligne a été réalisé par les personnes qui ont consulté le site Web du ministère (le sondage était affiché sur le site Web pour que les visiteurs puissent le compléter).
• (POR 063-10) Cette étude comprenait trois sondages semblables afin d'examiner les opinions de trois populations cibles différentes - le grand public, les producteurs et les associations agricoles. Les deux premiers groupes ont été interviewés par téléphone pour assurer l’uniformité avec les vagues précédentes de l'étude. Le groupe final (les associations agricoles) a répondu à un sondage en ligne, puisqu'il s'agissait du moyen le plus efficace de communiquer avec celui-ci.
• (POR 074-10) Comme pour la POR 118-09, cette étude comprenait un sondage téléphonique auprès du grand public et un sondage en ligne pour les segments de la population qui sont plus difficiles à joindre (p. ex., les Canadiennes et Canadiens âgés de 16 et 17 ans ainsi que les immigrants récents).

3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible

• (POR 122-10) Cette étude portait sur un sondage des clients qui ont utilisé les services de Bibliothèque et Archives Canada. Afin de joindre le plus grand nombre possible de clients, les répondants pouvaient avoir accès à l'étude en ligne ou par l'entremise d'interceptions au moyen de tablettes électroniques. Les participants pouvaient aussi utiliser des copies imprimées qui étaient ensuite intégrées à l'étude en ligne.
• (POR 123-10) Cette étude comprenait un sondage auprès des partenaires contractuels de la Gendarmerie royale du Canada (GRC). Une combinaison de sondages en ligne, téléphoniques et par télécopieur a été utilisée pour communiquer avec toutes les personnes-ressources de la population cible.
• (POR 003-11) Cette étude comportait un sondage auprès de 189 personnes qui ont eu une interaction récente avec l'Office des transports du Canada. Les sondages ont été réalisés principalement en ligne; cependant, certains étaient sur support papier et ont été transmis au fournisseur pour qu'il saisisse manuellement les données.

4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne

• (POR 110-09) Dans le cadre de cette étude, on utilisait une méthode à mode mixte pour faire la transition d'un sondage téléphonique à un sondage en ligne. Pour ce qui est des études de suivi de référence, les sondages ont été effectués par téléphone. Cependant, on croyait qu'il serait possible d'obtenir des données plus rigoureuses et de manière plus économique au moyen d’une approche en ligne. Une approche mixte a été adoptée pour concilier cette approche avec la nécessité d'assurer l'uniformité du suivi au fil du temps. Deux modes ont été utilisés : 1) un sondage ITAO en direct pour aborder les questions qui ont été posées dans des versions antérieures du sondage et qui devaient faire l'objet d'un suivi, et 2) un sondage en ligne. Les deux sondages comprenaient certains éléments de suivi clés, et l'auteur a indiqué que les résultats obtenus étaient comparables pour les deux modes. Il y a toutefois lieu de noter un certain nombre de caractéristiques au sujet de cette étude. Tout d'abord, les deux questionnaires n'étaient pas identiques (chaque sondage comportait un nombre différent de questions). Les questions additionnelles dans le sondage en ligne auraient pu avoir une incidence sur les réponses. Ensuite, l'auteur reconnaît que, dans chaque questionnaire, une échelle différente était utilisée pour certaines questions. Tout particulièrement, dans un questionnaire, une échelle à quatre points était utilisée pour certaines questions (c'est-à-dire qu'il n'y avait aucun point médian neutre), tandis que dans l'autre, une échelle à cinq points était utilisée (c'est-à-dire qu'il y avait un point médian neutre). Le fait de présenter un point médian neutre aux répondants peut avoir une incidence considérable sur les réponses. Enfin, l'auteur a nommé le panel qui a servi à concevoir l'échantillon en ligne, mais il ne donne aucune information sur la façon dont les membres de ce panel ont été choisis. Il n'est pas clair s'il s'agit d'un panel probabiliste ou d'un panel à participation volontaire.
• (POR 002-10) Dans le cadre de cette étude, une version téléphonique et une version en ligne d'un sondage ont été utilisées pour que les résultats puissent être comparés à ceux des vagues précédentes de l'étude et que des comparaisons puissent être faites entre les résultats du sondage téléphonique à composition aléatoire et du sondage par panel en ligne.
• (POR 068-10) Cette recherche comprenait une étude sur les attitudes des consommateurs canadiens envers le système d'Agriculture et Agroalimentaire Canada. Un sondage téléphonique a principalement été utilisé pour la collecte de données afin d'assurer l'uniformité avec les vagues précédentes de l'étude. Toutefois, l'étude comprenait aussi un sondage en ligne afin d'être « proactif », dans le but de pouvoir faire la transition à une méthode en ligne à l'avenir. Les différences ci-après ont été soulevées entre les sondages téléphoniques et en ligne :
  • Les répondants en ligne avaient une plus grande confiance dans la réglementation.
  • Les répondants au sondage téléphonique avaient un degré de familiarité plus élevé concernant les bioproduits et les animaux génétiquement modifiés (cette constatation est conforme à la documentation sur les différences entre les sondages administrés par un intervieweur et les sondages auto-administrés concernant les questions sur le degré de familiarité — voir le chapitre 3).
  • Le soutien pour les biocarburants et les bioproduits provenant des résidus était plus élevé parmi les répondants en ligne, même si les répondants au sondage téléphonique étaient plus enclins à payer davantage pour ces produits.
  • Les répondants au sondage téléphonique étaient plus susceptibles de percevoir le Canada comme un chef de file mondial dans le domaine de la biotechnologie et étaient plus susceptibles d'insister pour que ces technologies soient développées au Canada.
  Il faut toutefois noter que le sondage en ligne a été réalisé au moyen d'un panel non probabiliste (fait admis par l'auteur). En outre, il faut souligner que la taille de l'échantillon de la partie en ligne du sondage était petite (200 cas). Enfin, l'auteur recommande de réaliser d'autres recherches et analyses plus approfondies avant de procéder à la transition complète de ce sondage téléphonique à un sondage en ligne.

• (POR 086-10) Cette étude comprenait une approche à mode mixte qui servait à déterminer si la transition à un mode de collecte de données en ligne serait une approche viable dans l'avenir, compte tenu de la diminution des taux de réponse aux sondages téléphoniques. Cependant, le rapport ne fournissait aucun détail sur les différences entre les résultats des sondages téléphoniques et en ligne.
• (POR 081-12) Cette étude comprenait un sondage à mode mixte pour déterminer si la transition à un sondage en ligne aurait une incidence sur les résultats du sondage. Pour la plupart des questions, les résultats du sondage en ligne étaient similaires à ceux du sondage téléphonique, particulièrement en ce qui concerne les questions sur des « opinions précises ». Il y avait toutefois plusieurs différences intéressantes 
  • Les répondants au sondage en ligne ont constamment obtenu des résultats plus élevés que les répondants au sondage téléphonique concernant les questions sur les connaissances (cette constatation correspond à celle des ouvrages de tiers à cet égard — voir le chapitre 3).
  • Les répondants au sondage en ligne ont constamment obtenu de meilleurs résultats concernant les questions de mémoire (l'auteur affirme que cela repose sur la capacité du répondant à se renseigner en ligne sur le sujet en question).
  • Les répondants au sondage en ligne donnaient des réponses plus détaillées aux questions ouvertes et étaient plus susceptibles de fournir « d'autres » réponses.
  • Les répondants au sondage téléphonique choisissaient de façon systématique plus d'options lorsqu'on leur posait des questions à mentions multiples.
  Il faut également souligner que l'échantillon en ligne a été choisi à partir d'un panel non probabiliste à participation volontaire.

5. Représentations visuelles

• (POR 132-09) Dans le cadre de cette étude, une méthode à mode mixte a été utilisée pour mesurer le degré de sensibilisation à une campagne publicitaire et les réponses à l'égard de celle-ci. La plupart des données ont été obtenues au moyen d'un sondage téléphonique pour assurer l'uniformité avec des vagues antérieures de l'étude. Un questionnaire en ligne a toutefois été utilisé pour jauger le degré de sensibilisation aux représentations visuelles d'une campagne, afin de compléter le sondage téléphonique qui se limitait à des indices verbaux pour sonder la sensibilisation.

Conclusions

Notre examen indique que dans certaines circonstances, il est avantageux d'utiliser une méthode à mode mixte et que dans d'autres circonstances, cette méthode est inappropriée.

Circonstances où il est avantageux d'utiliser une méthode à mode mixte

Il existe la possibilité d'un biais lié à des problèmes de champ d'application pour un sondage en ligne auprès de la population en général réalisé au moyen d'une méthode en ligne uniquement. En 2010, selon l'Enquête canadienne sur l'utilisation d'Internet menée par Statistique Canada, environ deux ménages canadiens sur dix n'ont pas accès à Internet. Afin d'assurer une représentativité complète dans les sondages en ligne, il faudrait offrir aux répondants potentiels n'ayant pas accès à Internet un autre moyen de répondre (p. ex., par la poste, par téléphone), en faisant ainsi des sondages à mode double.

De plus, les sondages à mode mixte peuvent être utilisés pour accroître les taux de réponse et réduire le biais de non-réponse, tout en veillant à ce que le coût du sondage soit raisonnable. Par exemple, il est possible de faire un suivi auprès des répondants à un sondage en ligne au moyen d'un volet téléphonique.

En outre, la recherche indique qu'en offrant plus d'un mode de collecte de données, le sondage est plus attrayant pour le répondant.^{Note de bas de page 19} Cela est particulièrement utile lorsqu'il faut atteindre le plus grand nombre possible de personnes dans le cadre du sondage (p. ex., un sondage sur la satisfaction de la clientèle, un sondage de spécialistes dans un domaine particulier).

Circonstances où il est inapproprié d'utiliser une méthode à mode mixte

Toutefois, dans certaines circonstances, il semble que la présence d'intervieweurs peut créer un biais de désirabilité sociale. Les répondants sont plus susceptibles d'exagérer ou de faire une déclaration trompeuse concernant leurs choix de style de vie ou leurs points de vue sur des enjeux controversés lorsqu'ils parlent à des intervieweurs par rapport à remplir un questionnaire anonyme (p. ex., en ligne).^{Note de bas de page 20} Un sondage à mode unique (en ligne) serait mieux adapté à une recherche dans le cadre de laquelle il faut poser de telles questions (p. ex., un sondage un sur la santé). Cette question est abordée de manière plus approfondie dans le chapitre suivant.

Selon notre examen des études du gouvernement du Canada effectuées au cours des trois dernières années, nous présentons les pratiques exemplaires et les leçons apprises ci-après en ce qui concerne les méthodes à mode mixte.

Pratiques exemplaires et leçons apprises

• Les principales raisons du recours aux sondages à mode mixte sont les suivantes :
  • Coût et champ d'application
  • Atteinte des segments de la population difficiles à joindre
  • Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible
  • Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne
  • Représentations visuelles
• La conception de sondages qui peuvent être menés de manière identique dans les deux modes afin de pouvoir déterminer avec plus d'exactitude les problèmes liés au coût et à la l'échéancier.
• Lors de la transition d'un sondage téléphonique à un sondage en ligne, il faut utiliser des questions identiques dans les deux modes pour faire une comparaison exacte.
• Lorsque le gouvernement du Canada entreprend des études de conception expérimentales à mode mixte, un panel probabiliste devrait être utilisé pour le sondage en ligne.
• Éviter les questions sur le style de vie ou suscitant la controverse si les sondages téléphoniques constituent un des modes de sondage (voir le chapitre 3 pour en savoir plus sur ce sujet).

3. Ouvrages de tiers

Les ouvrages de tiers liés aux sondages à mode mixte sont examinés dans le présent chapitre.

Il faut souligner que la plupart des ouvrages sur les sondages à mode mixte portent sur les sondages en ligne et postaux, plutôt que sur les sondages en ligne et téléphoniques. Cette conclusion n'est sans doute pas surprenante en raison des similitudes qui existent entre les sondages en ligne et postaux : aucun intervieweur n'est requis dans les deux cas, la réponse dépend d'une communication visuelle, et les répondants peuvent répondre aux sondages à leur propre rythme, contrairement aux sondages administrés par un intervieweur.

Notre examen révèle que seulement une petite partie des recherches publiées portait sur les sondages en ligne et téléphoniques (la majorité de cette recherche est décrite ci-après).

a) Types de sondages à mode mixte

Veuillez noter qu'il y a deux types fondamentaux de sondages à mode mixte :

1. Un mode de collecte de données principal avec une ou plusieurs méthodes secondaires (par exemple, un sondage postal avec un sondage téléphonique de suivi pour joindre les personnes qui n'ont pas répondu par la poste);
2. De multiples modes de collecte de données où tous les modes sont aussi importants les uns que les autres (par exemple, un sondage effectué en ligne et par téléphone dans le cadre duquel les répondants peuvent choisir le mode qu'ils souhaitent utiliser pour répondre).

Cette section portera sur le second type.

b) Coûts

Bien que peu de documents faisaient état des coûts spécifiques, selon la grande majorité des études le coût lié à la réalisation d'un sondage à mode mixte est constamment inférieur à celui d'un sondage mené exclusivement par téléphone.

c) Effets du mode de collecte de données en ligne et par téléphone

De Leeuw (2005)^{Note de bas de page 21} a examiné la documentation existante sur les sondages à mode mixte. Selon l'auteure, il y a des différences marquées entre les modes de sondage lorsque les questions sont de nature délicate. Tout particulièrement, elle a constaté que les modes avec intervieweur produisaient des réponses plus socialement souhaitables (et moins cohérentes). Toutefois, elle a aussi constaté que ces modes donnaient lieu à des réponses plus détaillées lorsque des questions ouvertes étaient posées. L'auteure insiste sur la nécessité de fournir un « stimulus » équivalent entre les modes et souligne que cette équivalence n'est pas toujours respectée. Par exemple, dans le cadre d'un sondage téléphonique, les intervieweurs peuvent ne mentionner que les pôles dans une échelle de sept points (c.-à-d. 1 et 7), tandis que l'échelle complète peut être utilisée dans une version en ligne.

Fricker et coll. (2005)^{Note de bas de page 22} ont réalisé une expérience dans le cadre de laquelle on attribuait de manière aléatoire un sondage en ligne ou téléphonique à des répondants ayant accès à Internet. Cette étude a permis de conclure que pour ces deux types de sondage, il n'y avait aucune différence entre les réponses concernant des questions ayant trait aux attitudes et qui n'étaient pas de nature délicate. En outre, il n'y avait pas de différences entre les modes pour ce qui est des tendances à l'acquiescement.^{Note de bas de page 23} Les répondants en ligne ont toutefois obtenu un meilleur pointage en ce qui a trait aux questions sur les connaissances. Les auteurs suggèrent que cela pourrait reposer sur le fait que ces répondants pouvaient relire les questions et répondre à leur propre rythme.

Schonlau et coll. (2004)^{Note de bas de page 24} ont examiné les effets du mode de collecte de données entre les sondages en ligne et les sondages téléphoniques. Cette étude a révélé qu'il existe un biais de désirabilité sociale parmi les répondants au sondage téléphonique concernant les questions de nature délicate. Tout particulièrement, selon cette étude, les répondants au sondage téléphonique sont beaucoup plus susceptibles d'évaluer leur santé comme étant « excellente » plutôt que simplement « très bonne ». Fait intéressant, cet écart disparaît lorsque les catégories « excellente » et « très bonne » sont regroupées. Cependant, il faut noter que l'échantillon en ligne a été établi au moyen d'un panel non probabiliste à participation volontaire; par conséquent, ces résultats devraient être utilisés avec circonspection.

Greene et coll. (2008)^{Note de bas de page 25} ont effectué une méta-analyse de quatre études liées à la santé qui mettait en contraste les résultats des études en ligne et téléphoniques. Toutes ces études ont révélé un biais de désirabilité sociale parmi les répondants aux sondages téléphoniques. Par exemple, selon une étude, les répondants aux sondages en ligne étaient plus susceptibles de déclarer une consommation occasionnelle excessive d'alcool (beuverie express) que les répondants aux sondages téléphoniques. Les auteurs reconnaissent toutefois que les différences peuvent découler de différences sociodémographiques entre les groupes de répondants aux sondages en ligne et téléphoniques, plutôt de différences entre les modes de collecte. Les auteurs concluent que l'influence du Web par rapport au téléphone sur les données de sondage n'est pas claire.

Dans la seconde partie de leur étude, Greene et coll. (2008) ont effectué un sondage hybride en ligne et téléphonique. Les répondants provenaient d'un bassin d'adultes qui avaient répondu à un sondage téléphonique antérieur et à qui on avait attribué de manière aléatoire une version en ligne ou téléphonique du questionnaire. Les auteurs ont constaté que les différences entre les modes liées au biais de désirabilité sociale variaient selon le type de questions.  Pour les événements objectifs (p. ex., l'utilisation des services de santé), il n'y avait aucune différence entre les modes. En ce qui concerne les questions ayant des réponses socialement souhaitables (p. ex., la gestion de sa santé), les auteurs ont observé que les répondants au sondage téléphonique avaient tendance à répondre plus souvent de manière « favorable », bien que ces différences étaient minces et n'étaient pas significatives dans la plupart des cas. En ce qui a trait aux questions sur le style de vie (p. ex., régime alimentaire et exercice) et l'état de santé, les auteurs ont constaté des différences importantes entre les modes de collecte.

L'étude révèle que les répondants aux sondages téléphoniques étaient plus susceptibles de répondre « en accord » à des questions de type « en accord/en désaccord ». Par conséquent, ils avaient tendance à obtenir de meilleurs résultats que les répondants aux sondages en ligne pour les questions sur les connaissances lorsque la bonne réponse était « en accord ».

Teclaw et coll. (2010)^{Note de bas de page 26}  ont réalisé un sondage auprès des employés du ministère des Anciens Combattants. Les répondants avaient le choix de compléter le sondage en ligne, par téléphone (réponse vocale interactive - RVI) ou par la poste. Les auteurs ont constaté que le mode RVI était le plus populaire parmi les répondants de moins de 20 ans et les minorités visibles. En outre, ils ont remarqué de légères différences entre les réponses des répondants au sondage RVI et celles des répondants au sondage en ligne ou postal. Les répondants au sondage RVI étaient plus susceptibles de laisser tomber les questions d'ordre démographique.

d) Réduction du biais de non-réponse

Selon notre examen, un des principaux avantages d'un sondage à mode mixte est un accroissement du taux de réponse et une diminution des erreurs dues à la non-réponse. Il faut toutefois faire une distinction importante à ce sujet. Le fait de donner aux répondants un choix de modes de sondage ne signifie pas une augmentation des taux de réponse. En effet, une expérience faite par Dillman, Clark et West (1994)^{Note de bas de page 27} a permis de révéler que le taux global de réponse n'a pas augmenté même si les répondants avaient le choix entre un sondage téléphonique et un sondage postal. Dans le même ordre d'idées, une méta-analyse de neuf sondages en ligne-postaux effectuée par Fricker et Schonlau (2002) n'a pas permis de conclure que le fait de laisser aux personnes le choix entre un mode « classique » et un mode en ligne donnait lieu à des taux de réponse plus élevés.^{Note de bas de page 28} Par contre, il peut être utile d'attribuer à l'avance un mode de sondage aux répondants en fonction de leur préférence (si celle-ci est connue) : Dillman et coll. (2009)^{Note de bas de page 29} affirment qu'offrir aux répondants leur mode de sondage privilégié augmente les taux de réponse.

De plus, dans le cadre des études qui consistent à encourager à répondre à un mode et ensuite à faire la transition à un autre mode (c'est-à-dire un modèle séquentiel à mode mixte), s'il y a lieu, il y avait une augmentation des taux de réponse et une diminution des biais de non-réponse. Par exemple, Dillman et coll. (2001)^{Note de bas de page 30} ont fait l'expérience de faire la transition d'un sondage téléphonique à un sondage postal, et d'un sondage postal, en ligne ou à l'aide de la technologie de réponse vocale interactive (RVI) à un sondage téléphonique. Ils ont constaté que ce type de transition de mode peut améliorer les taux de réponse et réduire les biais de non-réponse de manière considérable (dans le présent cas, les suivis téléphoniques ont permis d'augmenter les taux de réponse de 13 pour 100 à 45 pour 100^{Note de bas de page 31}).

e) Traitement des données manquantes

Greene et coll. (2008) ont également examiné les différences qui existent entre les données manquantes des divers modes. Dans le cadre de cette étude, on a précisément offert aux répondants en ligne l'option de laisser tomber une question, contrairement aux répondants au sondage téléphonique (ces derniers pouvaient laisser tomber la question, mais ils n'ont pas été informés que c'était une option). Pour la plupart des questions, le niveau de données manquantes était très bas, peu importe le mode de sondage. Cependant, dans deux circonstances, les répondants téléphoniques étaient beaucoup moins susceptibles d'offrir une réponse valide : 1) répondre à des questions de connaissance relativement difficiles, et 2) répondre à des questions sur un problème de santé hypothétique. Les auteurs ont indiqué que ces répondants ont certainement choisi de laisser tomber ces questions en raison d'un sentiment d'incertitude ou de malaise à l'égard des questions.

f) Tâches de réponse

Dans la documentation, on précise que lorsqu'on demande aux répondants d'effectuer une tâche (p. ex. « choisir tous les énoncés pertinents »), cette tâche doit être uniforme dans tous les modes de sondage. La tâche de réponse ne doit pas être modifiée même si la question est adaptée pour différents modes. Par exemple, une version auto-administrée d'un sondage peut comprendre une question à laquelle il faut « indiquer toutes les réponses pertinentes » tandis qu'une version administrée par un intervieweur peut comprendre une série de questions avec réponses par « oui » ou par « non ». En modifiant la tâche du répondant, les deux tâches ne produisent pas de résultats comparables.

Rasinsky, Mingay et Bradburn (1994)^{Note de bas de page 32} ont réalisé une expérience dans le cadre de laquelle ils ont comparé les résultats des questions auxquelles il fallait « indiquer toutes les réponses pertinentes » aux résultats des questions auxquelles il fallait répondre par « oui » ou par « non ». Les auteurs ont constaté que beaucoup moins d'options étaient cochées lorsque la consigne était d'« indiquer toutes les réponses pertinentes » par rapport à répondre par « oui » ou par « non ».

Dans le même ordre d'idées, Smyth et coll. (2006)^{Note de bas de page 33} ont analysé les résultats de dix comparaisons expérimentales dans le cadre de deux sondages en ligne pour déterminer si on obtient des résultats semblables aux questions à réponse à choix forcé et à celles où il faut « indiquer toutes les réponses pertinentes ». Les auteurs ont constaté que, dans tous les cas, les répondants étaient plus susceptibles de choisir un plus grand nombre d'options pour les questions à choix forcé, peu importe le type de question.

g) Fournir des exemples

Martin et coll. (2007)^{Note de bas de page 34} soutiennent qu’en ce qui concerne les sondages à mode mixte dans le cadre desquels des exemples sont lus ou montrés aux répondants, il est important de ne pas mettre les exemples derrière des hyperliens puisqu'ils ne sont accessibles que dans la partie en ligne du sondage. Lorsqu'il s'agit d'exemples où les intervieweurs doivent « lire au besoin » (p. ex., les intervieweurs doivent lire les exemples seulement lorsque le répondant est incertain ou perplexe), les auteurs affirment toutefois que les hyperliens peuvent favoriser une exposition équivalente au matériel pour la partie en ligne du sondage.

Un autre facteur à considérer pour les sondages à mode mixte est le traitement des questions qui comprennent de longues listes d'exemples. Selon Hunter et Landreth (2006)^{Note de bas de page 35}, lorsque les intervieweurs doivent lire une longue liste d'exemples, les répondants les interrompent souvent quand ils reconnaissent le type de réponse souhaité ou entendent une réponse particulière qui s'applique à eux. Puisque ce problème ne se pose pas avec les sondages auto-administrés; ces types de questions ne sont pas susceptibles d'être posés de manière uniforme dans les sondages auto-administrés et les sondages administrés par un intervieweur.

h) Uniformité des éléments visuels

Aucune étude officielle n'a été réalisée au sujet des effets des caractères typographiques spéciaux (gras, soulignement, majuscules, italique, etc.), même si certains auteurs ont affirmé que l'utilisation de ces caractères devrait être uniforme pour tous les modes. Dillman et coll. (2005)^{Note de bas de page 36} soutiennent qu'il faudrait recourir aux caractères typographiques (gras, soulignement, majuscules, italique, etc.) de manière uniforme au sein des questionnaires. En outre, Martin et coll. (2007)^{Note de bas de page 37} soulignent que ces caractères doivent être utilisés de manière cohérente non seulement au sein des modes, mais également entre les différents modes, lorsque cela est possible. Les auteurs précisent aussi que dans certains cas, l'uniformité n'est pas toujours possible. Mis à part le fait évident que les caractères typographiques ne s'appliquent pas aux sondages téléphoniques, les auteurs font remarquer que la convention liée aux hyperliens décourage l'utilisation du soulignement pour des besoins autres que les hyperliens dans les formulaires Internet.

i) Randomisation des catégories de réponses

Krosnick et Alwin (1987)^{Note de bas de page 38} ont constaté que pour ce qui est des modes de sondages auto-administrés, les répondants ont tendance à traiter de manière plus approfondie les éléments figurant au début d'une liste de catégories de réponses et à examiner plus rapidement le reste des éléments dans la liste. Par conséquent, les répondants aux sondages auto-administrés sont plus susceptibles de choisir les premières options (ce phénomène s'appelle l'effet de primauté). En revanche, dans les sondages administrés par un intervieweur, les répondants n'ont généralement pas suffisamment de temps pour traiter toutes les catégories de réponses lues par l'intervieweur; par conséquent, les dernières catégories entendues sont plus susceptibles d'être retenues. Donc, dans le cadre de ces sondages, les répondants ont tendance à choisir la plupart du temps la dernière option de réponse (ce phénomène s'appelle l'effet de récence). Cette constatation suggère que la randomisation des catégories de réponses est particulièrement importante pour les sondages à mode mixte qui utilisent une combinaison de modes auto-administrés et administrés par un intervieweur (p. ex., téléphone et en ligne).

j) Enjeux, sans solution, des sondages à mode mixte

Les ouvrages suggèrent également qu'il y a des problèmes sans solution apparente liés aux sondages à mode mixte.

Selon un certain nombre d'études, il semble que les répondants sont plus susceptibles de choisir des catégories de réponses extrêmes (p. ex., « fortement en accord » ou « fortement en désaccord ») pour les sondages administrés par un intervieweur par rapport aux sondages auto-administrés. Par exemple, Jordan et coll. (1980)^{Note de bas de page 39} ont constaté que contrairement aux sondages en personne, les répondants aux sondages téléphoniques étaient plus susceptibles de choisir des réponses extrêmes.

De plus, il ressort que les répondants aux sondages administrés par un intervieweur ont plus tendance à choisir des options « positives« » extrêmes (p. ex., « fortement en accord » ou « très satisfait »). Dillman (1991)^{Note de bas de page 40} a fait une comparaison de trois méthodes (sondages téléphoniques, postaux et en personne) et a constaté que les répondants aux sondages téléphoniques et en personne sont plus susceptibles d'utiliser des catégories de réponses positives extrêmes (dans la partie positive de l'échelle) que les répondants aux sondages postaux.

Tarnai et Dillman (1992)^{Note de bas de page 41} ont mené un sondage auprès d'étudiants collégiaux sur la satisfaction à l'égard de différentes caractéristiques du campus. Ils ont constaté que la proportion des répondants au sondage téléphonique qui choisissait l'option positive extrême (« cela n'est pas un problème ») était, en moyenne, 25 points plus élevés que parmi les répondants au sondage postal (auto-administré).

Dillman et coll. (sous presse)^{Note de bas de page 42} ont réalisé un sondage à quatre modes (entrevues téléphoniques, RVI, postal et en ligne) composé de cinq questions comprenant une échelle à cinq points (p. ex. : « En général, dans quelle mesure êtes-vous satisfait(e) de votre fournisseur de services interurbains? Veuillez utiliser une échelle de 1 à 5, où 1 signifie pas du tout satisfait et 5 signifie extrêmement satisfait »). Les auteurs ont remarqué que, pour les cinq questions, les répondants au sondage téléphonique et au moyen de la RVI fournissaient des réponses positives plus souvent que les répondants au sondage postal et en ligne.

Enfin, Christian (2007)^{Note de bas de page 43} décrit en détail les résultats de deux sondages à mode mixte (téléphonique et en ligne) et constate que les répondants au sondage téléphonique fournissaient des réponses beaucoup plus positives que les répondants au sondage en ligne, et ce, en ce qui concerne 36 des 46 questions avec échelle d'évaluation mises à l'essai. L'auteur souligne aussi que les répondants au sondage téléphonique fournissaient des réponses plus positives, peu importe si les catégories de réponses étaient définies individuellement ou si les définitions étaient limitées aux extrémités de l'échelle.^{Note de bas de page 44} De plus, les réponses au sondage téléphonique étaient plus positives, peu importe si les catégories étaient présentées en une ou deux étapes^{Note de bas de page 45} et sans égard au nombre d'options de réponse de l'échelle.

Malheureusement, il n'existe aucune solution largement acceptée pour contrer ces effets. Comme Dillman et coll. (2009)^{Note de bas de page 46} l'ont souligné : « Il s'agit d'un domaine où d'autres recherches s'imposent pour que des ajustements statistiques puissent être déterminés afin de corriger ces différences de mesure ». [Traduction]

k) Pratiques exemplaires et leçons apprises

• Il faut éviter les questions ayant la possibilité de créer un biais de désirabilité sociale dans le cadre des sondages à mode mixte qui dépendent à la fois d'intervieweurs en direct et de questionnaires auto-administrés (p. ex. sur l'état de santé et les choix de modes de vie).
• Lorsqu'il est nécessaire de poser des questions sur l'état de santé et les choix de modes de vie, celles-ci devraient porter sur des événements objectifs (par exemple, poser des questions sur des diagnostics faits par un médecin plutôt que de demander aux répondants d'évaluer leur santé).
• Il faut éviter les questions de type « vrai ou faux » (connaissance) dans les sondages à mode mixte.
• Dans le cadre d'une étude à plusieurs modes, il est important d'élaborer des sondages qui sont identiques pour chaque mode, incluant le traitement des données manquantes.
• Les mêmes instructions devraient être fournies aux répondants pour tous les modes.
• Dans les sondages à mode mixte avec un élément en ligne, il faut afficher des exemples à l'écran plutôt que d'avoir à cliquer sur des hyperliens.
• En ce qui concerne les sondages à mode mixte avec un élément administré par un intervieweur et un élément auto-administré, les listes d'exemples devraient être courtes et présentées dans le même ordre.
• Les caractères typographiques spéciaux devraient être uniformes pour tous les modes.
• La randomisation des catégories de réponses, bien qu'elle soit importante pour presque tous les types de sondage, revêt une importance particulière dans les sondages à mode mixte (téléphoniques et en ligne).

4. Recherche expérimentale interne d'EKOS

EKOS a également réalisé des tests expérimentaux sur l'incidence des méthodes de sondage à mode mixte (ainsi que d'autres questions de méthodologie) au cours des dernières années. Les résultats de quelques études sont présentés ci-après.

a) Enquête d'EKOS sur des questions d'intérêt public
(décembre 2012)

En décembre 2012, EKOS a mené deux sondages identiques au moyen de modes différents et a comparé les résultats. Un sondage a été effectué exclusivement au moyen de la réponse vocale interactive (RVI). Le second était un sondage à mode mixte qui comprenait un volet en ligne et un volet RVI.

Les résultats de cette analyse révèlent que les répondants au sondage mené à l'aide de la technologie RVI avaient systématiquement plus tendance à exprimer de la satisfaction à l'égard de l'avenir de la société; ils étaient plus susceptibles d'avoir confiance dans les établissements démocratiques du Canda et moins susceptibles de percevoir la classe moyenne du Canada comme étant en déclin. Fait intéressant, ces répondants étaient également plus susceptibles de se voir comme étant pauvres ou faisant partie de la classe ouvrière et, peut-être pour cette raison, étaient plus pessimistes au sujet de leur perspective financière personnelle.

Finalement, les répondants aux sondages ayant recours à la RVI seulement étaient beaucoup plus susceptibles de laisser tomber des questions. Cette constatation est surprenante, puisque les répondants au sondage RVI n'étaient pas constamment informés qu'ils avaient l'option de laisser tomber une question (on leur avait plutôt mentionné au début du sondage qu'ils pouvaient appuyer sur une touche particulière pour laisser tomber une question et aucun rappel n'a été fait durant l'entrevue). Cependant, on informait précisément les répondants au sondage en ligne (du sondage à mode mixte) qu'ils avaient l'option de laisser tomber la question, et ce, pour chaque question. En outre, les répondants au sondage RVI étaient plus susceptibles de choisir l’option « autre », lorsqu'une telle option était donnée.

b) Net Gain 4.0

Dans le cadre d'une étude pour la conférence Net Gain 4.0 de l'Association de la Recherche et de l'Intelligence Marketing (ARIM), EKOS a réalisé simultanément deux sondages en ligne — un au moyen d'un panel probabiliste où les répondants sont recrutés de manière aléatoire par téléphone (à fil et cellulaire), et l'autre au moyen d'un panel à participation volontaire où les répondants peuvent consulter le site Web de l'entreprise et s'inscrire comme membre du panel.

Les résultats révèlent deux constatations importantes. Tout d'abord, les membres du panel en ligne à participation volontaire affichent une incidence substantiellement plus élevée de répondants professionnels qui sont membres de multiples panels et qui répondent à un grand nombre de sondages en ligne à la recherche des diverses mesures incitatives financières. Ensuite, des membres de ce panel avaient un revenu très faible et avaient tendance à être de très grands utilisateurs d'Internet. Lorsque les résultats des sondages ont été comparés à des points de référence externes (comme les taux de tabagisme, les titulaires d'un passeport, etc.), les membres du panel probabiliste avaient constamment de meilleurs résultats que leurs homologues volontaires. De plus, les répondants au sondage à participation volontaire avaient systématiquement plus tendance à échouer les contrôles de qualité (comme la rapidité, la capacité à suivre des instructions, etc.).^{Note de bas de page 47}

Ces résultats appuient la proposition selon laquelle la validité externe des échantillons fondés sur la probabilité est plus élevée que celle des échantillons à participation volontaire.

c) Transition de mode (options de laisser tomber une question)

Avant 2008, EKOS se fiait principalement aux interviews téléphoniques assistés par ordinateur (ITAO) pour sa recherche en opinion publique. Toutefois, au cours des dernières années, EKOS s'est de plus en plus appuyé sur des modes auto-administrés, comme les sondages probabilistes en ligne et les sondages au moyen de la réponse vocale interactive (RVI). Cependant, un des inconvénients des modes auto-administrés est qu'il est impossible d'accepter des réponses données de façon spontanée. Par exemple, dans de nombreux cas, dans le cadre des ITAO, on ne propose pas nécessairement une option « Ne sais pas/Pas de réponse » ou une option « Aucune de ces réponses », mais les intervieweurs accepteront souvent ces réponses lorsqu'elles sont données par le répondant. Toutefois, en ce qui concerne les sondages en ligne et au moyen de la RVI, il faut offrir précisément aux répondants l'option de laisser tomber une question ou les inciter à choisir une des options.

À EKOS, nous avons constaté à de nombreuses reprises des exemples de questions de suivi où les répondants ayant choisi de laisser tomber les questions ont soudainement réagi lorsque nous avons fait la transition d'une ITAO à un sondage auto-administré. Par exemple, au cours des dix dernières années, EKOS a demandé aux répondants s'ils préféreraient un gouvernement de plus grande taille qui offre plus de services et qui perçoit plus d'impôt ou un gouvernement plus petit qui offre moins de services et qui perçoit moins d'impôt.  De 2003 à 2006 (au moyen des ITAO), la proportion des répondants qui ont choisi de laisser tomber la question se maintenait entre cinq et neuf pour cent. Lorsque EKOS a fait la transition à un sondage RVI (et offrait l'option aux répondants de ne pas répondre), cette proportion est passée à une nouvelle norme de dix-neuf à vingt-deux pour cent.^{Note de bas de page 48}

d) Pratiques exemplaires et leçons apprises

• Lorsque les options de laisser tomber une question sont explicitement offertes aux répondants dans un mode, elles doivent l'être de façon uniforme dans tous les modes.
• Des panels probabilistes en ligne plutôt que des panels en ligne à participation volontaire devraient être utilisés pour les sondages à mode mixte.
• Dans le cadre de la transition de sondages administrés par un intervieweur (ITAO) à des sondages auto-administrés (RVI ou en ligne), le fait d'offrir l'option de laisser tomber des questions peut avoir une incidence sur le suivi.

5. Pratiques exemplaires et leçons apprises

Selon notre examen des études du gouvernement du Canada, des ouvrages de tiers et de notre propre recherche interne, nous présentons les pratiques exemplaires et les leçons apprises ci-après en ce qui concerne les méthodes à mode mixte :

• Les principales raisons du recours aux sondages à mode mixte sont les suivantes :
  • Coût et champ d'application
  • Atteinte des segments de la population difficiles à joindre
  • Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible
  • Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne
  • Représentations visuelles
• La conception de sondages qui peuvent être menés de manière identique dans les deux modes afin de pouvoir déterminer avec plus d'exactitude les problèmes liés au coût et à la l'échéancier.
• Lors de la transition d'un sondage téléphonique à un sondage en ligne, il faut utiliser des questions identiques dans les deux modes pour faire une comparaison exacte.
• Lorsque le gouvernement du Canada entreprend des études de conception expérimentale à mode mixte, un panel probabiliste devrait être utilisé pour le sondage en ligne.
• Éviter les questions sur le style de vie ou suscitant la controverse si les sondages téléphoniques constituent un des modes de sondage (voir le chapitre 3 pour en savoir plus sur ce sujet).
• Il faut éviter les questions ayant la possibilité de créer un biais de désirabilité sociale dans le cadre des sondages à mode mixte qui dépendent à la fois d'intervieweurs en direct et de questionnaires auto-administrés (p. ex. sur l'état de santé et les choix de modes de vie).
• Lorsqu'il est nécessaire de poser des questions sur l'état de santé et les choix de modes de vie, celles-ci devraient porter sur des événements objectifs (par exemple, poser des questions sur des diagnostics faits par un médecin plutôt que de demander aux répondants d'évaluer leur santé).
• Il faut éviter les questions de type « vrai ou faux » (connaissance) dans les sondages à mode mixte.
• Dans le cadre d'une étude à plusieurs modes, il est important d'élaborer des sondages qui sont identiques pour chaque mode, incluant le traitement des données des manquantes.
• Les mêmes instructions devraient être fournies aux répondants pour tous les modes.
• Dans les sondages à mode mixte avec un élément en ligne, il faut afficher des exemples à l'écran plutôt que d'avoir à cliquer sur des hyperliens.
• En ce qui concerne les sondages à mode mixte avec un élément administré par un intervieweur et un élément auto-administré, les listes d'exemples devraient être courtes et présentées dans le même ordre.
• Les caractères typographiques spéciaux devraient être uniformes pour tous les modes.
• La randomisation des catégories de réponses, bien qu'elle soit importante pour presque tous les types de sondage, revêt une importance particulière dans les sondages à mode mixte (téléphoniques et en ligne).
• Lorsque les options de laisser tomber une question sont explicitement offertes aux répondants dans un mode, elles doivent l'être de façon uniforme dans tous les modes.
• Des panels probabilistes en ligne plutôt que des panels en ligne à participation volontaire devraient être utilisés pour les sondages à mode mixte ayant des éléments en ligne.
• Dans le cadre de la transition de sondages administrés par un intervieweur (ITAO) à des sondages auto-administrés, le fait d'offrir l'option de laisser tomber des questions peut avoir une incidence sur le suivi.

Selon notre examen, il semble que les méthodes à mode mixte (sondages en ligne et téléphoniques) permettront de réduire au minimum les coûts liés à la collecte des données, d'optimiser le champ d'application et d'accroître les taux de réponse. Il est moins clair si une méthode mixte permet de réduire le temps requis pour effectuer un sondage à mode mixte. Il faut également noter qu'une méthode à mode mixte n'est pas recommandée dans certaines circonstances (p. ex. lorsque des questions portent sur des enjeux de désirabilité sociale, lorsque des questions identiques ne peuvent pas être posées, etc.).