Introduction

Au cours des récentes années, la Direction de la recherche en opinion publique (DROP) de Travaux publics et Services gouvernementaux Canada (TPSGC) et d'autres ministères du gouvernement du Canada se sont inquiétés des enjeux relatifs à la qualité des sondages. En particulier, la diminution des taux de réponse aux sondages téléphoniques a représenté une préoccupation majeure et un sujet de discussion durant les rencontres de la communauté de pratique du gouvernement du Canada. Les associations de ce secteur–en particulier l'Association de la Recherche et de l'Intelligence Marketing (ARIM)–et le Bureau du vérificateur général du Canada (novembre 2005) ont exprimé des préoccupations semblables. Cette place importante que l'on accorde aux taux de réponse n'est pas sans fondement, étant donné le consensus général que l'on observe chez les spécialistes de la recherche par sondage, selon lequel les taux de réponse ont décliné au cours des dernières décennies (de Leeuw et de Heer, 2001; Groves et Couper, 1998). Les gens deviennent plus difficiles à rejoindre et moins disposés à participer à la recherche par sondage.

Ce déclin a semé des doutes sur la validité des données découlant des sondages dont les taux de réponse étaient bas et a fait augmenter le coût de la recherche visant à atteindre des taux de réponse cibles. Améliorer les taux de réponse exige une solution multidimensionnelle qui tient compte de la problématique de la non-réponse à différentes étapes du processus de recherche. Cet ensemble de pratiques exemplaires a été mis au point pour aider les ministères et les organismes du gouvernement du Canada à concevoir et à mener de la recherche sur l'opinion publique (ROP) qui vise à atteindre les plus hauts taux de réponse possibles^{Note 1}

But et champ de la recherche

L'ensemble des pratiques exemplaires qui font l'objet de ce document ont été développées pour aider à maximiser les taux de réponse aux sondages téléphoniques. On met l'accent sur les stratégies qui visent à ce que chaque sondage téléphonique du gouvernement du Canada obtienne le meilleur taux de réponse possible dans les paramètres d'une étude. Ces pratiques exemplaires comprennent des lignes directrices et des procédures qui devraient être prises en considération durant toute l'étude de recherche, de la conception du projet jusqu'à l'établissement du rapport. Ce document est destiné aux ministères et aux organismes pour qu'ils l'étudient et en discutent avec les fournisseurs de recherche. Puisque le processus de recherche au gouvernement fédéral est généralement un exercice de collaboration entre la DROP, la coordonnatrice ou le coordonnateur de la ROP du ministère, le client final et le fournisseur de recherche, les lecteurs verront que certains domaines couverts par les pratiques exemplaires pourraient seulement s'appliquer indirectement à leur rôle dans une étude particulière. Les fournisseurs de recherche considèrent certaines de ces pratiques exemplaires comme des pratiques de contrôle des normes de qualité. Il y en a d'autres qui seront prises en considération et entraîneront une réflexion de la part du ministère ou de l'organisme qui commande une étude.

Processus de développement des pratiques exemplaires

Développer cet ensemble de pratiques exemplaires a exigé un examen exhaustif de la documentation pertinente (voir bibliographie), l'établissement de contacts avec les associations du secteur de la recherche et les instituts de recherche, de même que la tenue d'une série d'interviews de consultation et l'échange de correspondance avec les acheteurs de ROP au sein du gouvernement du Canada, les principaux fournisseurs de recherche du gouvernement fédéral et des universitaires de premier plan au Canada et aux États-Unis ayant de l'expérience se rapportant aux taux de réponse dans les sondages. Au total, 26 intervenants et organisations ont été consultés en vue d'homologuer et de renforcer les pratiques exemplaires. Souvent, de nombreuses personnes d'un même organisme offraient une rétroaction. Un exposé détaillé de la méthodologie se trouve à la Liste de vérification des pratiques exemplaires et évaluation de l'incidence relative des pratiques exemplaires sur les taux de réponse.

Définir les taux de réponse et de non-réponse

Le taux de réponse désigne la proportion de personnes qui ont participé à un sondage en comparaison au nombre réel de personnes composant l'échantillon à partir de la population cible. En termes généraux, il est calculé en divisant le nombre de personnes qui ont répondu à tout le questionnaire par le nombre de personnes choisies pour participer au sondage. La non-réponse se produit lorsqu'une unité de l'échantillon ne termine pas un sondage. D'habitude, les non-répondants se divisent en deux groupes : les personnes qui refusent de participer au sondage (les refus) et celles qu'il n'est pas possible de rejoindre durant la cueillette des données (les non-contacts).

Calcul des taux de réponse

L'ARIM est l'association nationale qui joue le rôle de chef de file auprès des professionnels de la ROP au Canada. Ses définitions et ses méthodes sont les plus largement appliquées par le secteur privé de la recherche au Canada. À l'extérieur du Québec, les sondages menés par le secteur privé à l'intention du gouvernement du Canada sont généralement basés sur la méthode de l'ARIM pour ce qui est du calcul des taux de réponse. L'ARIM a récemment adopté une nouvelle norme de calcul des taux de réponse approuvée par Statistique Canada et l'Association de l'industrie de la recherche marketing et sociale au Québec. Elle comprend deux taux : un taux de réponse primaire (méthode empirique) et un taux de réponse secondaire (méthode d'estimation). La méthode empirique devrait être employée pour mesurer les efforts de collecte des données et la méthode d'estimation durant l'analyse, à titre de mesure secondaire pour évaluer la qualité des données du sondage. La méthode empirique de l'ARIM, la principale méthode de calcul du taux de réponse, est décrite ci-dessous.

À l'aide de la méthode empirique, le taux de réponse est calculé en divisant le nombre d'unités déclarantes par la somme de toutes les unités dans le champ d'enquête et de toutes les unités non résolues. Pour comprendre ce calcul, il est nécessaire de définir certains termes :

• Unités non résolues (UNR) : Ce sont toutes les unités non déclarantes pour lesquelles l'admissibilité ne peut être déterminée–par exemple, les numéros de téléphone pour lesquels une sonnerie se fait entendre sans qu'il y ait de réponse. Tous les autres numéros de téléphone sont classés dans la catégorie des unités résolues.
• Unités résolues : Les unités résolues se divisent en unités se trouvant dans le champ d'enquête et hors de celui-ci.
• Unités hors du champ d'enquête : Il s'agit de numéros de téléphone qui ne sont pas valides–c'est-à-dire des numéros hors service ou un numéro d'affaires rejoint à la place d'un numéro de résidence ou vice versa. Ces numéros ne sont pas calculés dans le taux de réponse.
• Unités dans le champ d'enquête : Ces unités sont classées parmi les numéros avec ou sans réponse. Les unités non déclarantes qui se trouvent dans le champ d'enquête (DCE) comprennent les personnes qui refusent de participer, qui ne sont pas disponibles pour répondre ou qui font face à une barrière linguistique.
• Unités déclarantes (UD) : Ce sont toutes les unités se trouvant dans le champ d'enquête (répondantes et répondants) qui fournissent de l'information utilisable. Elles comprennent les répondants exclus ou non admissibles–c'est-à-dire ceux qui sont éliminés au début de l'interview.

Méthode empirique de l'ARIM

Taux de réponse = UD/(UNR+DCE+UD)

Source : Vue Magazine, juin 2006.

Pour calculer le taux de réponse à un sondage téléphonique, il faut diviser le nombre de répondants par la somme de toutes les unités de l'échantillon : unités non résolues, unités non déclarantes qui sont dans le champ de l'enquête et unités déclarantes.

Pourquoi les taux de réponse sont-ils importants?

Les taux de réponse représentent une mesure importante en recherche par sondage parce qu'ils reflètent le niveau d'effort fourni durant la cueillette des données et aident à décrire la fiabilité des données qui en résultent. La non-réponse à un sondage peut biaiser les échantillons (et par conséquent les données d'enquête) en rendant la composition de l'échantillon significativement différente de la population cible. Dans ce cas-ci, le biais se rapporte à la différence entre les unités d'échantillonnage et la population cible. Tout comme un échantillon choisi au hasard représente la population cible, il en va de même pour les répondantes et les répondants au sondage. L'effet de biais des non-réponses peut potentiellement augmenter à mesure que le taux de réponse diminue; ainsi, les maisons de sondages cherchent-elles à obtenir des taux de réponse plus élevés pour réduire les probabilités de biais de non-réponse. Cependant, les erreurs de sondages résultant de non-réponses se produiront seulement lorsqu'il y a des différences significatives entre les répondants et les non-répondants. Pourquoi? Les erreurs découlant des non-réponses sont fonction du taux de réponse et de l'étendue des différences entre les répondants et les non-répondants. Cela signifie que de faibles taux de réponse ne génèrent pas nécessairement des données de basse qualité.

En raison du déclin général observé dans les taux de réponse, la communauté de la recherche a commencé à mettre l'accent sur la validité des données liées aux faibles taux de réponse. Au cours de la dernière décennie, on a entrepris de nombreuses études pour faire progresser les connaissances dans ce domaine. Dans l'ensemble, les conclusions de ces études remettent en question le principe méthodologique selon lequel les faibles taux de réponse compromettent nécessairement la validité des données (Visser et coll., 1996; Keeter et coll., 2000; Curtin et coll., 2000; Merkle et Edelman, 2001; Halpenny et Ambrose, 2006). Selon ces études, des taux de réponse plus élevés ne produisent pas nécessairement des données plus précises, et les sondages comportant de faibles taux de réponse peuvent tout de même fournir des données utiles et valides, toutes choses étant égales–à condition que le choix de l'échantillon et la pondération, par exemple, soient faits avec soin. Les études renforcent la prémisse selon laquelle l'erreur de sondage découlant d'une non-réponse se produira seulement lorsque les répondants diffèrent des non-répondants. Pour les chercheurs en sondage, le problème est de comprendre quand la non-réponse ne causera pas d'erreur de sondage et quand elle introduira un biais qui affectera la fiabilité des données, à savoir dans quelles conditions les répondants et les nonrépondants ont-ils la plus grande probabilité d'être différents?

Dans l'impossibilité de prédire quand la non-réponse introduira un biais dans un échantillon, il est avantageux, pour toutes les personnes engagées dans la recherche par sondage, d'obtenir le plus haut taux de réponse possible dans les limites d'une étude en particulier. Bien qu'il soit de plus en plus difficile d'atteindre de forts taux de réponse, il faut toujours faire des efforts pour les maximiser. Cependant, il importe de considérer les efforts déployés pour accroître les taux de réponse dans le contexte de l'erreur totale dans un sondage; les erreurs d'échantillonnage, de couverture et de mesure peuvent toutes faire diminuer la qualité des données. Tout effort en vue de maximiser les taux de réponse au-delà d'un certain point peut aller à l'encontre du but recherché si les mesures font dévier les ressources de ces autres sources importantes d'erreurs potentielles. En outre, l'augmentation des taux de réponse ajoute souvent au coût de l'enquête. C'est pourquoi les mesures visant à maximiser les taux de réponse doivent tenir compte du budget de l'étude, du calendrier d'exécution, de l'utilisation des résultats et du niveau de précision nécessaire. En bref, les taux de réponse devraient être une des nombreuses considérations dont il faut tenir compte lorsqu'on entreprend la conception de la recherche.

Comme le montre le diagramme ci-dessous, il y a de nombreux domaines où le potentiel d'erreur peut avoir une incidence sur la qualité des données du sondage, les taux de réponse ne constituant qu'un exemple.

Erreur totale dans un sondage

Source : Robert Groves, colloque intitulé Practical Tools for Non-response Bias Studies (mars 2006).

Que considère-t-on comme des taux de réponse réalistes?

Au Canada, il n'y a pas de normes touchant les taux de réponse minimums acceptables. En outre, le secteur de la ROP ne dispose pas de seuil de taux de non-réponse servant à déterminer quand les résultats d'un sondage pourraient être sujets à un biais de non-réponse (Groves, à paraître). Des taux de réponse réalistes varieront en fonction de la méthode de collecte des données employée–par exemple, le sondage téléphonique, le sondage en ligne ou par la poste–et les paramètres spécifiques du sondage dont le budget, le temps, la population cible, la longueur et la base d'échantillonnage. Les taux de réponse types découlant de la plupart des sondages téléphoniques commerciaux atteignent présentement 10 à 20 % bien que certains sondages–comme les études omnibus et les sondages électoraux–donnent des taux de réponse à un chiffre (Halpenny et Ambrose, 2006).

Le comité des taux de réponse de l'ARIM a analysé les taux de refus de participer aux sondages téléphoniques et les taux de réponse en 1995, 1999 et 2002. Ces études portaient sur les taux de réponse aux sondages téléphoniques uniques–c'est-à-dire les sondages qui n'étaient pas des études de suivi ni des études omnibus. Ces sondages avaient des taux d'incidence de 50 % ou plus, s'appuyaient sur des échantillons aléatoires et n'avaient aucun demandeur identifiable. Les analyses de l'ARIM ont montré que les taux de réponse de ces sondages ont chuté à 12 % en 2002, alors qu'ils atteignaient 16 à 17 % entre 1995 et 1999.

Le Council for Marketing and Opinion Research (CMOR) des États-Unis fait aussi le suivi des taux de réponse, de participation et de refus dans ses études. Des moyennes récentes pour tous les sondages téléphoniques et les sondages à composition aléatoire (CA) apparaissent dans le tableau qui suit.

Taux de réponse moyens aux sondages téléphoniques aux États-Unis en 2004

Taux de réponse moyen	Nombre de sondages	Taux
Téléphone - ensemble	1 364	17,0 %
Téléphone - CA	761	9,17 %

Source : CMOR, septembre 2004.

Quoique ces données ne soient pas directement comparables à celles de l'ARIM à cause des différences dans le calcul des taux de réponse, elles indiquent une orientation semblable en ce qui concerne les taux de réponse. En 2004, le taux de réponse moyen aux États-Unis (pour tous les types de sondages téléphoniques) s'établissait à 17 % sur 1 364 sondages en entreprise, alors que pour les sondages à CA ce taux était de 9,17 % pour 761 sondages en entreprise. Ces moyennes sont passablement plus basses que celles de 2001 alors que, dans l'ensemble, le taux de réponse moyen atteignait 23,8 % pour les sondages téléphoniques et 12,2 % pour les sondages téléphoniques à CA.

Les taux de réponse moyens relatifs à la satisfaction de la clientèle, les échantillons basés sur des listes et les sondages téléphoniques interentreprises tels que suivis par le CMOR apparaissent dans le tableau suivant.

Taux de réponse moyens aux sondages téléphoniques aux États-Unis en 2004

Taux de réponse moyen	Nombre de sondages	Taux
Satisfaction de la clientèle	69	32,96 %
Liste	414	30,93 %
Interentreprises	120	17,15 %

Source : CMOR, septembre 2004.

Comme prévu, ces taux de réponse sont nettement plus élevés que ceux que l'on rapporte pour les sondages téléphoniques à CA. Dans tous les cas, les efforts de collecte des données pourraient se fonder sur des listes, alors que dans certains autres–en particulier les sondages sur la satisfaction de la clientèle–les répondantes et les répondants avaient intérêt à répondre au sondage.

Organisation et usage des pratiques exemplaires

Le présent document comprend 50 pratiques exemplaires conçues pour que les organismes atteignent le plus haut taux de réponse possible dans une étude particulière. Ces pratiques exemplaires ont été mises au point à la suite d'un examen exhaustif de la documentation la plus courante reliée aux taux de réponse aux sondages téléphoniques. Elles sont organisées en fonction des quatre principales étapes d'une étude de recherche : conception, collecte des données, analyse et établissement de rapports. La description de chaque pratique exemplaire comprend les éléments suivants :

• définition de la pratique exemplaire ou de la norme de recherche;
• raison d'être de la pratique exemplaire et questions importantes à considérer;
• information sur l'application des lignes directrices s'y rapportant–c'est-à-dire les mini-pratiques exemplaires.

Ce document est un ouvrage de référence de base destiné aux personnes qui font des sondages téléphoniques pour le gouvernement du Canada. Il est augmenté d'une bibliographie où se trouvent des renseignements détaillés. Pour plus de commodité, les lecteurs trouveront des renvois, lorsque nécessaire, dans tout le document. Il comprend aussi une Liste de vérification des pratiques exemplaires qui se trouve à la page 11. Elle s'emploie seule ou avec ce document de référence plus complet. Les pratiques exemplaires portent des noms correspondant à ceux de la liste de vérification pour que les lecteurs établissent plus facilement des correspondances entre cette liste et le document intégral.

Enfin, les questions relatives aux taux de réponse peuvent être abordées durant un projet, mais l'accent doit toujours porter sur la conception de celui-ci et sur la collecte des données pour maximiser les taux de réponse. De plus, ce ne sont pas toutes les pratiques exemplaires décrites ici qui seront appropriées ou utilisables dans toutes les études de ROP. Dans cette optique, certaines pratiques exemplaires sont plus efficaces que d'autres quand il s'agit de maximiser les taux de réponse. Tous les facteurs étant égaux, l'une des choses les plus importantes qu'un organisme peut faire pour aider à maximiser les taux de réponse est de consacrer un temps suffisant à la cueillette des données. L'organisme devrait aussi se concentrer sur le questionnaire du sondage pour qu'il soit exempt de tout biais, mesure ce qu'il doit mesurer et soit aussi bref, clair et simple que possible.

Navigation pour Document « Améliorer la participation des répondants aux sondages téléphoniques »