Troisième étape : Analyse

3.0 Aborder la non-réponse aux sondages

Pratiques exemplaires

3.0.1 Comparer les taux de réponse entre les sous-groupes.

Il faut calculer et comparer les taux de réponse entre les principaux sous-groupes composant la population cible. Ces sous-groupes comprennent par exemple l'âge, le sexe et la région lors d'un sondage visant le grand public. Cette méthode n'aide pas à déterminer l'étendue du biais de nonréponse, mais elle peut indiquer s'il y a une probabilité de biais de non-réponse. Si les taux de réponse sont assez semblables entre les sous-groupes, le biais de non-réponse–s'il existe–aura vraisemblablement une incidence limitée sur les données. Le problème inhérent à cette approche est qu'il y a d'autres causes de non-réponse à part les variables se rapportant à de tels sous-groupes. En d'autres mots, il est improbable que la propension des réponses soit uniquement affectée par les variables d'un sous-groupe (Groves, à paraître). Comparer ces taux de réponse est un bon début, mais cet exercice ne devrait pas remplacer d'autres méthodes de traitement de la non-réponse aux sondages.

3.0.2 Pondérer les données du sondage lorsque possible.

L'ajustement statistique, ou pondération par variables observables, est l'une des approches les plus courantes pour aborder la non-réponse aux sondages (Groves et coll., 2001). La pondération des données aide le chercheur à s'assurer que les résultats présentés au lecteur représentent la population cible, quand on peut tenir pour acquis qu'il n'existe pas ou peu de biais de non-réponse. Avec cette méthode, les paramètres provinciaux, démographiques, socioéconomiques et autres paramètres descriptifs de l'échantillon du sondage sont pondérés pour tenir compte des nonrépondants. Si, dans un sondage grand public, 30 % des réponses provenaient de l'Ontario, la pondération pourrait s'appliquer pour que ces cas aient une importance relative appropriée–c'està-dire qu'ils représentent 38 % de l'échantillon, ce qui est la part actuelle de l'Ontario par rapport à la population du Canada. Une description des méthodes de pondération et de la source des pondérations devrait être comprise dans la section du rapport portant sur la méthodologie pour faire en sorte que le sondage soit répété dans l'avenir.

La pondération est moins efficace quand on se penche sur le biais résultant parfois de la nonréponse. Le biais se produit lorsque la non-réponse à un sondage donne des différences entre les répondants et les non-répondants. Pour corriger un biais de non-réponse, les chercheurs ont besoin de comprendre quels facteurs affectent la probabilité qu'une personne accepte d'être interviewée^{Note 18}. Une telle compréhension est importante parce que les différences systémiques entre les répondants et les non-répondants peuvent s'étendre au-delà des variables observables–comme le sexe, le revenu et la région–pour lesquelles la pondération basée sur les données démographiques disponibles est normalement correcte.

3.0.3 Comparer les répondants et les non-répondants.

Là où c'est possible, il faut faire des analyses de non-réponse après la cueillette des données afin de comparer les caractéristiques des répondants et des non-répondants. Une telle comparaison permettra aux organismes d'évaluer comment les répondants diffèrent des non-répondants en se basant sur les données démographiques ou d'autres variables connues. Toute différence entre les deux groupes indique un biais de non-réponse. Des façons pratiques de comparer les caractéristiques des répondants et des non-répondants comprennent les éléments qui suivent.

• Employer des sources externes : Les sources externes de données peuvent contenir des variables semblables aux variables clés du sondage. La source de données externes est le point de référence auquel il est possible de comparer les résultats du sondage pour obtenir des variations. En choisissant un sondage comparable, il importe d'en chercher un qui comprend de très hauts taux de réponse pour faire diminuer la probabilité selon laquelle la source de comparaison contiendra une erreur de non-réponse. Par exemple, si le sondage mesure l'emploi de l'Internet, l'Enquête sur l'utilisation d'Internet à la maison, de Statistique Canada, pourrait fournir une source de comparaison utile. Toute différence relative à la fréquence d'utilisation de l'Internet, entre le sondage et l'autre source, donne une estimation du biais global.
• Employer des variables disponibles : Au lieu de chercher une source externe pour comparer les variables du sondage, il faut songer à comparer la composition de l'échantillon final à des caractéristiques clés contenues dans la base de sondage ou dans une source comparable de données administratives. La différence entre les deux fournit une estimation du biais de non-réponse. Par exemple, les ministères ou les organismes qui entreprennent des évaluations de programme ou des sondages sur la satisfaction de la clientèle pourraient disposer de données administratives pour comparer directement les répondants et les non-répondants au sondage. S'il n'y a pas d'information disponible pour comparer les répondants et les non-répondants, ce qui pourrait fort probablement être le cas d'un sondage à CA mené auprès du grand public, il faut penser à établir un lien entre les échanges téléphoniques et les codes postaux. On peut obtenir des renseignements sociodémographiques sur les ménages d'un secteur à partir des codes postaux et s'en servir pour comparer les répondants et les non-répondants (p. ex. GéoPoste de Postes Canada).
• Observations faites durant la cueillette des données : Il faut songer à demander aux intervieweurs de faire des observations sur les répondants et les non-répondants. Lorsque ces observations sont en corrélation avec des variables clés du sondage, elles peuvent révéler un biais de non-réponse dans les variables de celui-ci. Par exemple, quand on détermine pourquoi un cotisant à un programme n'aurait pas réclamé de prestations, un organisme pourrait demander aux intervieweurs de mesurer les capacités et la compréhension langagières de tous les répondants potentiels avec lesquels ils ont communiqué en utilisant un bref outil d'évaluation créé à cette fin. L'organisme se pencherait sur les réponses des personnes dont l'habileté à converser en français ou en anglais est limitée, et comparerait la proportion des répondants de ce groupe à la proportion des non-répondants du même groupe. Cet exercice serait susceptible d'aider l'organisme à déterminer si l'incidence des barrières linguistiques est sous-estimée dans les conclusions du sondage–en d'autres mots, si les personnes qui font face à des barrières linguistiques sont sous-représentées dans le bassin final de l'échantillon.
• Implanter l'échantillon : Trouver une source dont les caractéristiques hautement fiables se rapportent à des variables clés du sondage et intégrer à l'échantillon certaines unités ayant et n'ayant pas cette caractéristique. À la fin de la cueillette des données, calculer les taux de réponse par caractéristique–les cas d'implantation contre l'échantillon principal–pour estimer la propension des réponses. Si les taux sont semblables, les estimations corrélées avec les caractéristiques renferment des biais mineurs.

Tout dépendant de la quantité et de la nature de l'information connue au sujet des unités de la base de sondage, ces approches peuvent être très utiles dans l'évaluation de la fiabilité des données du sondage^{Note 19}. Si on observe peu de différences entre les répondants et les non-répondants, la probabilité d'avoir des données avec biais résultant des non-réponses est de ce fait faible.

3.0.4 Comparer les répondants « immédiats » aux répondants « plus tardifs ».

Une autre façon de traiter les non-réponses est de comparer les réponses des répondants « immédiats » et des répondants « tardifs ». Les répondants tardifs sont des personnes qui n'ont pas rapidement terminé une interview, ce qui a exigé plus d'efforts de la part de l'intervieweur–par exemple, des personnes qui ont eu besoin de mesures incitatives, de rappels multiples ou de conversion des refus. Ce ne sont pas des gens qui ont terminé une interview vers la fin de la période de cueillette des données. La raison pour laquelle on compare les répondants immédiats aux répondants tardifs est l'hypothèse selon laquelle les répondants tardifs pourraient se rapprocher, jusqu'à un certain point, des non-répondants, parce que, si l'intervieweur n'avait pas fait d'efforts supplémentaires pour les rejoindre, ils se seraient aussi ajoutés au groupe des non-répondants. Si une comparaison de ces deux groupes ne révèle pas de différences statistiques entre les mesures de référence, il est possible de généraliser les données du sondage avec plus de fiabilité. La faiblesse de cette méthode est de tenir pour acquis que les non-répondants ressemblent aux répondants difficiles à rejoindre. Puisque cette hypothèse pourrait ne pas s'appliquer universellement, cette technique donne de l'information imprécise sur l'existence du biais de non-réponse^{Note 20}.

3.0.5 Effectuer des suivis des non-répondants.

Une des clés pour traiter les non-réponses est de connaître la mesure dans laquelle elles seraient susceptibles d'affecter les données en introduisant un biais. Une méthode employée pour quantifier la différence entre les répondants et les non-répondants est de sonder un sous-échantillon de nonrépondants après le travail sur le terrain. On compare les réponses données par ce sous-groupe à celles du groupe de répondants. En général, on n'utilise pas le questionnaire complet comme instrument de recherche. On administre plutôt une version raccourcie du questionnaire original qui comprend des variables critiques intéressant le ministère ou l'organisme qui fait le sondage. S'il n'y a pas de différences statistiques observables entre les répondants et le sous-échantillon de nonrépondants sur ces mesures clés du sondage, les résultats globaux peuvent être généralisés avec plus de confiance à la population cible.

Un suivi des non-répondants a pour inconvénient de coûter cher et d'exiger du temps. Le chercheur ou le ministère ou l'organisme qui commande le sondage téléphonique n'a pas toujours le temps ni les ressources financières nécessaires pour faire ce genre de suivi. Il va sans dire que si les non-répondants étaient difficiles à rejoindre ou réticents durant le travail sur le terrain, ils le seront également au cours de l'exercice de suivi. De tels suivis comportent des rappels et/ou un changement du mode de cueillette des données, et ils pourraient exiger le recours à des mesures incitatives ou des intervieweuses et des intervieweurs d'élite pour persuader les non-répondants de terminer une interview. Les organismes ont besoin de décider si le niveau de non-réponse à un sondage a des chances de mener à un biais de non-réponse. S'il y a raisonnablement lieu de croire que les non-répondants peuvent être systématiquement différents des répondants, sonder un souséchantillon de non-répondants devient nécessaire ou valable.

Navigation pour Document « Améliorer la participation des répondants aux sondages téléphoniques »