Remarque
Les sections écrite en bleu et présentées entre 
constituent le texte proposé par les membres du comités consultatifs.
Préparé pour Services publics et Approvisionnement Canada
Nom du fournisseur : Sage Research Corporation
Numéro du contrat : EP363-182149/001/CY
Valeur du contrat : 95 106,45 $
Date d’attribution des services : 7 décembre 2017
Date de livraison des services : 26 octobre 2018
Numéro d’enregistrement : POR 058-17
Ce rapport de recherche sur l’opinion publique présente les résultats des travaux effectués entre le 11 avril et le 22 août 2018 par un comité de recherche composé de professionnels compétents et influents provenant du secteur privé, de Statistique Canada et d’établissements universitaires.
Cette publication peut être reproduite à des fins non commerciales seulement. Veuillez au préalable obtenir une permission écrite de Services publics et Approvisionnement Canada. Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec Services publics et Approvisionnement Canada à questions@tpsgc-pwgsc.gc.ca ou à l’adresse suivante :
Services publics et Approvisionnement Canada
Portage III Tour A
16A1-11 rue Laurier
Gatineau QC K1A 0S5
This publication is also available in English under the title: The Advisory Panel on Government of Canada Quantitative Public Opinion Research Quality
Numéro de catalogue : P103-14/2019F-PDF
Numéro international normalisé du livre (ISBN) : 978-0-660-28291-6
Publication connexe (numéro d’enregistrement : POR 058-17):
Numéro de catalogue : P103-14/2019E-PDF (rapport final, anglais)
Numéro international normalisé du livre (ISBN) : 978-0-660-28290-9 (rapport final, anglais)
© Sa Majesté la Reine du chef du Canada, représentée par la ministre des Travaux publics et des Services gouvernementaux, 2019
Les sections écrite en bleu et présentées entre constituent le texte proposé par les membres du comités consultatifs.
La Direction de la recherche en opinion publique (DROP) est un fournisseur de services communs obligatoires chargé de donner des conseils sur la législation, les politiques, la méthodologie de recherche et les pratiques acceptées dans l’industrie. En vertu de la Politique sur les communications et l’image de marque, la DROP a également la responsabilité d’élaborer et de tenir à jour les normes du gouvernement du Canada. Les premières normes sur les sondages d’opinion publique menés par téléphone et en ligne ont été élaborées et mises en œuvre en 2009 et reposaient sur les travaux de 2 comités consultatifs distincts, l’un pour la recherche par téléphone et l’autre pour la recherche en ligne. Ces normes ont ensuite été révisées en 2013.
Étant donné les changements constants observés dans le secteur de la recherche sur l’opinion publique, la DROP entreprend un examen de ses normes quantitatives pour la recherche sur l’opinion publique effectuée par le gouvernement du Canada.
Le projet consistait à mettre sur pied un comité consultatif composé de professionnels compétents et influents du secteur privé, de Statistique Canada et d’établissements universitaires, pour qu’il formule des conseils au sujet des normes potentielles et des pratiques exemplaires relatives à la recherche sur l’opinion publique (ROP) menée selon des méthodes quantitatives par téléphone ou en ligne.
Le comité consultatif s’est penché et s’est prononcé sur les normes concernant les sujets suivants :
Les travaux sur les sujets susmentionnés visent à a) aider la DROP à réviser les normes et les lignes directrices existantes et, le cas échéant, à créer de nouvelles normes et lignes directrices pour orienter la qualité de la recherche par sondage entreprise pour le compte du gouvernement du Canada, et b) fournir à la DROP des conseils d’experts pour traiter les méthodologies de recherche en évolution.
Le comité consultatif sur la qualité de la recherche quantitative sur l’opinion publique au gouvernement du Canada réunissait 10 membres, soit des membres provenant du secteur privé, des membres provenant du milieu universitaire et ayant une expérience en études de marché, et un membre provenant de Statistique Canada. Les membres ont été recrutés par la DROP avec le concours de Sage Research.
Les travaux du comité consultatif se sont déroulés entre le 11 avril et le 22 août 2018. Le processus auquel a pris part le comité consultatif comportait une cyberconférence initiale suivie par 3 babillards électroniques. Les membres du comité ont reçu, aux fins d’examen et de rétroaction, 4 rapports de travail résumant les résultats et proposant les orientations à intégrer au rapport final du comité consultatif.
Les orientations fournies par le comité consultatif concernant la recherche quantitative sont exprimées sous la forme de normes et de lignes directrices, assorties de commentaires à l’appui.
Même si le comité consultatif n’était pas tenu de trouver un consensus, il y est parvenu pour bon nombre des aspects des normes et des lignes directrices sur la recherche quantitative.
La recherche qualitative vise à révéler une vaste gamme d’opinions et d’interprétations plutôt qu’à mesurer le pourcentage de la population cible ayant un point de vue particulier. Il convient d’éviter d’utiliser ces résultats pour estimer la proportion numérique ou le nombre des membres d’une population qui épousent un point de vue particulier, car ces résultats ne sont pas statistiquement extrapolables.
Valeur du contrat : 95 106,45 $, Taxe de vente harmonisée (TVH) comprise
J’atteste, par les présentes, à titre d’agente principale de la Sage Research Corporation, que les produits livrables sont en tous points conformes aux exigences de neutralité politique énoncées dans la Politique sur les communications et l’image de marque du gouvernement du Canada et dans la Directive sur la gestion des communications. En particulier, les produits livrables ne contiennent pas de renseignements sur les intentions de vote électoral, les préférences quant aux partis politiques, les positions des partis ou l’évaluation du rendement d’un parti politique ou de ses dirigeants.
Anita Pollak
Présidente
Sage Research Corporation
Le comité a donné son avis sur les sujets suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La section 4, procédures d’échantillonnage, comprend des normes relatives à l’échantillonnage probabiliste, à l’échantillonnage non probabiliste et au recensement, mais ne donne pas la définition de ces types de procédures d’échantillonnage.
Il faudrait élargir la section 4.1.2 (normes pour les sondages en ligne)/4.1.1 (normes pour les sondages téléphoniques) et a) y inclure la définition de l’échantillonnage probabiliste et de l’échantillonnage non probabiliste et en donner des exemples, et b) y inclure la définition du recensement.
L’objectif consiste à réviser les normes afin d’insister sur l’importance de viser la représentativité dans les sondages non probabilistes, et expliquer dans la proposition la façon d’y arriver. Les normes actuelles (sections 4.3.2, procédures d’échantillonnage, et 1.2.2, documents de propositions) abordent cet objectif dans une certaine mesure, mais l’intention consiste à accroître le caractère explicite et détaillé de l’exigence.
La majorité des membres du comité étaient d’accord pour inclure un texte soulignant l’importance de prendre des mesures visant à améliorer la représentativité des résultats des sondages non probabilistes (dans les sections 4.3.2 et 1.2.2). Cependant, ils ne sont pas parvenus à déterminer par consensus s’il devrait s’agir d’une norme ou d’une ligne directrice.
Le point 3 de la section 1.2.4, documents de propositions, donne la liste des renseignements à fournir lorsque l’on a recours à un fournisseur d’échantillons en ligne. Il faudrait élargir cette section afin d’exiger des renseignements distincts et plus précis dans les propositions concernant les échantillons de sondages probabilistes et non probabilistes en ligne.
Les membres du comité se sont entendus sur les types de renseignements à exiger dans la proposition concernant les échantillons de sondages probabilistes en ligne. En ce qui concerne les échantillons de sondages non probabilistes en ligne, les points de vue différaient à l’égard de quelques exigences de divulgation de renseignements en particulier.
Le comité a donné son avis sur les sujets suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Le comité a été invité à clarifier l’utilisation des mesures statistiques à l’égard des sondages non probabilistes, étant donné les récents développements dans l’application d’autres mesures de la précision statistique.
La section 4.3.3, procédures d’échantillonnage, devrait inclure a) une formulation révisée qui explique plus clairement que les marges d’erreur d’échantillonnage ne s’appliquent pas aux données des enquêtes non probabilistes; b) les restrictions quant à l’utilisation d’autres mesures de la précision (p. ex., les intervalles de crédibilité bayésiens) dans les enquêtes non probabilistes; c) les documents exigés dans la proposition et le rapport d’enquête lorsque d’autres mesures de la précision sont utilisées.
Il s’agissait de déterminer s’il faut élargir les exigences actuelles relatives à la déclaration du niveau de précision des sondages probabilistes (sections 14.7.2/15.7.2).
Les membres ont proposé plusieurs formulations révisées, mais ne sont pas parvenus à un consensus au sujet de la formulation la plus appropriée.
La section 4.6, procédures d’échantillonnage, contient 2 énoncés au sujet du traitement statistique des résultats d’un recensement. Le comité a été prié d’indiquer si les 2 énoncés sont cohérents.
Il a été convenu qu’une partie de la section 4.6.3 devrait être supprimée, car elle est incompatible avec la norme indiquant de ne pas utiliser de tests statistiques inférientiels dans un recensement.
Le comité a également été invité à déterminer si une enquête cesse d’être un recensement lorsque le taux de réponse tombe sous un certain seuil.
Les membres se sont entendus pour dire qu’un recensement dont le taux de réponse est inférieur à 100 % reste un recensement, mais qu’on le qualifierait plus exactement de tentative de recensement. La marge d’erreur d’échantillonnage ne s’applique pas, mais d’autres sources d’erreur de sondage peuvent encore être présentes, comme le biais de non-réponse.
Le comité a donné son avis sur les sujets ci-après et a recommandé d’apporter des modifications à la section 2, conception du questionnaire (2.1.2; 2.1.3) :
La section 2.1.2 prévoit l’exigence générale (section 2.1.2) d’informer les répondants, au début d’un sondage, de la confidentialité de leurs réponses au questionnaire, mais les normes actuelles n’indiquent aucune formulation précise sur la façon d’introduire l’ensemble des questions démographiques qui sont posées vers la fin du questionnaire.
Ajouter une exigence stipulant que l’introduction des questions démographiques doit aborder le sujet de la confidentialité. Les membres du comité s’entendaient sur la majeure partie de la formulation de cette introduction, mais ne sont pas parvenus à un consensus concernant l’utilisation des termes « confidentiel » et/ou « anonyme » dans cette partie.
Il faudrait supprimer la catégorie de réponse « préfère ne pas répondre » (et les formes connexes) dans la liste des réponses requises dans les sondages en ligne, mais la conserver comme catégorie de réponse optionnelle.
Quelques-unes des questions démographiques requises comportent une liste d’options de réponses relativement longue, notamment les questions sur l’âge, les études et le revenu familial.
Réviser la section 2.1.3 pour permettre de modifier la formulation d’une question démographique de façon à ce que l’intervieweur puisse dire au répondant qu’il peut s’arrêter à la catégorie qui le concerne.
Dans la question requise actuelle, les renseignements sur le sexe sont recueillis très différemment entre le sondage en ligne et le sondage téléphonique. La version téléphonique n’inclut pas vraiment de question sur le sexe, mais se fie plutôt à l’observation de l’intervieweur. La version en ligne pose une question; elle repose donc sur l’auto-classification du répondant au lieu de se fier à la classification de l’intervieweur. Ni la version téléphonique ni la version en ligne n’offrent une option de réponse « Autre ».
Réviser la question requise pour tous les sondages de ROP (par téléphone et en ligne) de façon à a) y inclure une option de réponse « Autre » et b) exiger que la question sur le sexe soit lue aux répondants dans les sondages téléphoniques.
À l’heure actuelle, il existe 2 questions requises concernant la langue : la langue maternelle et la langue parlée le plus souvent à la maison; l’utilisation de l’une ou l’autre des questions, voire des 2, est laissée à la discrétion du chercheur, en fonction des objectifs du sondage.
Réviser cela de façon à demander seulement la langue parlée le plus souvent à la maison.
Faire passer 2 des catégories d’âge actuelles (de 35 à 49 ans et de 50 à 54 ans) à 35 à 44 ans et à 45 à 54 ans afin d’obtenir une répartition plus uniforme des catégories d’âge.
Les membres du comité se sont demandé si la catégorie d’âge actuelle de 18 à 34 ans devrait être divisée en 2 catégories (de 18 à 34 ans et de 25 à 34 ans) ou laissée telle quelle, mais ne sont pas parvenus à un consensus en la matière.
Afin de mieux harmoniser les options de réponse avec les systèmes scolaires au Québec et dans le reste du Canada, combiner « 8e année ou moins » et « Études secondaires non terminées » en une seule catégorie, « Sans diplôme d’études secondaires ou l’équivalent ».
Réviser la formulation de la question pour préciser la période de l’« année dernière » pour le revenu familial.
Ces renseignements peuvent parfois se révéler utiles dans les contrôles de quotas ou la pondération. Ajouter une exigence à la section 2.1.3 a) afin d’inclure une question sur la situation d’usage du téléphone dans le ménage dans tous les sondages téléphoniques.
Les normes actuelles n’abordent pas la possibilité qu’un sondage en ligne soit rempli sur un appareil mobile, ni les implications que cela peut avoir. Le comité a été prié de donner son avis au sujet d’une révision des normes portant sur les aspects suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes pour les sondages en ligne :
Il faudrait s’attendre par défaut à ce qu’un échantillon de sondage en ligne de ROP inclue des répondants qui utilisent soit un ordinateur, soit un appareil mobile pour répondre au sondage, et qu’il existe une version du questionnaire du sondage adaptée aux appareils mobiles.
Il est recommandé d’apporter des ajouts aux sections 1.2.2 et 1.2.5 de la section documents de propositions pour rendre ces attentes explicites.
Le comité a envisagé 3 révisions et ajouts possibles à la section 2, conception du questionnaire, en ce qui concerne la conception des questionnaires dans les sondages en ligne auxquels on peut répondre au moyen d’appareils mobiles.
Les membres du comité se sont accordés à dire qu’une norme n’est pas appropriée, étant donné qu’il n’y a pas de travaux de recherche concluants sur la meilleure approche conceptuelle à utiliser pour la conception ou la disposition des questions pour tous les appareils, et que l’approche conceptuelle optimale peut varier d’un sondage à l’autre et d’une question à l’autre au sein d’un même sondage. Toutefois, l’ajout d’une ligne directrice qui souligne les options qui s’offrent aux chercheurs à la section 2, conception du questionnaire, pourrait être envisagé.
La norme pour la durée des questionnaires en ligne est de 20 minutes, mais une durée moyenne de 15 minutes ou moins est « fortement encouragée ». Le comité s’est demandé s’il faudrait laisser la norme sur la durée du sondage telle quelle ou la réviser afin de préciser une durée plus courte pour les sondages adaptés aux appareils mobiles.
Le comité a recommandé de ne pas changer la norme existante sur la durée du sondage.
La plupart des membres ont convenu qu’il faudrait ajouter à la section 2, conception du questionnaire, une liste d’exemples qui servira de rappel utile aux chercheurs concernant les éléments qui rendent un questionnaire plus adapté aux appareils mobiles.
La norme actuelle précise le nombre total de prétests à effectuer, mais ne répartit pas ce chiffre par type d’appareil.
Le comité a envisagé des révisions et ajouts possibles à la section 3, prétest, en ce qui concerne les sondages en ligne auxquels on peut répondre sur un appareil mobile ou un ordinateur.
Il faudrait réviser la section 3, prétest, pour y inclure une exigence de prétest sur ordinateur et sur appareil mobile lorsqu’on peut répondre à un sondage au moyen des 2 types d’appareils. Le comité a proposé plusieurs options de rechange pour la formulation de l’exigence.
Les membres du comité se sont accordés à dire que la section 3.1.5, qui exige au moins 10 entrevues de prétest dans chaque langue, devrait être laissée telle quelle, étant entendu que le prétest comprend un échantillon d’appareils différents.
Dans un sondage auquel on peut répondre sur un appareil mobile et sur un ordinateur, un effet de « méthode » peut se produire. Autrement dit, les conceptions et dispositions différentes pour une question donnée pourraient causer des répartitions différentes des réponses.
Le comité a examiné s’il devrait y avoir une exigence de collecte de renseignements sur le type d’appareil et une exigence visant une analyse des effets de méthode par type d’appareil.
Il faudrait ajouter à la section 7, collecte des données, une norme exigeant la collecte de données sur le type d’appareil utilisé pour répondre à un sondage.
Le comité n’était pas favorable à l’ajout d’une norme exigeant l’analyse des effets de méthode pour chaque sondage (section 14.6, contrôle de la qualité). Les membres étaient d’avis que l’on n’en sait pas suffisamment sur les effets de méthode par type d’appareil à l’heure actuelle pour préciser les exigences analytiques relatives aux sondages individuels, et qu’il est nécessaire de mener une « recherche sur la recherche » au moyen des données regroupées sur les appareils recueillies au fil des sondages pour déterminer si une norme concernant l’analyse des effets de méthode potentiels serait appropriée.
Il se peut que les utilisateurs d’appareils mobiles aient à payer des coûts pour participer à un sondage de recherche. Les normes actuelles ne comportent aucune exigence quant à la façon dont de tels coûts devraient être gérés.
Les membres du comité ont convenu qu’il ne devrait pas y avoir de norme concernant la prise en charge des coûts des répondants associés à l’utilisation d’un appareil mobile : a) les répondants ont toujours le choix de participer ou non à un sondage de ROP en ligne ou par téléphone du gouvernement du Canada (GC); b) les normes actuelles exigent que certains renseignements soient fournis au sujet du sondage (p. ex., la longueur) afin de permettre aux répondants de faire un choix éclairé au sujet de leur participation; c) à moins que l’indemnisation soit établie à un montant fixe arbitraire pour tous les utilisateurs d’appareils mobiles, la logistique liée à l’établissement du montant d’indemnisation à verser à chaque répondant et la documentation du montant aux fins de la facturation seraient très complexes et difficiles, voire impossibles.
Une question importante liée à l’échantillonnage dans les sondages téléphoniques concerne l’inclusion des utilisateurs de téléphone cellulaire et des utilisateurs de téléphone filaire. Cela peut avoir un effet sur la couverture de la population visée par le sondage, la ou les bases d’échantillonnage utilisées pour le sondage et, potentiellement, la pondération. Un échantillon de sondage téléphonique probabiliste de la population générale des adultes canadiens doit comprendre un échantillon d’utilisateurs de téléphone cellulaire. Le comité a été invité à envisager des révisions aux sections documents de propositions et procédures d’échantillonnage dans les normes pour les sondages téléphoniques.
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Le comité a examiné 3 révisions ou ajouts potentiels à la section 1, documents de propositions, des normes pour les sondages téléphoniques.
Envisager de réviser le texte du point 1 de la section 1.2.3 afin d’exiger la déclaration d’un taux de réponse ou d’un taux de participation pour les sondages par téléphone cellulaire et par téléphone filaire lorsque les 2 types d’appareils peuvent être utilisés.
Le comité a été prié d’examiner s’il faudrait apporter des révisions au point 7 de la section 1.2.4 dans documents de propositions, qui indique qu’il faut donner une justification lorsque l’échantillon comprend des entrevues réalisées sur des téléphones cellulaires. Le texte actuel minimise peut-être trop l’importance d’inclure des utilisateurs de téléphone cellulaire dans l’échantillon.
Il faudrait réviser la formulation du point 7 de la section 1.2.4 afin de reconnaître l’importance des échantillons d’utilisateurs de téléphone cellulaire dans les sondages téléphoniques. Plusieurs propositions de rechange ont été faites au sujet de l’approche à adopter.
La norme actuelle à la section 4.2.3c dans procédures d’échantillonnage traite de la divulgation des questions liées à la couverture dans les échantillons probabilistes et donne un exemple d’échantillon composé de ménages n’utilisant que le téléphone cellulaire.
Ajouter à la section 4.2.3c, comme exemple additionnel, un échantillon composé de ménages utilisant uniquement le téléphone filaire; étant donné le nombre croissant de ménages possédant uniquement un ou des téléphones cellulaires, un échantillon composé de ménages utilisant uniquement le téléphone filaire pourrait comporter une erreur de couverture substantielle.
Les normes concernant les rappels pour les sondages téléphoniques figurant à la section 7, collecte des données (7.2), exigent 8 rappels au minimum avant la suppression d’un numéro de téléphone. Des membres craignaient que ce nombre de rappels soit excessif et puisse être perçu comme du harcèlement. La norme actuelle a) ne donne pas non plus de définition du rappel et b) ne fait pas la distinction entre les rappels aux téléphones filaires et les rappels aux téléphones cellulaires. Le comité a été prié d’examiner le nombre de rappels qui devrait constituer la norme, et devait aussi se demander s’il faut instaurer une norme différente pour les répondants joints à un numéro de téléphone cellulaire.
Le comité a formulé 2 principales recommandations de révision concernant la section 7.2 :
Le comité a opté pour la même exigence relative aux rappels dans le cas des téléphones cellulaires et des téléphones fixes.
Le comité devait envisager des révisions à la section recours à la réponse vocale interactive (5.3) des normes pour les sondages téléphoniques relativement aux aspects ci-dessous :
Le comité devait également donner son avis concernant les normes sur les questions suivantes :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La section 5.3.1 décourage, mais n’interdit pas, le recours aux sondages par RVI pour la ROP. Elle présente aussi des circonstances où la RVI peut constituer une méthode appropriée. Le comité a examiné s’il y a lieu de changer ce paragraphe sur le recours à la réponse vocale interactive.
La majorité des membres du comité ont suggéré d’ajouter d’autres exemples de situations où la méthode de collecte de données par RVI peut être acceptable, tout en maintenant le principe selon lequel la RVI n’est pas la méthode à privilégier pour les sondages de ROP du GC.
La section 5.3.2 stipule que les exigences de divulgation de renseignements concernant les sondages par RVI sont identiques à celles des sondages réalisés par un intervieweur, et elle exige également que les renseignements soient fournis dans l’introduction du sondage. Comme les sondages par RVI sont habituellement plus courts que les sondages réalisés par un intervieweur, les membres du comité ont été invités à se prononcer sur 2 questions : a) si les éléments requis dans les introductions des sondages téléphoniques devraient être révisés ou raccourcis pour les sondages par RVI et b) s’il était possible de communiquer certains renseignements nécessaires à la fin du sondage plutôt qu’au début.
La plupart des membres du comité ont indiqué que les renseignements requis dans l’introduction du sondage devraient être identiques pour les sondages par RVI et les autres sondages. Les membres ne sont pas parvenus à un consensus concernant le moment où divulguer les différents renseignements dans le questionnaire. Toutefois, si l’on décidait que certains types de renseignements peuvent être divulgués vers la fin d’un sondage, cette option devrait être possible pour tous les sondages, pas seulement les sondages par RVI.
La norme sur la durée des sondages indique qu’ils doivent être achevés en 20 minutes. On y encourage fortement une durée de 15 minutes ou moins.
Il faudrait ajouter à la section 2.1.1, conception du questionnaire, une ligne directrice qui incite à conserver la durée d’un sondage par RVI entre 5 et 7 minutes, voire moins.
Les exigences de rappel prévues dans la section 7.2, rappels, ne font pas la distinction entre les sondages réalisés par un intervieweur et les sondages réalisés par RVI. Le comité a examiné s’il y a lieu d’apporter à cette section des changements propres aux sondages par RVI.
Les membres ont proposé plusieurs solutions de rechange, qui allaient de la recommandation de dispenser les sondages par RVI des exigences de rappel associées aux sondages réalisés par un intervieweur, à l’obligation que les sondages par RVI respectent les mêmes exigences de rappel que les sondages réalisés par un intervieweur.
Les normes actuelles traitent déjà des sondages avec méthode mixte dans une certaine mesure. Le comité a été prié de donner son avis au sujet d’une révision possible des normes concernant les aspects suivants des sondages avec méthode mixte :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La principale préoccupation associée aux sondages avec méthode mixte est la possibilité d’un biais lié aux méthodes. Le comité a examiné si, et comment, les exigences pour les documents de propositions doivent être élaborées de façon à indiquer plus clairement, dans la proposition, que le risque de biais lié aux méthodes est reconnu et que des mesures seront prises en conséquence.
Le comité a recommandé les ajouts suivants :
Réviser la section 4.5 dans procédures d’échantillonnage afin de souligner l’utilité d’employer des méthodes de collecte de données similaires afin de réduire au minimum le risque de biais lié aux méthodes.
À l’heure actuelle, il n’existe aucune norme de conception du questionnaire qui soit propre aux sondages avec méthode mixte.
Réviser la section 2.1 dans conception du questionnaire pour a) encourager la comparabilité de la formulation des questions et de la présentation des options de réponse entre les méthodes et b) souligner l’utilité que peuvent avoir les questions de référence pour détecter les biais liés aux méthodes.
La version actuelle de la section 3, prétest, ne fait aucune mention précise de prétests distincts propres à chaque méthode dans un sondage avec méthode mixte. Le comité a été prié d’examiner s’il faudrait exiger un nombre minimum d’entrevues de prétest en français et en anglais pour chaque méthode dans un sondage avec méthode mixte.
Les points de vue des membres différaient à cet égard, et aucun consensus ne s’est dégagé.
À l’heure actuelle, dans la section 8, taux relatifs aux résultats, il n’existe pas de norme sur la façon de calculer les taux relatifs aux résultats pour un sondage avec méthode mixte.
Il faudrait ajouter une norme qui décrit les principes généraux de calcul et de présentation des taux relatifs aux résultats pour les sondages avec méthode mixte. Les méthodologies de recherche qui ne permettent le calcul d’aucun taux relatif aux résultats obligatoire (taux de réponse ou taux de participation) devraient être interdites dans les sondages de ROP du GC.
Il faudrait mettre à jour la norme de présentation de la collecte des données aux sections 14.5.2/15.5.2, exigences obligatoires relatives au rapport d’enquête, en utilisant la formulation mise à jour du point 7 de la section 1.2.4 dans documents de propositions.
Il faudrait réviser les sections 14.6.3/15.6.3, contrôle de la qualité, a) pour veiller à la clarté des décisions prises quant à la combinaison ou la non-combinaison de données entre méthodes, et b) pour exiger des descriptions de tout ajustement apporté aux données pour atténuer les effets de méthode.
La section 6, collecte de données auprès d’enfants, de jeunes ou de répondants vulnérables, ne fait pas référence à l’utilisation ou non d’incitatifs pour cette population de sondage, ou à la façon dont ils sont utilisés le cas échéant. La section 7, collecte des données (7.5 [téléphone]/7.6 [en ligne]), qui traite des incitatifs et des honoraires ne fait pas référence à cette population.
Il faudrait ajouter aux sections 7.5/7.6 des orientations qui traitent de questions telles que la détermination de la personne qui recevra l’incitatif et l’obtention du consentement parental.
Le comité a été invité à donner son avis au sujet des révisions ou ajouts possibles à apporter aux normes concernant les aspects suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Les méthodologies mobiles et en ligne créent la possibilité de recueillir divers types de données personnelles de manière « passive », c’est-à-dire sans interaction directe avec les répondants. Une réflexion a été faite sur la collecte de données passive qui était autorisée et sur les circonstances dans lesquelles cette collecte était autorisée dans le contexte des sondages. Le comité a été prié d’analyser si les normes actuelles suffisent pour répondre aux questions associées à la collecte de données passive dans le cadre des sondages.
Le comité a approuvé une révision des normes figurant dans la section 7.2, collecte des données, pour a) définir explicitement l’expression « collecte de données passive » et donner des exemples de « renseignements personnels », et b) noter les cas exceptionnels dans lesquels la collecte de données passive est légalement autorisée.
À l’heure actuelle, les normes sur les sondages téléphoniques et les sondages en ligne ne comprennent aucune norme portant spécifiquement sur les photographies et les enregistrements audio ou vidéo des répondants.
Le comité a approuvé l’ajout de normes à la section 5, maintien de la confiance du public, afin de a) préciser que les photographies et les enregistrements sont considérés comme des données personnelles et doivent être traités comme telles, et b) de clarifier la responsabilité des chercheurs lorsque les répondants sont priés de générer des photographies ou des enregistrements dans le cadre du sondage.
La section 5.2.1, évitement du harcèlement, des normes pour les sondages téléphoniques actuelles comprend une norme axée sur la sensibilité du sujet du sondage, mais n’aborde pas directement les problèmes qui peuvent être causés par l’environnement dans lequel se déroule l’entrevue. Comme les répondants sont de plus en plus susceptibles de répondre aux appels à l’aide d’un téléphone cellulaire, l’utilisation du téléphone dans certains environnements peut être problématique (p. ex., en conduisant, en marchant dans un endroit public). Que les répondants utilisent un téléphone mobile ou fixe, ils peuvent se trouver dans un environnement où ils pourraient être entendus.
La plupart des membres du comité ont appuyé l’ajout d’une ligne directrice visant à déterminer si le répondant à un sondage téléphonique se trouve à un endroit où il peut répondre à l’appel, pour les utilisateurs de téléphones cellulaires et filaires (section 2, conception du questionnaire).
Les normes actuelles dans les sections 13/14, sécurité des données, exigent la prise de mesures de protection contre les atteintes à la sécurité des données (perte ou divulgation non autorisée de renseignements personnels ou organisationnels, ou accès non autorisé à ces renseignements). Les sections pertinentes sont les sections 13.2 (normes pour les sondages en ligne)/14.2 (normes pour les sondages téléphoniques), protection des données et des serveurs; les sections 13.3/14.3, stockage temporaire de données sur les serveurs; et 13.6/14.5, en cas d’atteinte à la protection des données.
Le comité a été prié de définir les révisions ou les ajouts à apporter aux normes, ainsi que toute ligne directrice qu’il faudrait inclure.
Les normes existantes concernant la confidentialité et la sécurité des données, y compris les normes portant sur les atteintes à la protection des données, sont appropriées.
L’ajout de normes ou de lignes directrices concerne 2 aspects principaux :
Les normes actuelles figurant dans les sections 13/14, sécurité des données, exigent que les données des sondages soient stockées au Canada.
Cet aspect est complexe : il nécessite des connaissances d’expert sur le cadre juridique et réglementaire influant sur l’accès aux données et sur leur utilisation, non seulement au Canada, mais également dans les autres pays où les serveurs peuvent se trouver, et nécessite une compréhension des politiques du GC à cet égard. Les membres du comité ne se considéraient pas comme des experts dans ces domaines. Dans l’ensemble, le comité n’a suggéré aucun changement aux normes actuelles. Toutefois, les membres ont suggéré que le GC établisse une liste de pays pré-approuvés qui satisfont aux conditions stipulées dans les normes actuelles et qui sont acceptables pour le stockage infonuagique des données de recherche sur l’opinion publique du GC.
Le comité a examiné si des normes supplémentaires sont requises pour les sondages qui utilisent les médias sociaux, soit comme source d’échantillons, soit pour mener un sondage.
Les normes actuelles, ainsi que les divers changements recommandés ailleurs par le comité, suffisent à faire en sorte que de tels sondages répondent aux exigences de qualité des sondages de ROP du GC. Par conséquent, aucune norme supplémentaire n’est requise pour les cas où les médias sociaux sont utilisés afin de sélectionner l’échantillon ou d’effectuer le sondage.
Les normes sur les sondages en ligne et par téléphone ne contiennent aucune norme ni ligne directrice concernant l’accessibilité.
Le comité a examiné s’il convient d’ajouter aux normes un énoncé sur l’importance de l’accessibilité et quelles sont les lignes directrices à fournir à ce sujet, le cas échéant, pour les sondages en ligne et par téléphone. Il est à noter que, selon la DROP, le Secrétariat du Conseil du Trésor (SCT) travaille à une proposition de politique sur les normes d’accessibilité propres à tous les appareils utilisés pour accéder aux sondages en ligne. Les résultats de ces travaux d’élaboration devraient être disponibles dans un an environ. Lorsque la politique du SCT sera finalisée, elle aura préséance.
La majorité des membres du comité ont appuyé l’ajout d’une ligne directrice générale encourageant l’accessibilité, y compris des lignes directrices concernant quelques exemples de mesures qui pourraient être prises pour améliorer l’accessibilité des sondages en ligne ou par téléphone.
La Direction de la recherche en opinion publique (DROP) est un fournisseur de services communs obligatoires chargé de donner des conseils sur la législation, les politiques, la méthodologie de recherche et les pratiques acceptées dans l’industrie. En vertu de la Politique sur les communications et l’image de marque, la DROP a également la responsabilité d’élaborer et de tenir à jour les normes du gouvernement du Canada. Les premières normes sur les sondages d’opinion publique menés par téléphone et en ligne ont été élaborées et mises en œuvre en 2009 et reposaient sur les travaux de 2 comités consultatifs distincts, l’un pour la recherche par téléphone et l’autre pour la recherche en ligne. Ces normes ont ensuite été révisées en 2013.
Étant donné les changements constants observés dans le secteur de la recherche sur l’opinion publique, la DROP entreprend un examen de ses normes quantitatives pour la recherche sur l’opinion publique effectuée par le gouvernement du Canada.
Le projet consistait à mettre sur pied un comité consultatif composé de professionnels compétents et influents du secteur privé, de Statistique Canada et d’établissements universitaires, pour qu’il formule des conseils au sujet des normes potentielles et des pratiques exemplaires relatives à la recherche sur l’opinion publique (ROP) menée selon des méthodes quantitatives par téléphone ou en ligne.
Le comité consultatif s’est penché et s’est prononcé sur les normes concernant les sujets suivants :
Les travaux sur les sujets susmentionnés visent à a) aider la DROP à réviser les normes et les lignes directrices existantes et, le cas échéant, à créer de nouvelles normes et lignes directrices pour orienter la qualité de la recherche par sondage entreprise pour le compte du gouvernement du Canada, et b) fournir à la DROP des conseils d’experts pour traiter les méthodologies de recherche en évolution.
La DROP offre des services de coordination et de consultation en matière de recherche sur l’opinion publique (ROP). Ces services sont obligatoires pour la recherche sur l’opinion publique impartie par les institutions figurant aux annexes I, I.1 et II de la Loi sur la gestion des finances publiques.
L’étude évalue un vaste éventail d’éléments ayant une incidence sur la recherche quantitative sur l’opinion publique, dans le cadre des sondages téléphoniques et des sondages en ligne.
Les conclusions aideront la DROP à réviser les normes et les lignes directrices existantes et à créer de nouvelles normes et lignes directrices pour orienter la qualité de la recherche entreprise pour le compte du gouvernement du Canada.
Le comité consultatif sur la qualité de la recherche quantitative sur l’opinion publique au gouvernement du Canada réunissait 10 membres, soit des membres provenant du secteur privé, des membres provenant du milieu universitaire et ayant une expérience en études de marché, et un membre provenant de Statistique Canada. Les membres ont été recrutés par la DROP, avec le concours de Sage Research.
Les membres du comité ont fait connaître leurs opinions et leurs expériences personnelles concernant les questions abordées et ne s’exprimaient pas au nom de leur organisation ou de leur secteur.
Anita Pollak et Rick Robson, de la Sage Research Corporation, ont animé les séances du comité consultatif. Leurs rôles étaient les suivants :
Le comité consultatif a reçu des copies des normes actuelles du GC concernant la conduite de la recherche sur l’opinion publique par téléphone et en ligne, ainsi que des documents de référence supplémentaires jugés utiles pour les délibérations du comité. Les membres ont également reçu un examen de la documentation précédemment préparé pour la DROP (Recherche documentaire à l’appui de l’examen des Normes quantitatives de 2017), qui abordait quelques-uns des sujets que le Comité devait examiner.
Les travaux du comité consultatif se sont déroulés entre le 11 avril et le 18 août 2018. Les membres du comité ont reçu, aux fins d’examen et de rétroaction, 4 rapports de travail résumant les résultats et proposant les orientations à intégrer au rapport final du comité consultatif.
Le processus auquel a pris part le comité consultatif comportait une cyberconférence initiale suivie par 3 babillards électroniques.
On a choisi de recourir au babillard électronique, car cette méthode permettait aux membres du comité de se connecter et de participer aux discussions au moment de leur choix. Pour chaque babillard, les modérateurs fournissaient des renseignements contextuels aux membres du comité et affichaient les questions sur le site. Chaque membre du comité s’est connecté de nombreuses fois au babillard pour :
Les dates de chaque événement figurent ci-dessous. Veuillez noter que Sage Research a repoussé de manière informelle la date de clôture de la plupart des babillards afin de permettre à certains membres du comité contraints par le temps de fournir leurs commentaires.
Les orientations recommandées par le comité consultatif concernant la recherche quantitative sont exprimées sous la forme de normes et de lignes directrices, assorties de commentaires à l’appui.
Pratiques qui constituent des exigences pour toutes les études en ligne menées par le gouvernement du Canada; généralement exprimées par le verbe « doit ».
Pratiques recommandées, mais non exigées, c’est-à-dire critères ou bonnes pratiques reconnues à prendre en considération pour assurer la qualité de la recherche sans néanmoins être appliqués systématiquement dans tous les cas; généralement exprimées par le verbe « devrait ».
Même si le comité consultatif n’était pas tenu d’atteindre un consensus, il y est parvenu pour bon nombre des questions touchant aux normes et aux lignes directrices sur la recherche quantitative.
Les membres du comité ont reçu, aux fins d’examen et de commentaires, 4 rapports de travail résumant les résultats et proposant les orientations à intégrer au rapport final du comité consultatif.
La section 4 des normes, intitulée procédures d’échantillonnage, comprend les normes relatives à l’échantillonnage probabiliste et à l’échantillonnage non probabiliste. Cependant, la section 4 ne donne aucune définition de ces 2 types d’échantillonnage. Elle peut être révisée de façon à y inclure des définitions et quelques exemples afin d’aider les utilisateurs à déterminer si un échantillon est un échantillon probabiliste ou non probabiliste.
L’échantillonnage probabiliste est une méthode qui permet de formuler des inférences sur la population, compte tenu des observations tirées de l’échantillon. Celui-ci devrait être libre de tout biais de sélection pour formuler les inférences. L’échantillonnage probabiliste évite ce biais par la sélection aléatoire d’unités de la population (à l’aide d’un ordinateur ou d’un tableau de nombres aléatoires). Il ne faut pas oublier que le terme aléatoire ne signifie pas arbitraire. En particulier, les intervieweurs ne choisissent pas arbitrairement les répondants parce que leur biais personnel aurait des répercussions sur l’échantillonnage. Le terme aléatoire signifie que la sélection n’est pas biaisée, c’est un tirage au sort. L’échantillonnage probabiliste ne permet pas à l’intervieweur de décider subjectivement qui doit être choisi.
Voici les 2 principaux critères de l’échantillonnage probabiliste : la sélection des unités est aléatoire, toutes les unités de la population de l’enquête ont une probabilité d’inclusion différente de zéro dans l’échantillon et il est possible de calculer ces probabilités. Il n’est pas nécessaire que toutes les unités aient la même probabilité d’inclusion et, en fait, dans les enquêtes les plus complexes, la probabilité d’inclusion varie d’une unité à l’autre. (p. 101)
L’échantillonnage non probabiliste est un moyen de sélectionner des unités d’une population à l’aide d’une méthode subjective (c-à-d. non aléatoire). Il n’est pas nécessaire d’avoir une base de sondage complète pour l’échantillonnage non probabiliste qui est donc un moyen rapide, facile et bon marché d’obtenir des données. L’échantillonnage non probabiliste pose un problème : il n’est pas évident qu’il est possible de généraliser et d’appliquer les résultats de l’échantillon à toute la population. La raison de cette constatation est que la sélection d’unités dans une population pour un échantillon non probabiliste peut donner des biais d’importance.
Étant donné le biais de sélection et (habituellement) l’absence de base de sondage, la probabilité d’inclusion d’une personne ne peut être calculée pour les échantillons non probabilistes et il est donc impossible de faire des estimations fiables ou des estimations de leur erreur d’échantillonnage. Il faut supposer que l’échantillon est représentatif de la population pour faire des inférences sur celle-ci. Il faut habituellement supposer que les caractéristiques de la population correspondent à un certain modèle ou qu’elles sont également ou aléatoirement réparties dans la population. C’est souvent dangereux à cause de la difficulté d’évaluer si oui ou non ces suppositions sont fondées.
Le comité a été invité à formuler des observations concernant l’élargissement proposé ci-après de la section 4.1.2, en donnant les définitions et des exemples des 3 types d’échantillons, à savoir l’échantillon probabiliste, l’échantillon non probabiliste et le recensement.
4. Procédures d’échantillonnage 1
4.1. Généralités [tirées des normes pour les sondages en ligne]
Tous les cabinets de recherche doivent :
- énoncer clairement la définition du groupe cible (univers) utilisée pour la recherche; dans le cas des sondages en ligne, cela comprend une décision explicite à savoir si les utilisateurs qui ne sont pas des internautes font partie de la définition du groupe cible;
- énoncer clairement la ou les méthodes employées pour obtenir un échantillon de ce groupe cible, en indiquant s’il s’agit d’un sondage probabiliste, non probabiliste ou d’un recensement.
- Échantillon probabiliste : les répondants sont sélectionnés aléatoirement à partir de la population cible du sondage, et il est possible de calculer la probabilité d’inclusion de chacun d’eux. L’échantillonnage probabiliste est une méthode visant à obtenir un échantillon extrapolable à la population cible. Voici quelques exemples :
- sondage téléphonique auprès des Canadiens réalisé au moyen de la composition aléatoire (CA)
- échantillonnage aléatoire à partir d'une liste de tous les membres de la population cible
- échantillonnage aléatoire à partir d'un groupe étant lui-même un échantillon probabiliste de la population cible
- interrogation au passage sur des sites Web que visite la population cible; les visiteurs sont aléatoirement choisis pour répondre au sondage
- Échantillon non probabiliste : un échantillon qui ne répond pas aux exigences d'un échantillon probabiliste, c'est-à-dire, les répondants ne sont pas choisis de façon aléatoire à partir de la population cible du sondage, ou la probabilité d'inclusion de chaque répondant ne peut pas être calculée. Des mesures supplémentaires doivent être prises pour faire en sorte que les résultats d'un échantillon non probabiliste soient représentatifs de la population cible. Voici quelques exemples :
- Un échantillon sélectionné à partir d'un groupe de recherche composé de personnes se portant volontaire à se joindre au groupe et à répondre à des sondages. Veuillez noter qu'un échantillon choisi au moyen de méthodes probabilistes provenant de bases d'échantillonnage ayant été compilées au moyen d'une méthode non probabiliste est considéré comme un échantillon non probabiliste.
- Échantillonnage par quotas, dans le cadre duquel la sélection des répondants est fondée sur le jugement, la commodité ou un autre processus non aléatoire.
- Recensement : une tentative de recueillir des données auprès de tous les membres de la population cible. Veuillez noter qu'un recensement peut être sujet à d'autres types d'erreurs de sondage, à savoir des erreurs de couverture et des cas de non-réponse. Il est donc possible que l'ensemble de données final ne comprenne pas tous les membres de la population cible.
Il faudrait élargir la section 4.1.2 pour y inclure les définitions et des exemples, et le comité était en grande partie d’accord avec le texte proposé.
La phrase la plus controversée concerne les sondages non probabilistes et figure à la section 4.1.2b : « des mesures supplémentaires doivent être prises pour faire en sorte que les résultats d’un échantillon non probabiliste soient représentatifs de la population cible ». Les membres du comité ont exprimé des points de vue divergents sur ces 2 aspects : à quel point il serait possible de rendre les résultats d’un sondage non probabiliste représentatifs de la population cible, et si une telle tentative devait être exigée. Le comité a fini par prendre la décision d’éliminer cette phrase de la section 4.1.2b, tout simplement parce qu’elle va au-delà des définitions et des exemples à fournir. Toutefois, le comité a continué à examiner cette question dans le contexte d’un autre sujet, à savoir « l’optimisation de la représentativité des sondages non probabilistes ».
Les autres révisions au texte proposé comprennent ce qui suit :
Voici la révision suggérée de la section 4.1 (appliquée aux normes pour les sondages en ligne) :
4. Procédures d’échantillonnage 2
4.1. Généralités [appliquées aux normes pour les sondages en ligne]
Tous les cabinets de recherche doivent :
- énoncer clairement la définition de la
- énoncer clairement la ou les méthodes employées pour obtenir un échantillon de cette population cible, en indiquant s’il s’agit d’un sondage probabiliste, non probabiliste ou d’un recensement.
- échantillon probabiliste :
L'échantillon répond aux 2 conditions suivantes : (1) les répondants sont sélectionnés aléatoirement à partir de la population cible, et (2) toutes les unités de la population cible ont une probabilité d'inclusion dans l'échantillon qui est différente de zéro et il est possible de calculer ces probabilités. Voici quelques exemples :
- sondage téléphonique auprès des Canadiens réalisé au moyen de la composition aléatoire (CA)
- échantillonnage aléatoire à partir d'une liste de tous les membres de la population cible
- interrogation au passage sur des sites Web que visite la population cible; les visiteurs sont aléatoirement choisis pour répondre au sondage
- échantillon non probabiliste : un échantillon qui ne répond pas aux exigences d'un échantillon probabiliste, c'est-à-dire que les répondants ne sont pas choisis de façon aléatoire à partir de la population cible du sondage, ou la probabilité d'inclusion de chaque répondant ne peut pas être calculée. Voici quelques exemples :
- un échantillon sélectionné à partir d'un panel de recherche composé de personnes se portant volontaires pour se joindre ou participer au panel et répondre à des sondages. Veuillez noter qu'un échantillon choisi au moyen de méthodes probabilistes provenant de bases d'échantillonnage ayant été compilées au moyen d'une méthode non probabiliste est considéré comme un échantillon non probabiliste.
- échantillonnage par quotas, dans le cadre duquel les répondants sont sélectionnés selon un processus non aléatoire
- recensement : une tentative de recueillir des données auprès de tous les membres de la population cible. Veuillez noter qu'un recensement peut être sujet à d'autres types d'erreurs de sondage, à savoir des erreurs de couverture et des cas de non-réponse. Il est donc possible que l'ensemble de données final ne comprenne pas tous les membres de la population cible.
Les sondages fondés sur un échantillonnage non probabiliste sont devenus plus répandus dans la recherche en marketing, surtout en raison de la croissance des panels à participation volontaire en ligne qui offrent des économies de coûts considérables par rapport aux échantillons d’un sondage téléphonique probabiliste. Dans le passé, les sondages de recherche sur l’opinion publique pour le gouvernement du Canada ont généralement utilisé des échantillonnages probabilistes, mais l’utilisation des sondages non probabilistes pourrait augmenter si on a confiance qu’ils peuvent produire des résultats représentatifs de la population cible qui est sondée.
L’objectif consiste à réviser les normes afin d’insister sur l’importance de viser la représentativité dans les sondages non probabilistes, et à expliquer dans la proposition la façon d’y arriver.
Les normes actuelles abordent cet objectif dans une certaine mesure, mais l’intention consiste à accroître le caractère explicite et détaillé de l’exigence.
La norme no 1, Documents de propositions, ne comprend pas de phrases explicites concernant l’importance d’optimiser la représentativité. La norme 1.2.2, Échantillon et échantillonnage, précise uniquement ce qui suit :
Les normes 4.3, Échantillonnage non probabiliste, et 4.4, Échantillonnage par quotas, contiennent quelques formulations pertinentes.
Norme 4.3.2, Échantillonnage non probabiliste
Norme 4.4, Échantillonnage par quotas
Les méthodes d’échantillonnage par quotas sont généralement utilisées pour les enquêtes par panel et les interrogations au passage afin d’assurer la représentativité des échantillons. Les quotas sont aussi utilisés pour contrôler la représentativité d’autres méthodes de collecte des données.
Le Pew Research a récemment publié 2 étudesNote de bas de page 3 portant sur les facteurs influençant la mesure dans laquelle les résultats d’un sondage non probabiliste peuvent être représentatifsNote de bas de page 4. Voici certaines observations au sujet de ses résultats :
Voici un extrait traduit du résumé du rapport de 2018 de Pew Research, « For Weighting Online Opt In Samples, What Matters Most? » (Qu’est-ce qui compte le plus dans la pondération des échantillons à participation volontaire en ligne?)
Qu’est-ce qui compte le plus dans la pondération des échantillons à participation volontaire en ligne? Les bonnes variables font une différence considérable dans l’exactitude. Les méthodes statistiques complexes? Pas tellement.
Une part croissante des sondages sont effectués au moyen d’échantillons à participation volontaire en ligne. Cette tendance a soulevé quelques préoccupations dans l’industrie parce que bien que les faibles taux de participation représentent un défi pour tous les sondages, la variété des sondages à participation volontaire en ligne rencontre d’autres obstacles. Par définition, ils ne tiennent pas compte de plus de 10 % des Étatsuniens qui n’utilisent pas l’Internet. Le fait que des répondants potentiels se portent volontaires signifie que le risque considérable que ces échantillons ne reflètent pas l’ensemble de la population subsiste. Pour contrebalancer ces difficultés, les chercheurs ont mis en pratique une variété de techniques statistiques, telles que le classement, la pondération par la propension et la correspondance, pour adapter les échantillons de façon à ce qu’ils correspondent davantage à la population relativement à l’ensemble des dimensions choisies. Les chercheurs travaillant avec des échantillons à participation volontaire en ligne doivent prendre un grand nombre de décisions quant à la pondération. Quels facteurs doivent orienter ces décisions? Lesquels ont le plus d’incidences sur la qualité des données?
Une nouvelle étude du Pew Research Center accroît les efforts plus généraux du domaine des enquêtes à éclairer ces questions. L’étude était fondée sur plus de 30 000 entrevues à participation volontaire en ligne réalisées au moyen d’un panel en juin et en juillet 2016, avec l’aide de 3 fournisseurs, et ciblait les estimations nationales (plutôt qu’au niveau de l’État ou local). Nous avons évalué 3 techniques de pondération différentes, soit le classement, la pondération par la propension et la correspondance, individuellement ou de façon combinée. Chaque méthode a été appliquée au moyen de 2 ensembles de variables de correction, à savoir les données démographiques fondamentales (âge, sexe, race et origine ethnique, éducation et région géographique), et un ensemble plus détaillé comprenant à la fois des données démographiques et un ensemble de variables associées aux attitudes et à la participation politiques (inscription électorale, allégeance politique, idéologie et identification en tant que chrétien évangélique). Chaque procédure a été réalisée sur des échantillons simulés dont la taille variait de n=2 000 à n=8 000.
Les procédures ont d’abord été évaluées en fonction de la mesure dans laquelle elles réduisaient les biais concernant les estimations à partir de 24 questions de référence puisées dans des enquêtes fédérales de haute qualité. On a aussi comparé les procédures sur les plans de la variation des estimations pondérées, de l’exactitude parmi les sous-groupes démographiques, et de leurs effets sur un certain nombre de mesures des attitudes de l’opinion publique.
Voici certaines des constatations principales :
Les procédures de pondération mises à l’essai dans le présent rapport ne représentent qu’une infime partie des nombreuses approches de la pondération des données d’enquête à participation volontaire. Il existe une multitude de façons d’appliquer la pondération relative à la correspondance et à la propension, ainsi qu’une variété d’options de rechange semblables au classement (collectivement connues sous le nom de méthodes de calibration). De plus, nous n’avons pas évalué de méthodes comme la régression multiniveaux et la stratification a posteriori, qui nécessitent un modèle statistique distinct pour chaque variable des résultats. Si nous ajoutons à ces méthodes les combinaisons innombrables de variables qu’il est possible d’utiliser plutôt que celles étudiées ici, il est évident qu’il ne manque pas de protocoles de rechange qui auraient pu produire différents résultats.
Toutefois, peu importe la méthode retenue, il faut utiliser les bonnes variables de correction pour corriger avec succès les biais dans les échantillons à participation volontaire. De plus, en ce qui a trait à bon nombre des domaines examinés ici, les « bonnes » variables de correction comprennent plus que l’ensemble de données démographiques fondamentales standard. Bien qu’il puisse y avoir des avantages réels, mais légers, découlant de l’utilisation de méthodes plus sophistiquées pour produire des estimations d’enquête, le fait qu’il n’y avait presque aucune différence entre les méthodes lorsque seules les données démographiques étaient utilisées signifie que l’utilisation de telles méthodes ne doit pas servir d’indicateur d’exactitude de l’enquête en soi. Un examen minutieux des facteurs qui différencient l’échantillon de la population et de leur lien au domaine de l’enquête est beaucoup plus important.
Le comité a été invité à formuler des commentaires au sujet des révisions proposées suivantes à la section 1, documents de propositions, et à la section 4, échantillonnage.
Révision proposée de la section 1.2.2 : documents de propositions, échantillon et échantillonnage
1.2.2 Échantillon et échantillonnage
- fournir des détails sur la population cible :
- la description de la population cible, soit ses caractéristiques particulières et son étendue géographique, y compris l’incidence supposée de la population et de tout sous-groupe principal, et comment l’incidence en a été déterminée/obtenue (p. ex. fournie par le client);
- la taille de l’échantillon total et la taille de tout sous-groupe principal.
- décrire les procédures d’échantillonnage, notamment :
- la source de l’échantillon;
- le cadre d’échantillonnage;
- le fait qu’un sondage par échantillonnage ou une enquête exhaustive sera réalisé et, dans le cas d’un sondage par échantillonnage, si on aura recours à un échantillonnage probabiliste ou non probabiliste (voir la section 4
- décrire la procédure de sélection des répondants.
- indiquer le nombre de rappels et décrire les procédures utilisées.
- définir les critères d’admissibilité ou de présélection des répondants, y compris les contrôles de quotas.
- pour ce qui est des échantillons non probabilistes, fournir
Révision proposée de la section 4.3, échantillonnage non probabiliste
Remarque : cette proposition comprend l’élimination de la section 4.4, échantillonnage par quotas, et le déplacement du contenu pertinent à la section 4.3. échantillonnage non probabiliste :
À titre de référence, la section 4.4, échantillonnage par quotas, est la suivante :
Les méthodes d’échantillonnage par quotas sont généralement utilisées pour les enquêtes par panel et les interrogations au passage afin d’assurer la représentativité des échantillons. Les quotas sont aussi utilisés pour contrôler la représentativité d’autres méthodes de collecte des données.
4.3. Échantillonnage non probabiliste
4.3.1. Justification du recours à des échantillons non probabilistes
- 1. lorsqu’on a recours à un échantillon non probabiliste, ce choix doit être justifié dans la proposition de projet et le rapport de recherche. La justification doit tenir compte des limites statistiques imposées par des données tirées d’un échantillon non probabiliste et des limites quant à la généralisation des résultats à la population cible.
4.3.2. Échantillonnage non probabiliste
- comme pour l’échantillonnage probabiliste, il faut faire état de la liste ou de la source de l’échantillon, y compris ses limites, dans la couverture de l’univers de l’échantillon cible
- contrôles de la composition des échantillons dans le but de maximiser la représentativité, comme l’échantillonnage par quotas
- pondération
- il faut donner une description complète des variables régionales, démographiques et autres variables discriminantes utilisées pour maximiser la représentativité de l'échantillon et des résultats de l'enquête. Au moment de choisir les variables, il faut également tenir compte de leur corrélation possible avec les mesures principales du sondage (les variables de correction qui ne sont pas corrélées avec les mesures du sondage n’aideront pas à améliorer la représentativité). Les variables sur les attitudes et les comportements peuvent aussi accroître la représentativité, pourvu qu’il existe des points de référence pertinents et de haute qualité liés à la population cible.
- les cibles précises des contrôles de quotas et les critères de sélection doivent également être indiqués, y compris la source de ces cibles (p. ex., les données du recensement ou d'autres sources de données de haute qualité)
- le rapport doit faire état des écarts par rapport aux cibles (chiffres réels comparés aux cibles)
Le comité a discuté des enjeux suivants concernant un passage proposé, soit « Si les résultats de l’enquête sont utilisés pour faire des observations concernant une population, des mesures doivent être prises pour maximiser la représentativité des résultats de l’enquête par rapport à la population cible ».
« Si les résultats de l’enquête sont utilisés pour faire des observations concernant une population » : La majorité des membres du comité ont accepté le postulat selon lequel les résultats d’un sondage non probabiliste pourraient servir à formuler des observations au sujet d’une population, à condition que l’on apporte les ajustements appropriés à l’échantillon ou aux données. Cependant, quelques membres du comité n’étaient pas d’accord avec ce postulat, car ils ne croyaient pas qu’il existait des méthodes d’ajustement adéquates permettant de formuler des observations au sujet d’une population sur la base d’un échantillon non probabiliste. Selon ce point de vue minoritaire, ce postulat ne devrait pas figurer dans les normes. Voici ce que cela signifie :
Remplacer « maximiser la représentativité » par « rendre les résultats de l’enquête plus représentatifs » : Les membres du comité (la majorité) qui ont accepté le postulat selon lequel les résultats d’un sondage non probabiliste pourraient servir à formuler des observations au sujet d’une population ont suggéré ce changement, car il se peut que les mesures qui seraient nécessaires pour « maximiser » la représentativité ne puissent pas être déterminées avec certitude; même si les mesures étaient connues d’une manière crédible, leur complexité pourrait faire que le projet de ROP en question dépasse le budget. Il est plus pratique et réaliste de parler d’améliorer la représentativité que de la maximiser.
« Doivent être prises » ou « peuvent être prises » : Les membres du comité n’ont pas réussi à décider à l’unanimité s’il était préférable de présenter les mesures d’amélioration de la représentativité comme une exigence (« doit ») ou comme une ligne directrice (« peut » ou « devrait »).
Les raisons d’opter pour une ligne directrice plutôt qu’une exigence étaient les suivantes : a) dans certains sondages de ROP, il peut être plus pratique de déterminer de quelle manière les résultats ne sont pas représentatifs, et de les interpréter en conséquence, au lieu de tenter de corriger ces déficiences, et b) il peut y avoir de l’incertitude à l’étape de la proposition concernant les mesures à prendre pour améliorer la représentativité.
La raison d’opter pour une exigence était la suivante : étant donné le postulat « Si les résultats de l’enquête sont utilisés pour faire des observations concernant une population, il est raisonnable d’exiger que des mesures soient prises pour améliorer la représentativité ».
« Option d’expliquer le fait de ne prendre aucune mesure pour améliorer la représentativité » : que la prise de mesures pour améliorer la représentativité soit formulée comme une exigence ou une ligne directrice, il faut que la norme offre l’option d’expliquer pourquoi on a décidé, dans un projet donné, de ne pas s’engager à prendre de telles mesures. Cette décision peut être basée sur une incertitude à l’étape de la proposition concernant les mesures qui peuvent raisonnablement être prises, le cas échéant, ou sur d’autres raisons.
Les 2 formulations de rechange ci-dessous proviennent des membres du comité qui ont accepté le postulat selon lequel les résultats d’un sondage non probabiliste peuvent servir à formuler des observations au sujet d’une population. Ces formulations reflètent les opinions partagées concernant le statut d’exigence ou de ligne directrice de la prise de mesures pour améliorer la représentativité.
Si les résultats de l’enquête sont utilisés pour faire des observations concernant une population, des mesures doivent être prises pour rendre les résultats de l’enquête plus représentatifs de la population cible, et des justifications spéciales sont nécessaires dans le cas contraire. Ces mesures doivent être documentées dans la proposition de recherche et le rapport d’enquête.
Elles peuvent comprendre ce qui suit :
Si, à l’étape de la proposition, aucune mesure précise d’amélioration de la représentativité n’est prévue, il faut en consigner les raisons dans la proposition de recherche. Si, par la suite, aucune mesure n’est prise pour améliorer la représentativité, il faut en consigner les raisons dans le rapport d’enquête.
Si les résultats de l’enquête sont utilisés pour faire des observations concernant une population, des mesures devraient être prises pour rendre les résultats de l’enquête plus représentatifs de la population cible, et ces mesures doivent être consignées dans la proposition de recherche ainsi que dans le rapport d’enquête.
Elles peuvent comprendre ce qui suit :
Si, à l’étape de la proposition, aucune mesure précise d’amélioration de la représentativité n’est prévue, il faut en consigner les raisons dans la proposition de recherche. Si, par la suite, aucune mesure n’est prise pour améliorer la représentativité, il faut en consigner les raisons dans le rapport d’enquête.
Des observations ont été formulées au sujet de la phrase suivante dans la section 4.3.2 : « au moment de choisir les variables, il faut également tenir compte de leur corrélation possible avec les mesures principales du sondage (les variables de correction qui ne sont pas corrélées avec les mesures du sondage n’aideront pas à améliorer la représentativité). Les variables sur les attitudes et les comportements peuvent aussi accroître la représentativité, pourvu qu’il existe des points de référence pertinents et de haute qualité liés à la population cible ». Il a été suggéré de remplacer « points de référence de haute qualité » par « statistiques sur la population », au motif que cette dernière expression est plus simple et énonce plus directement ce qui est requis. D’autres commentaires ne comprenaient pas de changements au texte proposé, mais plutôt des observations au sujet des difficultés qui peuvent survenir :
L’un des membres du comité a suggéré d’ajouter une exigence ou une ligne directrice lorsqu’un échantillon non probabiliste est utilisé pour montrer que l’approche proposée repose sur une méthodologie qui a produit des estimations validées à l’externe dans le passé. Le membre a souligné qu’il y avait eu certaines avancées dans l’élaboration de méthodes permettant de produire des résultats validés dans quelques domaines précis, comme l’intention de vote. Toutefois, un autre membre du comité a affirmé que cela n’est pas faisable à titre d’exigence, pour les raisons suivantes :
Les normes actuelles comprennent les obligations suivantes concernant les documents de propositions lorsqu’on a recours à un fournisseur d’échantillons en ligne :
1.2.4
- 3. Dans le cas des panels élargis, il faut au moins fournir la description des éléments suivants (lorsque plusieurs panels sont utilisés, l’information doit être fournie pour chacun d’eux) :
- la taille du panel actif (fournir une définition du terme « actif »)
- le recrutement des membres du panel
- la supervision du panel
- la gestion de la composition du panel
- la mise à jour de la composition du panel
L’objectif consiste à mettre à jour et à réviser cette norme, y compris :
Veuillez noter que les normes comprennent d’autres sections pertinentes, notamment la :
L’intention n’est pas de dupliquer les normes dans ces domaines. Par conséquent, l’attention ici était dirigée particulièrement sur d’autres exigences en matière de documents de propositions lorsqu’on a recours à un fournisseur d’échantillons en ligne qui fournira les échantillons au moyen d’un panel élargi ou de l’interrogation au passage.
La section 1.2.4 révisée, points 3/4, énonce ce qui suit quant à la présentation de renseignements sur la taille du panel dans la proposition pour les sondages probabilistes et non probabilistes :
la taille du panel actif (fournir une définition du terme « actif »),
La DROP a demandé l’avis du comité sur la façon d’évaluer le terme « taille suffisante ».
Il n’existe aucune règle numérique générale à donner dans les normes pour évaluer ce que l’on considère comme une « taille suffisante ». Divers facteurs propres au projet peuvent influer sur la taille de l’échantillon d’invitations au sondage nécessaire pour obtenir le nombre de questionnaires remplis souhaité. Les facteurs comprennent le taux d’incidence, le taux de réponse, la durée des travaux sur le terrain, les règles d’exclusion liées à la participation à des sondages antérieurs, ainsi que les pertes de données découlant du nettoyage des données. Le taux de réponse lui-même est influencé par divers facteurs, tels que le sujet du sondage, le demandeur, la longueur du questionnaire et l’incitatif. En fin de compte, le fournisseur de services de recherche doit exercer un jugement considérable pour estimer le nombre requis d’invitations au sondage pour un projet donné.
Les avis des membres du comité étaient partagés concernant la nécessité d’une exigence de déclaration de la taille du panel actif :
Pour les besoins de la discussion du comité, le point 3 actuel de la section 1.2.4 a subi une révision substantielle qui suggérait notamment des exigences d’information distinctes dans les documents de propositions pour les échantillons probabilistes et les échantillons non probabilistes.
Les exigences proposées concernant les échantillons de panels probabilistes en ligne étaient les suivantes :
1.2.4 Description de la méthode de collecte des données
- 3.
- la taille du panel actif (fournir une définition du terme « actif »),
- la façon dont le panel est composé et conservé afin qu’il constitue un échantillon probabiliste
- la façon dont un échantillon probabiliste de la population cible de l’enquête sera tiré du panel
- si les répondants sont choisis ou non à partir de plus d’un panel. Si on a recours à plus d’un panel, fournir les renseignements suivants :
- l'identité des autres panels
- si chacun des autres panels est ou non un panel fondé sur un échantillon probabiliste
- si l'échantillon comprend des répondants provenant d'échantillons non probabilistes, alors l'échantillon dans son ensemble est non probabiliste.
- les raisons pour lesquelles l'échantillon a été puisé dans plus d'un panel (p. ex., obtenir la taille souhaitée de l'échantillon de l'enquête, assurer une meilleure couverture de la population cible)
- les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d'un des panels ne reçoivent pas le sondage plus d'une fois
- les incitatifs ou les récompenses qu'on offre aux répondants pour avoir participé au sondage. Ceux-ci doivent faire l'objet d'un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d'y participer, ce qui pourrait biaiser l'échantillon.
Étant donné qu’il existe désormais des panels en ligne qui sont censés être des échantillons probabilistes, le comité a convenu qu’il faut des exigences relatives aux documents de propositions pour ces échantillons.
Le comité était d’accord avec le texte proposé concernant les renseignements à fournir dans une proposition de ROP pour un sondage faisant appel à un échantillon de panel probabiliste en ligne.
À cet égard, l’aspect requis le plus important est « la façon dont le panel est composé et conservé afin qu’il constitue un échantillon probabiliste ». La majorité des membres du comité doutaient qu’un panel probabiliste en ligne soit effectivement possible, ou qu’un tel panel soit aussi efficace qu’un échantillon probabiliste faisant appel aux sondages téléphoniques à composition aléatoire. Ce scepticisme repose sur les caractéristiques d’un panel de recherche à participation volontaire. Les personnes qui consentent à se joindre et à participer activement à un panel à participation volontaire en ligne sur une certaine période peuvent être différentes, à certains égards, de celles qui ne sont pas disposées à participer, même si les membres du panel sont initialement recrutés par échantillonnage probabiliste. La participation active à un panel de recherche implique généralement de répondre à un grand nombre de sondages au fil du temps. Ce haut niveau de participation et d’exposition aux sondages pourrait avoir une certaine influence sur la manière dont les membres répondent aux questionnaires des sondages. L’exigence de documentation de « la façon dont le panel est composé et conservé afin qu’il constitue un échantillon probabiliste » signifie que toute préoccupation est abordée dans la proposition de ROP.
L’objectif consiste à mettre à jour et à réviser le point 3 de la norme 1.2.4 des documents de propositions pour les échantillons non probabilistes obtenus auprès d’un fournisseur d’échantillons en ligne. Les points à prendre en compte sont les suivants :
Pour les besoins de la discussion, le comité a reçu 3 listes de ce qui pourrait figurer dans les documents de propositions requis :
Les pages suivantes indiquent les directives des 3 sources.
1.2.4 Description de la méthode de collecte des données (approches de rechange)
Formulation actuelle de la section 1.2.4
Document Online Research d’Association européenne pour les études d’opinion et de marketing (pages 18 à 19)
- des détails sur la sélection de l’échantillon et la description du cadre d’échantillonnage ainsi que la mesure dans laquelle l’échantillon couvre la population cible qu’il est censé représenter
- les mesures prises pour valider les sources d’échantillon
- les procédures utilisées pour « intégrer » les participants éventuels aux panels
- les procédures de nettoyage et de mise à jour
- toute surveillance de la réalisation du sondage ou des contrôles de la qualité pour réduire au minimum la suffisance ou la fraude, et les mesures prises si l’on découvre un tel comportement (La section 7.8 des normes aborde la suffisance. La question consiste à déterminer si elle doit également être abordée à la section 1, documents de propositions).
- l’intégration de nouvelles sources
- toutes les procédures en place pour maximiser l’uniformité des échantillons à des fins de suivi des projets
Révision proposée au point 4 de la section 1.2.4 (section sur les échantillons non probabilistes)
- si on a recours à un panel, il faut indiquer si les répondants seront sélectionnés à partir de plus d’un panel. Si on a recours à plus d’un panel, fournir les renseignements suivants :
- l’identité des autres panels
- les raisons pour lesquelles l’échantillon a été puisé dans plus d’un panel (p. ex., obtenir la taille souhaitée de l’échantillon de l’enquête, assurer une meilleure couverture de la population cible, réduire le risque de biais)
- les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d’un des panels ne reçoivent pas le sondage plus d’une fois
- si on a recours à un panel, décrire les sources de recrutement utilisées pour constituer le panel sur une base permanente, et, dans la mesure du possible, les renseignements sur la proportion de participants provenant de chaque source. L’objectif consiste à s’assurer de représenter la diversité de la population de l’enquête, non seulement sur le plan démographique, mais aussi sur le plan des attitudes et des comportements pertinents. À cet égard, il vaut peut-être mieux d’avoir recours à un grand nombre de sources variées pour réduire le risque de biais.
- si on a recours à un routeur pour sélectionner les répondants, les mesures prises pour éviter ou limiter tout biais pouvant découler de l’utilisation d’un routeur. Un routeur est un système en ligne qui filtre les répondants éventuels et assigne à chaque personne l’un des multiples sondages menés simultanément. Les routeurs sont importants pour mener efficacement de multiples sondages. Toutefois, le fait de diriger de façon systématique des personnes possédant certaines caractéristiques vers d’autres sondages risque de biaiser le profil des personnes dirigées vers votre sondage.
- si des données de profils d’un panel sont utilisées pour organiser l’échantillon ou mener des analyses clés, et que ces mesures ne sont pas confirmées en réévaluant les caractéristiques dans le questionnaire, fournir des renseignements sur les processus de validation du panel pour veiller à ce que les renseignements soient exacts et à jour. Les données du profil des participants au panel peuvent être très utiles à l’organisation d’un échantillon. Toutefois, une bonne pratique consiste à vérifier ces données en réévaluant les caractéristiques dans le questionnaire de sondage.
- si le sondage est une étude de suivi, les mesures qui seront prises pour assurer la comparabilité de l’échantillon avec des vagues précédentes de l’étude de suivi
- les incitatifs ou les récompenses qu’on offre aux répondants pour avoir participé au sondage. Ceux-ci doivent faire l’objet d’un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d’y participer, ce qui pourrait biaiser l’échantillon.
7.8 Détecter la suffisance et en tenir compte
- 1. Le fournisseur du groupe de discussion devra, en collaboration avec le client, mettre en œuvre des procédures afin de déceler et d’exclure les membres du panel ou les répondants qui commettent de la fraude ou qui ne sont pas attentifs, en ayant soin de consigner les procédures et les mesures qui ont été adoptées.
Les exigences actuelles en matière de documents de propositions pour les panels élargis figurant au point 3 de la section 1.2.4 des normes pour les sondages en ligne ne sont pas suffisantes. Voici la norme actuelle :
1.2.4 Description des données
Le problème essentiel, c’est que cette norme est trop vague, et on ne sait pas quels renseignements précis sont censés être fournis. En outre, elle ne donne aucune indication concernant les raisons pour lesquelles les renseignements sont importants ou la façon de les utiliser. D’autre part, il n’est peut-être pas possible de se procurer tous les renseignements, soit parce que le fournisseur de panel les considère comme étant exclusifs, soit en raison des délais serrés prévus pour la préparation de la proposition.
Les avis des membres du comité divergeaient concernant les renseignements à exiger au sujet d’un échantillon non probabiliste en ligne obtenu auprès d’un fournisseur d’échantillons en ligne.
Selon l’un des points de vue, seuls des renseignements très élémentaires devraient être exigés dans la proposition, par exemple, si l’échantillon sera tiré d’un ou de plusieurs panels, et leur identité. Les raisons mentionnées étaient les suivantes : les renseignements concernant un panel ne sont pas exploitables par le client et n’ont pas forcément de relation évidente avec la qualité de l’échantillon du sondage. En outre, la compilation de renseignements détaillés prend du temps, et il se peut que certains d’entre eux soient impossibles à obtenir. Ce qui est sans doute plus important pour le client et la qualité du sondage, ce sont les mesures qui seront prises pour améliorer la représentativité de l’échantillon, et ce point est abordé dans une autre section des normes.
La majorité des membres du comité appuyaient une forme ou une autre d’exigences de divulgation des renseignements pour un échantillon en ligne non probabiliste obtenu auprès d’un fournisseur d’échantillons en ligne, même si les points de vue différaient au sujet des détails.
Voici les éléments possibles d’un point 3 révisé dans la section 1.2.4 des normes pour les sondages en ligne, commentaires à l’appui.
Paragraphe d’introduction
1.2.4 Description de la méthode de collecte des données
Lorsque l’échantillon est un échantillon non probabiliste tiré d’un panel ou d’autres sources en ligne et obtenu auprès d’un fournisseur d’échantillons en ligne, une description des éléments suivants doit être fournie, si possible. Veuillez noter que le terme « panel » renvoie aux panels exploités par un fournisseur d’échantillons en ligne tout comme aux listes accessibles auprès des fournisseurs d’échantillons en ligne.
L’expression « si possible » est utilisée, car il n’est peut-être pas possible de se procurer tous les renseignements, soit parce que le fournisseur de l’échantillon les considère comme étant exclusifs, soit parce qu’ils ne sont pas disponibles au moment de la préparation de la proposition.
Premier point
si l’échantillon provient totalement ou en partie de méthodes d’interrogation au passage sur le Web (river sampling) ou d’autres sources ne constituant pas un panel, et si tel est le cas, ce que sont ces sources et la façon dont les répondants seront choisis pour votre enquête. Ces méthodes peuvent comprendre un contrôle de la qualité moins rigoureux quant à la confirmation de l’identité des répondants. Il est possible que des biais soient introduits en raison de la nature des sites Web à partir desquels les répondants sont sélectionnés. Si ces sources sont susceptibles de créer un biais potentiel dans la composition de l’échantillon, il faut le noter et décrire toutes les mesures prises pour atténuer le biais.
Deuxième point
et, dans la mesure du possible, la taille du panel actif correspondant à la population cible du sondage qu’il est possible de sonder. La taille du panel doit être suffisante pour garantir une forte probabilité que la cible de la taille de l’échantillon des questionnaires remplis viables puisse être atteinte, en prenant en considération des facteurs comme le taux de réponse probable, les règles d’exclusion relatives à la participation à des enquêtes antérieure et la réduction de l’échantillon découlant de l’élimination de données.
Les avis des membres du comité étaient partagés quant à savoir si cela devrait être une exigence. Les raisons de l’inclure ou de l’exclure sont les mêmes que celles qui ont été mentionnées plus tôt dans la section concernant les exigences de divulgation des renseignements pour les panels probabilistes.
Troisième point
si on a recours à un panel, il faut indiquer l’identité du panel et si les répondants seront sélectionnés à partir de plus d’un panel. Si, au moment de la préparation de la proposition, on ne sait pas si l’on aura recours à plus d’un panel, mais que le fournisseur juge que cela pourrait se révéler nécessaire, il faut indiquer cette possibilité dans la proposition.Si, au moment de la préparation de la proposition, on a déjà décidé d’avoir recours à plus d’un panel, il faut fournir les renseignements suivants :
« Si, au moment de la préparation de la proposition, on ne sait pas si [...] » : cette précision est nécessaire, car il se peut qu’au moment de la préparation de la proposition, on ne sache pas avec certitude si un ou plusieurs panels seront nécessaires. Cela peut dépendre de discussions avec le client, après l’attribution du contrat, au sujet de questions telles que les répondants qualifiés, l’incidence et les tailles des échantillons, au total et dans les sous-groupes.
« L’identité et la taille des autres panels » : comme nous l’avons déjà noté, les membres du comité ont exprimé des opinions divergentes sur la nécessité de renseignements sur la taille du panel.
« Les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d’un des panels ne reçoivent pas le sondage plus d’une fois » : l’un des membres du comité a suggéré d’éliminer cette exigence, car il considérait qu’elle ne pouvait pas être respectée; il est possible que les panels ne souhaitent pas communiquer des renseignements sur leurs membres à d’autres panels.
Quatrième point
si on a recours à un panel, décrire les sources de recrutement utilisées pour constituer le panel sur une base permanente, et, dans la mesure du possible, les renseignements sur la proportion de participants provenant de chaque source. L’objectif consiste à assurer la diversité de la population d’enquête représentée.
Les avis des membres du comité étaient partagés quant à savoir si les renseignements au sujet des sources de recrutement devraient être requis ou non. Certains estimaient ces renseignements utiles, d’autres non. Les raisons de ne pas inclure une telle exigence comprenaient le fait que les normes contiennent déjà des directives concernant la description des mesures qui seront prises pour améliorer la représentativité d’un échantillon non probabiliste. Ces dernières sont les renseignements clés à l’intention du client des services de recherche et, de ce fait, on pourrait faire valoir que les renseignements sur les sources de recrutement ne sont pas exploitables par le client. En outre, il se peut que le fournisseur du panel considère les sources de recrutement comme des renseignements exclusifs.
Cinquième point
si des données de profils d’un panel sont utilisées pour organiser l’échantillon ou mener des analyses clés, et que ces mesures ne sont pas confirmées en réévaluant les caractéristiques dans le questionnaire, fournir des renseignements sur les processus de validation du panel pour veiller à ce que les renseignements soient exacts et à jour. Les données du profil des participants au panel peuvent être très utiles à l’organisation d’un échantillon. Toutefois, une bonne pratique consiste à vérifier ces données en réévaluant les caractéristiques dans le questionnaire de sondage.
Les avis des membres du comité étaient partagés sur cette exigence. Il s’agissait de savoir si l’utilisation des données de profils d’un panel devrait être autorisée sans confirmer les mesures des caractéristiques dans le questionnaire du sondage.
Certains membres du comité ont affirmé qu’il faudrait exiger que le questionnaire du sondage comprenne des questions visant à vérifier les données de profils du panel utilisées. Cela aurait essentiellement pour résultat d’éliminer ce point et d’ajouter une exigence à cet effet à la section 2, conception du questionnaire. Cela permet de s’assurer que les données concernant ces caractéristiques sont exactes et à jour.
D’autres membres du comité ont déclaré que l’utilisation de données de profils du panel de bonne qualité peut réduire le fardeau imposé aux répondants en raccourcissant la longueur du questionnaire. Le texte proposé assure la confiance dans la qualité des données de profils du panel utilisées dans le sondage.
Sixième point
les incitatifs ou les récompenses qu’on offre aux répondants pour avoir participé au sondage. Ceux-ci doivent faire l’objet d’un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d’y participer, ce qui pourrait biaiser l’échantillon.
La question qui se pose vise à savoir ce qui peut et doit être fait concernant le traitement statistique des sondages non probabilistes.
Les normes actuelles se trouvent à la section 4.3.3, traitement statistique des échantillons non probabilistes. Veuillez noter que cette section vient après les normes se rapportant à la justification du recours à un échantillon non probabiliste (section 4.3.1), et des obligations de divulgation de renseignements et de l’amélioration de la représentativité (section 4.3.2).
4.3.3. Traitement statistique des échantillons non probabilistes
- On ne peut parler de marges d’erreur d’échantillonnage sur les estimations de la population dans le cas d’échantillons non probabilistes.
- Le rapport d’enquête doit contenir un énoncé portant sur les raisons pour lesquelles l’absence de marge d’erreur d’échantillonnage est rapportée en se fondant sur l’énoncé suivant : « Les répondants à ce sondage ont été recensés parmi ceux [qui se sont portés volontaires ou se sont inscrits pour participer] aux sondages en ligne. Les résultats de tels sondages ne peuvent être décrits comme statistiquement extrapolables à la population cible. [S’il y a eu pondération, ajouter l’énoncé suivant :] Les données ont fait l’objet d’une pondération afin de représenter la composition démographique de (la population cible). Étant donné que l’échantillon est basé sur les personnes qui se sont d’abord portées volontaires pour participer [au panel], on ne peut donner d’estimation des erreurs d’échantillonnage. » Cet énoncé doit être mis en évidence dans les descriptions de la méthode qui se trouvent dans le rapport d’enquête, y compris le sommaire.
- En général, dans le cas de sondages non probabilistes, il n’est pas pertinent d’avoir recours à des tests de signification statistique. Cependant, les tests de signification statistique avec des échantillons non probabilistes sont appropriés lorsque l’objectif est d’établir l’étendue de la relation entre les variables. Si des tests de signification statistique sont utilisés avec des échantillons non probabilistes, il importe de noter que les conclusions tirées de ces tests ne peuvent être appliquées de façon générale à quelque population que ce soit. Dans toute utilisation de statistiques descriptives, on doit indiquer clairement qu’elles ne sont applicables qu’à l’échantillon faisant l’objet de l’étude et qu’elles ne peuvent être généralisées, et que l’échantillon ne peut en aucun cas représenter, par inférence, une population plus importante. Dans le cas des sondages non probabilistes comportant un aspect expérimental où des répondants sont aléatoirement affectés à des cellules différentes, on peut faire appel à des tests de signification statistique pour comparer les résultats obtenus des différentes cellules.
Les normes de la section 4.3.3 concordent avec les normes de l’Association de recherche et d’intelligence marketing (ARIM), quoique plus détaillées que ces dernières (veuillez noter qu’elles s’appliquent aux résultats de recherche en général, et non uniquement aux échantillons non probabilistes)Note de bas de page 6 :
Les chercheurs ne doivent pas présenter de résultats de recherche avec une plus grande confiance que ce que les données indiquent. Plutôt, comme professionnels responsables, les membres doivent indiquer les limites pertinentes de la recherche, ce qui comprend, sans toutefois s’y limiter, les lignes directrices suivantes :
Jusqu’en 2015, l’American Association for Public Opinion Research (AAPOR) a adopté une position semblable. Toutefois, en 2015, l’AAPOR a révisé son Code of Professional Ethics and Practices (Code d’éthique et de pratiques professionnelles) pour permettre la production de rapports sur les mesures de précision des échantillons non probabilistes.
Le changement a apparemment été motivé en partie par le rapport de l’AAPOR de 2013 Task Force on Non-probability Sampling (Groupe de travail sur l’échantillonnage non probabiliste) qui indiquait ce qui suit :
Nous croyons qu’il faut encourager ceux qui ont recours à des échantillons non probabilistes à faire état des mesures de précision de leurs estimations, mais suggérons qu’afin d’éviter toute confusion, l’ensemble des conditions doit se distinguer de celles actuellement employées dans le cadre de sondage d’échantillons probabilistes. La précision des estimations provenant d’échantillons non probabilistes ne constitue pas l’écart moyen de tous les échantillons possibles, mais plutôt une mesure de l’écart fondé sur un modèle provenant de la valeur de la population. Par exemple, Ipsos a proposé l’intervalle de crédibilité pour ses estimations découlant d’une enquête par panel à participation volontaire. Comme indiqué à la section 6, l’intervalle de crédibilité est la mesure de l’incertitude employée dans les méthodes de Bayes, et Ipsos a décrit ses procédures comme étant des procédures bayésiennes. D’autres approches fondées sur un modèle produisent des estimations telles que les erreurs types qu’il est possible d’utiliser et ne renvoient pas à la moyenne de tous les échantillons possibles (la terminologie admise pour les conclusions fondées sur la conception utilisée dans les échantillons probabilistes).
Bien que la base de recherche n’existe pas dans le but d’appuyer cette mesure particulière ni d’insister sur son adoption dans l’ensemble de l’industrie, nous croyons que l’industrie nécessite des tentatives constructives d’élaboration de mesures qui comblent les écarts créés par l’inadéquation du calcul des marges d’erreur types au moyen d’échantillons non probabilistes. Le fait de traiter les estimations comme si elles ne comportaient aucune erreur du tout ne constitue pas une option raisonnable. À ce stade, il appartient aux chercheurs individuels de juger de l’utilité de cette mesure particulière. De tels jugements ne sont possibles que lorsque les organisations qui les utilisent divulguent l’intégralité des renseignements indiqués dans le Code of Professional Ethics and Practice de l’AAPOR accompagnés d’une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées, et les mesures calculées. [Traduction]
La section concernée du Code of Professional Ethics and Practice de l’AAPOR va désormais comme suit :
L’AAPOR a publié des directives détaillées dans AAPOR Guidance on Reporting Precision for Nonprobability Samples (Directives de l’AAPOR sur la déclaration de la précision des échantillons non probabilistes) :
Veuillez noter que la section 4.3.3 actuelle peut être interprétée comme n’autorisant pas de méthodes d’inférence statistiques de rechange comme les intervalles de crédibilité bayésiens. Cette norme est fondée sur la phrase au point 3 de la section 4.3.3 qui dit : dans toute utilisation de statistiques descriptives, on doit indiquer clairement qu’elles ne sont applicables qu’à l’échantillon faisant l’objet de l’étude et qu’elles ne peuvent être généralisées, et que l’échantillon ne peut en aucun cas représenter, par inférence, une population plus importante.
Veuillez noter que les lignes directrices de l’ARIM n’interdisent pas le recours aux intervalles de crédibilité bayésiens, puisque la formulation employée renvoie seulement à la marge d’erreur d’échantillonnage. Les intervalles de crédibilité bayésiens ne constituent pas une marge d’erreur d’échantillonnage. Les lignes directrices de l’ARIM n’abordent pas l’utilisation des intervalles de crédibilité bayésiens.
L’objectif consiste à mettre à jour et à préciser la section 4.3.3 concernant le recours à des mesures statistiques pour des échantillons non probabilistes.
Le comité a été prié d’examiner les 2 options suivantes concernant les révisions possibles de la section 4.3.3, traitement statistique des échantillons non probabilistes :
Pour les besoins de la discussion, le comité a envisagé la révision suivante de la section 4.3.3, traitement statistique des échantillons non probabilistes. Le texte proposé a été rédigé pour l’option 2. Veuillez toutefois noter que certaines des révisions s’appliqueraient tout autant à l’option 1. La différence principale se trouve au point 3 de la section 4.3.3.
4.3.3. Traitement statistique des échantillons non probabilistes
- On ne peut parler de marges d’erreur d’échantillonnage sur les estimations de la population dans le cas d’échantillons non probabilistes.
- Le rapport d’enquête doit contenir un énoncé portant sur les raisons pour lesquelles l’absence de marge d’erreur d’échantillonnage est rapportée en se fondant sur l’énoncé suivant : « Les répondants à ce sondage ont été recensés
- pour certaines enquêtes (p. ex., exploratoires, recherche interne), l’estimation de la précision peut ne pas être essentielle aux objectifs de recherche. Pour d'autres enquêtes, les mesures de précision peuvent être pertinentes, mais le chercheur peut ne pas disposer des ressources statistiques pour les calculer. Il est acceptable pour les chercheurs travaillant avec des échantillons non probabilistes de refuser de déclarer une estimation de la précision. Dans de tels cas, le rapport doit indiquer que les estimations de l'enquête varient, mais qu'on n'a pas tenté de quantifier la taille.
- si on a recours à une autre mesure statistique de précision telle que les intervalles de crédibilité bayésiens :
- facultatif (les mesures de rechange suivantes sont acceptées) :
- intervalles de crédibilité bayésiens
- approches de ré-échantillonnage
- linéarisation par série de Taylor
- la mesure statistique de précision qui sera employée doit être énoncée dans le projet de recherche, et accompagnée d'une justification et d'une brève description
- le rapport d'enquête doit fournir les renseignements suivants :
- une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées et les mesures calculées. Consulter le document de l'AAPOR Guidance on Reporting Precision for Nonprobability Samples pour connaître les renseignements à fournir, ainsi qu'un exemple de type d'énoncé à formuler dans le rapport.
- une hypothèse clé est que les résultats de l'enquête ne sont pas biaisés. Cette hypothèse doit être clairement indiquée et accompagnée de toutes ses limites (voir la section 4.3.1).
- une explication de la façon de comprendre la mesure de précision
- le cas échéant, la façon dont les tests de signification statistique des différences ou des relations fondées sur la méthode de rechange doivent être compris
La plupart des membres du comité ont appuyé l’option 1 (c-à-d. interdire expressément le recours à des mesures de précision de rechange telles que les intervalles de crédibilité bayésiens). Les membres du comité ont exprimé 2 préoccupations fondamentales concernant l’autorisation du recours à des mesures de rechange :
L’un des membres du comité a appuyé l’option 2 (c-à-d. permettre le recours à des mesures de précision de rechange, mais avec une condition importante, à savoir que la méthodologie de sondage non probabiliste d’une étude ait été précédemment validée par des résultats observables). Cela signifierait que l’on est convaincu que le sondage non probabiliste produit des estimations vraisemblables de la population; dans un tel contexte, le recours à une mesure de précision de rechange est une option raisonnable.
L’un des membres du comité était résolument partisan de l’option 2, à savoir permettre le recours facultatif à des mesures de précision de rechange :
La majorité des membres du comité ont appuyé une formulation de compromis pour une norme qui ressemblerait à ceci : « Le recours à des mesures de précision de rechange, telles que les intervalles de crédibilité bayésiens, n’est pas autorisé pour les sondages de ROP du GC, à moins que la DROP l’approuve et que le client du GC y consente ». Cela ouvre la porte à l’utilisation facultative de mesures de précision de rechange, mais souligne explicitement la nécessité d’obtenir l’assentiment de la DROP et du client du GC au cas par cas. Cela permet à un client du GC d’inclure dans l’énoncé des travaux une exigence relative à une autre mesure de précision, telle que les intervalles de crédibilité bayésiens, s’il le souhaite. L’un des membres du comité a suggéré d’ajouter une autre condition indiquant que tout recours à des mesures de précision de rechange doit se fonder sur une demande formulée dans l’énoncé des travaux du client. L’un des membres du comité n’a pas appuyé la formulation de compromis, car il n’était pas favorable au recours à des mesures de précision de rechange dans les sondages de ROP du GC.
Cette formulation de compromis s’accompagnerait d’exigences similaires à celles qui figurent dans le texte proposé au comité pour le point 3 de la section 4.3.3. À cet égard, le comité a suggéré d’apporter les modifications suivantes au texte proposé :
Avec ces modifications, la majorité des membres du comité ont appuyé le point 3 révisé ci-après pour la section 4.3.3 :
4.3.3. Traitement statistique des échantillons non probabilistes 1
- 3.
- si on n’utilise pas une mesure statistique de précision, le rapport doit indiquer que les estimations de l’enquête varient, mais qu’on n’a pas tenté de quantifier la taille
- si on a recours à une autre mesure statistique de précision telle que les intervalles de crédibilité bayésiens :
- la mesure statistique de précision qui sera employée doit être énoncée dans le projet de recherche, et accompagnée d’une justification et d’une brève description
- le rapport d’enquête doit comprendre ce qui suit :
- une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées et les mesures calculées. Cela doit comprendre toute hypothèse du modèle concernant l’impartialité des résultats du sondage et toute limitation relative à ladite hypothèse.
- une explication de la façon de comprendre la mesure de précision, et de toute limitation ou précaution pour l’interprétation de la mesure
- le cas échéant, la façon dont les tests de signification statistique des différences ou des relations fondées sur la méthode de rechange doivent être compris
Le texte proposé au comité pour les points 1 et 2 de la section 4.3.3 a été accepté comme suit :
4.3.3. Traitement statistique des échantillons non probabilistes 2
- On ne peut parler de marges d’erreur d’échantillonnage sur les estimations de la population dans le cas d’échantillons non probabilistes.
- Le rapport d’enquête doit contenir un énoncé portant sur les raisons pour lesquelles l’absence de marge d’erreur d’échantillonnage est rapportée en se fondant sur l’énoncé suivant : « Les répondants à ce sondage ont été recensés
La DROP a demandé au comité d’examiner les points soulevés dans un court article de Robert Peterson au titre provocateur, soit « It’s time for pollsters to report margins of error more honestly »Note de bas de page 7 (Il est temps que les enquêteurs déclarent les marges d’erreur de façon plus honnête). L’article énumère les problèmes suivants concernant les pratiques actuelles :
D’abord, la marge d’erreur d’échantillonnage déclarée peut sous-entendre qu’elle se rapporte à l’ensemble d’une enquête. En réalité, elle ne concerne qu’une seule question, même si les recherches démontrent que bon nombre d’entre nous croient qu’une marge déclarée se rapporte à l’ensemble de l’enquête.
De plus, la seule question utilisée pour calculer la marge est hypothétique. Elle ne reflète pas la réponse réelle à aucune des questions posées au cours de l’enquête.
Enfin, la formule servant à calculer la marge présume de façon arbitraire que la réponse à la question hypothétique produira 50 % de « oui » et 50 % de « non ». La marge déclarée serait exacte pour cette question seulement si, par hasard, les répondants répondent exactement de cette façon.
La justification fournie pour cette façon de déclarer les marges d’erreur est qu’une répartition 50-50 a la marge la plus grande possible. Si une enquête déclare l’erreur d’échantillonnage maximale, elle aborde le pire scénario possible (pour cette question [hypothétique]).
Sauf que l’enquête ne l’a pas nécessairement fait. Si une question comporte plus de 2 réponses possibles (comme « Ne sais pas » en plus de « oui » et de « non ») elle exige une formule différente. Pour les sous-groupes tels que les « hommes » ou les personnes de « 65 ans et plus », les marges seront plus importantes que celles de l’enquête dans son ensemble.
Surtout, les marges d’erreur peuvent être cumulatives. De nombreuses réponses aux questions d’une enquête sont interreliées. Collectivement, leurs marges dépassent celles pour une seule question. Pour une enquête simple comportant seulement 4 questions et ayant un taux de confiance de 95 % pour chacune d’entre elles, la marge d’erreur d’échantillonnage totale pour l’enquête peut être aussi importante que 19 %.
L’article énumère les types suivants de solutions à ces problèmes :
Il existe des façons plus précises de représenter les marges d’erreur des enquêtes. L’une des options consiste à n’en présenter aucune. C’est exactement ce qu’a fait une récente enquête Harris-CAPS de Harvard.
Une autre option consiste à calculer les marges d’erreur d’échantillonnage individuelles pour chaque question d’une enquête. Les enquêteurs pourraient par la suite calculer une marge moyenne pour l’ensemble des questions de l’enquête. De telles estimations présenteraient tout de même des lacunes, mais elles seraient meilleures que la seule marge hypothétique qu’on déclare à l’heure actuelle.
Enfin, les enquêteurs doivent mettre au point une approche multiquestions. Une telle approche tiendrait compte à la fois du nombre, des types, des poids et des relations des questions ainsi que des marges d’erreur d’échantillonnage individuelles aux questions réelles, et d’une pour l’enquête dans son ensemble. [Traduction]
La section 14.7 (normes pour les sondages en ligne) et 15.7 (normes pour les sondages téléphoniques) aborde l’un des points de l’article, soit celui selon lequel la marge d’erreur d’échantillonnage varie selon la taille de l’échantillon; en d’autres termes, la marge d’erreur d’échantillonnage pour les sous-groupes n’est pas la même que celle de l’échantillon total.
14.7/15.7. Exigences obligatoires relatives au rapport d’enquête; résultats
- 2) dans le cas d’échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur et l’intervalle de confiance pour l’échantillon total et tout sous-groupe principal
Pour les besoins de la discussion, le comité a reçu une révision proposée du point 2 des sections 14.7 et 15.7 qui ajoute une exigence selon laquelle il faut indiquer la façon dont la marge d’erreur d’échantillonnage varie entre différents pourcentages observés.
Sections 14.7 et 15.7 modifiées. Exigences obligatoires relatives au rapport d’enquête; résultats
- 2) dans le cas des échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur et l’intervalle de confiance pour l’échantillon total et tout sous-groupe principal,
Le comité a été prié de commenter la révision proposée et tout autre aspect de l’article de Peterson qui pourrait influer sur les normes.
Les avis des membres du comité étaient partagés concernant les exigences à établir pour la déclaration du niveau de précision des sondages probabilistes.
Chacune des 2 options suivantes pour les sections 14.7/15.7 était appuyée par plusieurs membres du comité :
option 1 : Dans le cas d’échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur d’échantillonnage et l’intervalle de confiance pour un pourcentage observé de 50 % de l’échantillon total et tout sous-groupe principal. Les résultats des sous-groupes auront une marge d’erreur d’échantillonnage plus élevée, en raison de la plus petite taille de l’échantillon. En outre, la marge d’erreur d’échantillonnage est la plus élevée pour les questions auxquelles 50 % des répondants ont donné une réponse et les 50 % restants ont donné une autre réponse. La marge d’erreur d’échantillonnage diminue à mesure que le pourcentage observé d’une réponse donnée s’approche de 0 % ou de 100 %.
L’application de cette norme signifie que les marges d’erreur d’échantillonnage numérique seraient déclarées pour un pourcentage observé de 50 % sur la base de l’échantillon total et sur les bases des sous-groupes principaux.
L’un des membres du comité a suggéré que le rapport d’enquête devrait également fournir un lien vers un site Web qui offre un calculateur aux lecteurs qui souhaitent déterminer les marges d’erreur d’échantillonnage pour d’autres pourcentages observés ou tailles d’échantillon.
option 2 : Dans le cas des échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur d’échantillonnage et l’intervalle de confiance pour l’échantillon total et tout sous-groupe principal, ainsi que pour le choix de différentes valeurs de pourcentage représentant la gamme de pourcentages apparaissant dans le rapport. Les résultats des sous-groupes auront une marge d’erreur d’échantillonnage plus élevée, en raison de la plus petite taille de l’échantillon. En outre, la marge d’erreur d’échantillonnage est la plus élevée pour les questions auxquelles 50 % des répondants ont donné une réponse et les 50 % restants ont donné une autre réponse. La marge d’erreur d’échantillonnage diminue à mesure que le pourcentage observé d’une réponse donnée s’approche de 0 % ou de 100 %.
L’option 2 ajoute à l’option 1 l’exigence d’inclure dans le rapport un tableau ou son équivalent narratif qui indique la marge d’erreur d’échantillonnage pour d’autres pourcentages observés (c-à-d. pas seulement pour un pourcentage observé de 50 %) et pour un choix représentatif de tailles d’échantillon. Cela peut, par exemple, prendre la forme d’un seul tableau, qui affiche les tailles d’échantillon ou les sous-groupes principaux dans une dimension, et un choix de pourcentages observés dans l’autre dimension.
Certains membres du comité ont préféré l’option 1 à l’option 2 parce que cette dernière nécessite un peu plus de travail. Cependant, d’autres membres n’avaient pas d’opinion très arrêtée à ce sujet, et trouvaient les 2 options convenables.
Chacune des options suivantes a été appuyée par un membre du comité :
option 3 : Dans le cas d’échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur d’échantillonnage et l’intervalle de confiance pour l’échantillon total pour chaque question résumée dans le rapport d’enquête, et pour les résultats de tous les sous-groupes présentés pour chaque question.
Selon le membre qui a appuyé cette option, il est facile de se procurer ces renseignements grâce aux logiciels de traitement des données modernes. Cependant, certains membres du comité estimaient que ce niveau de détail était excessif et inutile.
option 4 : Dans le cas d’échantillons probabilistes, indiquer le niveau de précision, y compris la marge d’erreur et l’intervalle de confiance pour l’échantillon total, pour un pourcentage observé de 50 %. Les résultats des sous-groupes auront une marge d’erreur d’échantillonnage plus élevée, en raison de la plus petite taille de l’échantillon. En outre, la marge d’erreur d’échantillonnage est la plus élevée pour les questions auxquelles 50 % des répondants ont donné une réponse et les 50 % restants ont donné une autre réponse. La marge d’erreur d’échantillonnage diminue à mesure que le pourcentage observé d’une réponse donnée s’approche de 0 % ou de 100 %.
Selon le membre qui a appuyé cette option, elle est simple, et c’est souvent cette formule qui est utilisée pour déclarer la marge d’erreur d’échantillonnage pour les sondages.
La DROP a reçu des commentaires de l’industrie selon lesquels une partie des normes actuelles portant sur le traitement statistique des résultats d’un recensement n’est peut-être pas correcte.
Le passage s’y rapportant se trouve à la section 4.6, enquêtes exhaustives ou recensements. Le passage suivant est une version abrégée de la section 4.6 :
Dans une enquête exhaustive, ou recensement, on tente de recueillir des données auprès de chaque membre d’une population. Par exemple, une organisation peut vouloir mener une enquête auprès de tous ses employés. Dans ce cas, la population est formée de « tous les employés de l’organisation », ce qui pourrait passer pour une enquête exhaustive, ou recensement, si tous les employés sont invités à participer.
La liste utilisée pour contacter tous les membres de la population cible et les inviter à participer à l’enquête doit être clairement décrite, y compris toute limitation ou exclusion dans la représentation de l’échantillon cible. Lorsque c’est possible, une estimation du pourcentage de la population qui est exclue de la liste doit être fournie, tout comme les répercussions potentielles de cette exclusion sur les résultats de l’enquête qui seront pris en considération. […]
- Le nombre de tentatives de relance et les procédures qui s’y rattachent doivent être énoncés.
- Ne pas énoncer de marge d’erreur d’échantillonnage puisque cela ne s’applique pas à un recensement parce qu’aucun échantillon n’est sélectionné. Le rapport d’enquête doit contenir un énoncé expliquant pourquoi aucune marge d’erreur d’échantillonnage n’est signalée, selon le modèle suivant : « Étant donné que tous les membres de la [population cible] ont été invités à prendre part à cette enquête, aucune marge d’erreur d’échantillonnage ne doit être évaluée ou signalée. L’incidence potentielle des erreurs de non-échantillonnage découlant de la non-réponse est énoncée dans la portion du rapport traitant des résultats. [Si une pondération a été effectuée, inclure la phrase suivante au sujet de la pondération :] Les données ont été pondérées de façon à représenter la composition [de la population cible (si elle est connue) ou du cadre d’échantillonnage (p. ex., liste fournie par le client)] à l’égard des principales caractéristiques connues. »
- Il n’est pas nécessaire de procéder à des tests statistiques inférentiels, puisque les résultats (fréquences, pourcentages) rapportés dans une enquête exhaustive représentent la population cible en entier. [énoncé #1] Il est toutefois acceptable de procéder à des tests statistiques inférentiels pour mesurer les différences entre les sous-groupes d’une population cible. [énoncé #2] Comme c’est le cas pour toutes les enquêtes, qu’il s’agisse de sondages par échantillonnage ou d’enquêtes exhaustives, l’incidence sur les résultats des erreurs non liées à l’échantillonnage en raison de non-réponse doit être abordée autant que possible, et les réserves à l’égard de l’interprétation des résultats doivent être clairement énoncées.
Selon les commentaires reçus, l’énoncé 2 ne concorde pas avec l’énoncé 1 : « en reprenant le raisonnement, un sous-groupe du recensement constituerait tout de même un recensement du sous-groupe. Les tests de signification statistique ne seraient appropriés que pour les échantillons aléatoires du recensement ».
Le comité a été prié d’indiquer si les 2 énoncés ci-dessus sont incohérents.
La plupart des membres du comité ont affirmé que l’énoncé 1 est approprié, mais que l’énoncé 2 ne l’est pas. Cela s’explique par le fait que, si un sondage est un recensement ou une tentative de recensement d’une population, il s’agit également d’un recensement ou d’une tentative de recensement des sous-groupes de la population en question. Par conséquent, les tests statistiques inférentiels ne sont pas nécessaires, ni pour l’échantillon total ni pour les sous-groupes de l’échantillon.
Quelques membres du comité ont fait remarquer que, selon une école de pensée, les tests de signification statistique effectués au moyen de données de recensement pourraient être légitimes si on tente de déterminer si les différences entre les groupes sont significatives, mais que cette pratique n’est pas universellement reconnue. Il a été suggéré que, lorsqu’on utilise des données de recensement, il est plus utile, pour déterminer si une différence est significative, de se concentrer sur l’ampleur de l’effet et d’examiner si elle est significative étant donné la politique ou l’enjeu à l’étude.
Dans un recensement, une tentative est faite pour communiquer avec chaque individu dans la population (assujettie à une erreur de couverture). Cependant, il est rare qu’une entrevue ait lieu lors de chaque tentative de contact, c’est-à-dire que le taux de réponse sera généralement inférieur à 100 %.
Le comité a été prié d’examiner si un sondage cesse d’être un recensement ou une tentative de recensement lorsque le taux de réponse tombe sous un certain seuil.
La section 2.1.3 des normes pour les sondages en ligne et téléphoniques fournit les questions requises qui doivent être posées dans tous les sondages réalisés auprès de personnes, « à moins que de bonnes raisons soient présentées selon lesquelles les objectifs de recherche sont mieux servis par l’exclusion d’une ou de plusieurs de ces questions » (il y a également une exclusion pour la recherche interentreprises lorsque l’unité d’analyse correspond à l’organisation).
La section 2.1.3 prévoit ce qui suit :
Le libellé de chaque question doit être tel qu’il est fourni ci-dessous, sauf si de bonnes raisons sont présentées selon lesquelles certains objectifs de recherche en justifient la modification. Même dans ces circonstances exceptionnelles, les termes utilisés ou les catégories appliquées pour recueillir des réponses (p. ex., pour le revenu familial) doivent demeurer les mêmes.
La section 2.1.3 stipule la justification suivante pour ces questions requises :
Les données découlant des questions sur l’âge, l’éducation et la langue (ainsi que l’enregistrement de l’information sur l’emplacement géographique et le sexe des répondants) permettent d’établir des comparaisons avec les données de recensementNote de bas de page * de Statistique Canada, aux fins de l’analyse en cas de non-réponse. Les données, y compris celles qui proviennent des questions sur l’emploi et le revenu, facilitent également la comparaison des résultats entre les différentes études de recherche sur l’opinion publique réalisées par le gouvernement du Canada. (Voir la section 8. pour obtenir de plus amples renseignements sur le biais de non-réponse.)
La comparabilité avec les questions et les choix de réponse de Statistique Canada est une exigence essentielle. Cela est nécessaire pour les analyses en cas de non-réponse et lorsque des variables sont utilisées pour pondérer les données de sondage en vue d’établir une correspondance avec la population.
En raison des différences entre les méthodes en ligne (réponse libre) et téléphonique (lecture par un intervieweur), les questions et les choix de réponse peuvent être quelque peu différents pour les 2 méthodes.
Il s’agit d’une exigence générale (section 2.1.2), au début d’un sondage, d’informer les répondants de la confidentialité de leurs réponses au questionnaire, mais les normes actuelles n’indiquent aucune formulation précise sur la façon d’introduire la série de questions démographiques qui sont posées vers la fin du questionnaire.
À titre de référence, voici les parties pertinentes de la section 2.1.2 :
2.1.2 Les éléments suivants sont nécessaires dans toute introduction d’un questionnaire de sondage en ligne mené par le gouvernement du Canada :
- f. indiquer aux répondants que leur participation à l’étude est volontaire et entièrement confidentielle
- g. indiquer aux répondants que leurs réponses demeurent anonymes. Dans des circonstances exceptionnelles, lorsque les objectifs de la recherche exigent que l’identité des répondants soit divulguée, il faut obtenir le consentement éclairé du répondant en question
Le commissaire à la protection de la vie privée a demandé l’ajout d’un énoncé sur la protection de la vie privée avant la série de questions démographiques à la fin d’un questionnaire, comme celui-ci :
« Ces quelques dernières questions sont uniquement à des fins statistiques et demeureront confidentielles. Votre identité ne sera jamais révélée. »
Le comité a examiné les formulations possibles pour l’introduction à la série de questions démographiques à la fin d’un questionnaire. Pour les besoins de la discussion, le comité est parti du texte proposé suivant :
2.1.3 L’énoncé suivant est obligatoire pour tous les sondages téléphoniques ou en ligne du gouvernement du Canada avant d’administrer la section du questionnaire portant sur les données démographiques :
En ce qui concerne la phrase d’introduction suggérée, « Ces quelques dernières questions sont uniquement à des fins statistiques, le comité préférait la formulation suivante : Ces quelques dernières questions nous permettront de comparer les groupes de répondants. Les membres du comité estimaient que les répondants comprendraient plus facilement l’expression « comparer les groupes de répondants » que l’expression « à des fins statistiques ».
En ce qui concerne la 2e phrase de l’introduction, les avis des membres du comité étaient partagés entre les choix suivants :
Il est à noter que, dans toutes les options, le passage proposé et seront combinées avec celles des autres répondants au présent sondage est omis. Les membres du comité estimaient que cette partie de la phrase allongeait le sondage sans offrir de renseignements utiles aux répondants.
Le choix entre « anonyme » et « confidentiel », voire l’utilisation des 2 adjectifs, dépend de 2 facteurs :
On ne sait pas vraiment comment les répondants interpréteraient ces mots dans le contexte d’un sondage, et il est possible que les interprétations individuelles diffèrent. Il ne faut pas non plus oublier que, dans le contexte d’un questionnaire de sondage, le répondant ne passe pas forcément beaucoup de temps à analyser la signification.
Même si on ne peut pas vraiment connaître les interprétations des répondants, les normes du GC devraient reposer sur des définitions prévues claires lorsqu’il s’agit de choisir une formulation appropriée. Voici un exemple d’une façon possible de considérer ces termes :
L’essentiel, c’est que la décision concernant l’utilisation du terme « confidentiel » ou « anonyme » dans l’introduction de la série de questions démographiques vers la fin du sondage devra reposer sur des définitions prévues qui sont claires.
Dans les questions démographiques qui sont requises actuellement dans les sondages téléphoniques et en ligne, il existe une différence notable entre l’option de réponse « préfère ne pas répondre » et les formes connexes de cette option de réponse, à savoir « ne sait pas », « refuse de répondre » :
Le comité était d’accord avec l’approche adoptée dans les sondages téléphoniques (en d’autres termes, l’intervieweur ne lit pas l’option de réponse « préfère ne pas répondre » [ou ses formes connexes], mais l’enregistre si c’est ce que dit le répondant).
Les membres du comité ne s’entendaient pas sur la question de savoir si l’option « préfère ne pas répondre » devrait toujours figurer dans la liste pour les sondages en ligne :
Les raisons de cette position comprenaient les suivantes :
Les raisons de cette position comprenaient les suivantes :
Le comité a conclu qu’il faudrait supprimer l’option de réponse « préfère ne pas répondre » (et les formes connexes) dans la liste des réponses requises dans les sondages en ligne, mais la conserver comme catégorie de réponse optionnelle. Dans les sondages en ligne qui peuvent créer un effet de conditionnement faisant que le répondant ne se rend pas forcément compte qu’il peut choisir de ne pas répondre, il serait judicieux de l’informer que cette option lui est offerte.
Quelques-unes des questions démographiques requises comportent une liste d’options de réponse relativement longue, notamment les questions sur l’âge, les études et le revenu familial.
De l’avis du comité, au cours d’une entrevue téléphonique, l’intervieweur ne devrait pas être tenu de lire toutes les options de réponse avant d’accepter une réponse, mais devrait avoir le droit de dire au répondant de s’arrêter à la catégorie qui le concerne. Cela peut rendre la version téléphonique de la formulation de la question quelque peu différente de la formulation de la version en ligne, mais présente l’avantage de réduire la durée du sondage pour les sondages téléphoniques.
Si l’on prend la question sur le revenu familial comme exemple, on pourrait réviser la version téléphonique de la question pour qu’elle ressemble à ce qui suit : Veuillez m’arrêter à la catégorie qui décrit le mieux votre revenu familial total de l’année dernière, soit le revenu total combiné et avant impôt de toutes les personnes vivant sous votre toit. (LIRE LA LISTE)
Le comité a suggéré de réviser la section 2.1.3 de façon à autoriser la modification de la formulation d’une question démographique, pour permettre à l’intervieweur de dire au répondant qu’il peut s’arrêter à la catégorie qui le concerne. Par exemple, on pourrait modifier la formulation requise d’une question en la faisant précéder d’une introduction de la forme : Veuillez m’arrêter à la catégorie qui décrit le mieux votre [insérer la dimension démographique].
La question requise actuellement à la section 2.1.3 pour les sondages téléphoniques et en ligne est la suivante :
Sondages téléphoniques
Sexe : [Ne posez pas la question. Réponse basée sur l’observation de l’intervieweur.]
Sondages en ligne
Sexe : Quel est votre sexe?
Dans les questions requises actuellement, les renseignements sur le sexe sont recueillis très différemment dans les sondages en ligne et les sondages téléphoniques. Dans la version téléphonique, l’intervieweur ne pose pas vraiment de question sur le sexe; c’est plutôt l’observation de l’intervieweur qui est utilisée. Dans la version en ligne, une question est posée. Il s’agit donc ici d’auto-classification du répondant plutôt que de classification de l’intervieweur. En outre, contrairement à la version en ligne, la version téléphonique ne comprend aucune option de réponse « préfère ne pas répondre », ce qui est logique (le cabinet de recherche peut proposer une option de réponse « indéterminée », mais on ne sait pas dans quelle mesure les cabinets donnent ce type d’option aux intervieweurs dans la réalité).
Les considérations concernant la formulation de cette question sont les suivantes.
le Recensement de 2016 de Statistique Canada faisait usage de la question suivante, même si, comme indiqué plus loin, elle changera dans le prochain recensement :
Quel est le sexe de cette personne?
Le questionnaire de recensement dans d’autres grands pays (p. ex., les États-Unis, le Royaume Uni et l’Australie) comprenait également une question semblable et offrait uniquement les 2 choix de réponse précisés ci-dessus dans leur cycle de collecte des données de recensement le plus récent :
MRS souligne également les points clés suivants :
MRS a fourni les exemples suivants de questions et une liste de vérification concernant les questions que les chercheurs doivent se poser avant de décider quelle question poser :
Quel est votre sexe?
Quel est votre sexe? OU Quel est votre genre?
MRS poursuit en indiquant ce qui suit concernant les questions sur l’identité de genre en particulier :
L’établissement d’une pratique exemplaire dans l’élaboration et la présentation des questions sur l’identité de genre devra prendre appui sur la position et la pratique de l’ONS [Office of National Statistics] et la recherche effectuée par l’EHRC [Equality and Human Rights Commission]. Cela permettra à la collectivité de recherche de concevoir et d’utiliser une question uniforme et normalisée sur l’identité de genre que toutes les personnes vivant au R.-U. peuvent comprendre et à laquelle elles peuvent répondre. [Traduction]
Dans son article « How Should Market Researchers Ask About Gender in Surveys? », Uptal Dholakia, dans un blogue en ligne pour Psychology Today (septembre 2016), souligne que : Tout sondage de recherche sur le marché bien conçu est fondé sur 2 principes fondamentaux : le principe d’exactitude et le principe d’inclusion. Un questionnaire doit être conçu pour recueillir des renseignements de façon exacte, à l’aide des pratiques exemplaires de conception de sondage que les psychométriciens ont formulées au fil de plusieurs décennies. Mais c’est insuffisant. Un sondage doit aussi être inclusif. Lorsqu’un répondant a fini de répondre à un sondage, il doit sentir que l’opinion qu’il a fournie sera valorisée autant que celle fournie par les autres répondants [Traduction]
Le comité a examiné si les questions requises actuellement sur le sexe devraient être révisées, et s’est penché sur les révisions qui pourraient être appropriées.
La question requise devrait demander au répondant de préciser son genre, pas son sexe, et donner comme options de réponse « masculin », « féminin » et « autre ».
En posant une question sur le genre plutôt que sur le sexe, on respecte le principe de l’inclusivité; cela concorde également avec ce que prévoit Statistique Canada pour le prochain recensement, à savoir poser une question sur le genre et offrir une option de réponse « Autre ».
Jusqu’à ce que les données du prochain recensement soient disponibles, il peut exister un manque de concordance entre cette question révisée sur le genre dans les sondages de ROP du GC et les données de recensement existantes fondées sur une question à propos du sexe. Toutefois, selon l’un des membres du comité, Statistique Canada a constaté une différence relativement minime entre les réponses aux 2 types de questions, et un usage relativement faible de l’option de réponse « autre ». Par conséquent, les répercussions sur la pondération sont mineures et gérables.
En raison de l’ajout de l’option de réponse Autre, la question sur le genre doit être posée explicitement dans les sondages téléphoniques, au lieu d’être laissée à l’observation de l’intervieweur. En outre, le fait de poser cette question explicitement respecte l’auto-classification du participant quant au genre. De ce fait, la même question serait posée dans les sondages en ligne et dans les sondages téléphoniques :
Sondages téléphoniques et sondages en ligne
Genre : Quel est votre genre?
Quelques membres du comité qui étaient d’avis qu’il fallait poser cette question dans les sondages téléphoniques et les sondages en ligne ont fait observer que, dans les sondages téléphoniques, cette question pourrait donner lieu à des plaintes, à des plaisanteries ou à des refus, et que les intervieweurs devront s’y préparer. Par exemple, on a suggéré de permettre à l’intervieweur d’« adoucir » la question en la faisant précéder d’une expression telle que « juste pour confirmer… ». Un « adoucissement » de ce genre préserve la formulation de la question requise et les options de réponse, et serait donc conforme à la formulation requise suggérée.
Une autre possibilité pour « adoucir » cette question dans un sondage téléphonique serait de ne pas exiger la lecture des options de réponse. Dans un tel scénario, l’intervieweur sélectionnerait la catégorie « autre » lorsqu’un répondant donne une réponse qui n’est pas uniquement « féminin » ou « masculin ». Même si cela donne lieu à une présentation de la question différente entre les sondages téléphoniques et les sondages en ligne, il semble raisonnable de s’attendre à ce que les résultats soient comparables, c-à-d. que cela ne cause pas un effet modal.
Les membres du comité ont souligné que, selon les objectifs de certains sondages, l’option de réponse « autre » pourrait être élargie et devenir une option de réponse ouverte « autre », veuillez préciser, ou devenir une liste d’options de réponse plus longue. Cette formulation optionnelle resterait conforme à l’exigence fondamentale d’offrir une option de réponse « autre ».
L’un des membres du comité a fait remarquer que la réaction des répondants à l’usage du mot anglais « gender » pourrait être différente de la réaction au mot français genre dans la question « quel est votre genre? ». Il pensait que cette question pourrait être jugée plus maladroite ou étrange en français. Statistique Canada a indiqué être passé à l’utilisation du mot genre dans certains sondages récents, mais a) accompagné d’une explication et b) précédé d’une question sur le sexe de la personne :
Si on tient pour acquis que le mot genre sera utilisé dans le prochain recensement, alors, par souci de comparabilité, il faudrait utiliser dans la norme la même formulation pour la version française de la question à ce sujet
L’un des membres du comité était d’un avis différent concernant la question requise et a suggéré le recours à une question à plusieurs étapes qui commence par établir le sexe à la naissance, puis établit le genre. Voici la formulation proposée :
Les 2 questions requises suivantes figurant à la section 2.1.3 des sondages téléphoniques et en ligne portent sur la langue. Le chercheur peut choisir d’utiliser les 2 questions ou l’une des 2 questions seulement, en fonction des objectifs du sondage :
Sondages téléphoniques
Langue maternelle
Quelle langue avez-vous apprise en premier à la maison lorsque vous étiez enfant et que vous comprenez encore? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Langue parlée à la maison
Quelle langue parlez-vous le plus souvent à la maison? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Sondages en ligne
Langue maternelle
Quelle langue avez-vous apprise en premier à la maison lorsque vous étiez enfant et que vous comprenez encore? [ACCEPTER TOUS LES CHOIX PERTINENTS]
Langue parlée à la maison
Quelle langue parlez-vous le plus souvent à la maison? [ACCEPTER TOUS LES CHOIX PERTINENTS]
Le comité a été prié de formuler des observations concernant la ou les questions à exiger dans les sondages de ROP du GC concernant la langue officielle des répondants.
Les points à prendre en compte sont les suivants :
Le Comité a été prié d’examiner s’il faudrait conserver les 2 questions existantes sur la langue, et de commenter la formulation et les options de réponse. Il convient de noter que la discussion ci-dessous n’aborde pas la pertinence d’inclure une option « préfère ne pas répondre », car ce sujet a été traité auparavant.
Le comité était d’avis que « la langue parlée le plus souvent à la maison » est la forme la plus utile de la question sur la langue et devrait être la seule question requise. L’ajout de la « langue maternelle » serait laissé à la discrétion du chercheur. La formulation actuelle de la question sur la « langue parlée le plus souvent à la maison » est appropriée.
Voici la question requise actuellement sur l’âge :
Sondages téléphoniques
Quelle est votre année de naissance? [Noter l’année : XXXX]
[SI LE RÉPONDANT PRÉFÈRE NE PAS FOURNIR D’ANNÉE DE NAISSANCE PRÉCISE, POSER LA QUESTION SUIVANTE :]
Seriez-vous disposé à me dire à quelle catégorie d’âge vous appartenez?
Sondages en ligne
Quelle est votre année de naissance? [AAAA]
[SI LE RÉPONDANT PRÉFÈRE NE PAS FOURNIR D’ANNÉE DE NAISSANCE PRÉCISE, POSER LA QUESTION SUIVANTE :]
Seriez-vous disposé à indiquer à quelle catégorie d’âge vous appartenez?
Un sondage pourrait comprendre des plages plus détaillées dans la mesure où elles peuvent être regroupées en fonction des catégories ci-dessus.
Dans le recensement, Statistique Canada détermine l’âge à partir de la date de naissance.
À titre de référence, le Profil du recensement de 2016 pour le Canada affiche la répartition suivante selon l’âge :
| Groupe d’âge | % de la population âgée de 18 ans et plus |
|---|---|
| 18 à 24 ans | 10,9 % |
| 25 à 29 ans | 8,1 % |
| 30 à 34 ans | 8,3 % |
| 35 à 39 ans | 8,1 % |
| 40 à 44 ans | 8,0 % |
| 45 à 49 ans | 8,4 % |
| 50 à 54 ans | 9,5 % |
| 55 à 59 ans | 9,3 % |
| 60 à 64 ans | 8,1 % |
| 65 à 69 ans | 7,0 % |
| 70 à 74 ans | 5,1 % |
| 75 à 79 ans | 3,6 % |
| 80 ans ou plus | 5,4 % |
| Groupe d’âge | % de la population âgée de 18 ans et plus |
|---|---|
| 18 à 24 ans | 10,9 % |
| 25 à 34 ans | 16,4 % |
| 35 à 44 ans | 16,2 % |
| 45 à 54 ans | 17,9 % |
| 55 à 64 ans | 17,5 % |
| 65 ans ou plus | 21,1 % |
La structure de la question requise sur l’âge est appropriée, car elle demande premièrement la date de naissance, et ne présente les catégories d’âge que si le répondant refuse de donner sa date de naissance. La plupart des répondants répondent à la question sur la date de naissance.
En ce qui concerne la question de suivi adressée aux répondants qui refusent de donner leur date de naissance, le comité a suggéré d’apporter les changements suivants aux catégories :
Voici la question requise actuellement sur les études :
Sondages téléphoniques
Quel est le niveau de scolarité le plus élevé que vous ayez atteint? [LIRE LA LISTE]
Sondages en ligne
Quel est le niveau de scolarité le plus élevé que vous ayez atteint?
À titre de référence, le Profil du recensement de 2016 pour le Canada affiche les catégories d’études suivantes :
| Niveau de scolarité | % de la population |
|---|---|
| Aucun certificat, diplôme ou grade | 18,3 % |
| Diplôme d’études secondaires ou attestation d’équivalence | 26,5 % |
| Certificat, diplôme ou grade d’études postsecondaires | 55,3 % |
| Certificat ou diplôme d’apprenti ou d’une école de métiers | 9,8 % |
| Certificat ou diplôme d’un collège, d’un cégep ou d’un autre établissement non universitaire | 19,4 % |
| Certificat ou diplôme universitaire inférieur au baccalauréat | 2,8 % |
| Certificat, diplôme ou grade universitaire au niveau du baccalauréat ou supérieur | 23,3 % |
| Baccalauréat | 15,5 % |
| Certificat ou diplôme universitaire supérieur au baccalauréat | 1,6 % |
| Diplôme en médecine, en médecine dentaire, en médecine vétérinaire ou en optométrie | 0,7 % |
| Maîtrise | 4,6 % |
| Doctorat acquis | 0,8 % |
On a signalé que les 2 premières catégories dans la question requise actuellement sur les études ne sont pas bien harmonisées avec le système d’éducation québécois. La DROP a fourni l’énoncé suivant tiré de Wikipédia :
L’enseignement primaire obligatoire (école primaire) commence à la première année, et se poursuit jusqu’à la 6e année. L’école secondaire comprend 5 années, appelées secondaires I à V (sec I à V, version abrégée) ou simplement les années 7 à 11. Les élèves sont âgés de 12 à 16 ans (âge au 30 septembre), sauf en cas de redoublement. À la fin de la onzième année, les élèves reçoivent un diplôme d’études secondaires du gouvernement provincial. [Traduction]
Au Québec, la 8e année correspond au début de l’école secondaire, alors qu’en dehors du Québec, la neuvième année correspond au début de l’école secondaire. L’opinion est que les 2 premières catégories existantes (8e année ou moins et Études secondaires non terminées) portent à confusion au Québec. En outre, ces catégories se chevauchent, puisque la 8e année correspond également à « une partie de l’école secondaire » au Québec.
Une approche révisée possible consiste à éviter de faire la distinction entre les sous-catégories inférieures à un diplôme d’études secondaires (ces distinctions pouvant toujours être ajoutées de façon ponctuelle pour un sondage en particulier). Dans cette optique, les 2 premiers choix de réponse pourraient être comme suit :
Le comité a examiné s’il faudrait modifier la question sur les études et, le cas échéant, comment la modifier, et s’est notamment penché sur la révision proposée qui combine les 2 options de réponse « sans diplôme d’études secondaires » en une seule catégorie.
Le comité appuyait la combinaison des 2 options de réponse « sans diplôme d’études secondaires » en une seule catégorie, Sans diplôme d’études secondaires ou l’équivalent. Il a souligné que ces options sont habituellement combinées lorsqu’on examine le lien entre les études et d’autres variables du sondage. Le chercheur aurait encore la possibilité de diviser la catégorie « sans diplôme d’études secondaires » en sous-catégories, s’il estime que cela serait utile pour un sondage donné.
L’un des membres du comité a fait remarquer qu’il n’est pas rare que les jeunes adultes commencent des études postsecondaires mais ne les terminent pas, ou les commencent puis prennent une pause, ou fréquentent plus d’un établissement d’enseignement postsecondaire sur une certaine période avant d’obtenir un diplôme. Selon le moment où on leur demande d’indiquer leur niveau d’études, ils ont peut-être suivi des études de niveau supérieur aux études secondaires, mais n’ont pas obtenu de diplôme ou de certificat. À certaines fins, il peut être utile d’inclure cela dans les options de réponse. Il convient de noter que cela concorde encore avec la question requise sur les études, car il est ensuite possible de recoder cette option de réponse par sous-catégorie dans les options de réponse requises.
Voici la question requise actuellement sur le revenu familial :
Sondages téléphoniques
Dans quelle échelle salariale se trouve votre revenu familial total, c’est-à-dire le total des revenus avant impôts de toutes les personnes habitant avec vous? [LIRE LA LISTE]
Sondages en ligne
Dans quelle échelle salariale se trouve votre revenu familial total, c’est-à-dire le total des revenus avant impôts de toutes les personnes habitant avec vous?
On suppose qu’un sondage pourrait comprendre des plages plus détaillées dans la mesure où elles peuvent être regroupées en fonction des catégories ci-dessus.
Statistique Canada obtient maintenant des données sur le revenu à partir des dossiers administratifs, quoique certains de ses sondages posent une question sur le revenu sous une forme ou une autre.
Statistique Canada indique différentes situations de revenu, dont le « revenu total des ménages privés avant impôt », qui semble équivaloir au « revenu familial total » dans les questions ci-dessus.
À titre de référence, selon les données de 2015, le Profil de recensement du Canada affiche les données suivantes pour le revenu total des ménages privés :
| Revenu des ménages privés | % de la population |
|---|---|
| Moins de 5 000 $ | 1,6 % |
| 5 000 $ à 9 999 $ | 1,4 % |
| 10 000 $ à 14 999 | 2,7 % |
| 15 000 $ à 19 999 $ | 4,0 % |
| 20 000 $ à 24 999 $ | 4,3 % |
| 25 000 $ à 29 999 $ | 3,8 % |
| 30 000 $ à 34 999 $ | 4,3 % |
| 35 000 $ à 39 999 $ | 4,3 % |
| 40 000 $ à 44 999 $ | 4,2 % |
| 45 000 $ à 49 999 $ | 4,1 % |
| 50 000 $ à 59 999 $ | 7,8 % |
| 60 000 $ à 69 999 $ | 7,2 % |
| 70 000 $ à 79 999 $ | 6,6 % |
| 80 000 $ à 89 999 $ | 5,9 % |
| 90 000 $ à 99 999 $ | 5,3 % |
| 100 000 $ à 124 999 $ | 10,4 % |
| 125 000 $ à 146 999 $ | 7,2 % |
| 150 000 $ à 199 999 $ | 7,9 % |
| 200 000 $ et plus | 6,8 % |
| Revenu des ménages privés : tranches requises actuelles | % of population |
|---|---|
| Moins de 20 000 $ | 9,7 % |
| 20 000 $ à moins de 40 000 $ | 16,7 % |
| 40 000 $ à moins de 60 000 $ | 16,1 % |
| 60 000 $ à moins de 80 000 $ | 13,7 % |
| 80 000 $ à moins de 100 000 $ | 11,2 % |
| 100 000 $ à moins de 150 000 $ | 17,7 % |
| 150 000 $ et plus | 14,7 % |
D’autres statistiques fondées sur les données de 2015 :
| Taille de ménage | Revenu après impôt | Revenu avant impôt |
|---|---|---|
| 1 personne | 22 133 $ | 25 516 $ |
| 2 personnes | 31 301 $ | 36 084 $ |
| 3 personnes | 38 335 $ | 44 194 $ |
| 4 personnes | 44 266 $ | 51 031 $ |
| 5 personnes | 49 491 $ | 57 054 $ |
| 6 personnes | 54 215 $ | 62 500 $ |
| 7 personnes | 58 558 $ | 67 508 $ |
Le comité a examiné s’il y a lieu d’apporter des révisions à la question ou aux options de réponse sur le revenu familial. Il est à noter que la présentation d’une option de réponse « préfère ne pas répondre » est abordée ailleurs dans le rapport.
Le comité a recommandé de réviser la formulation de la question et de préciser une période. Cela réduit l’ambiguïté et l’incertitude concernant la façon de répondre à la question pour les répondants dont le revenu familial a récemment changé. Plus spécifiquement, le comité a suggéré d’utiliser la période de l’« année dernière ».
Quelques membres du comité ont également mentionné que le fait de rappeler aux répondants que le revenu familial peut provenir de diverses sources pourrait produire des données plus exactes. L’un des membres du comité a suggéré d’inclure une liste détaillée des différentes sources de revenu, et un autre membre a suggéré de rendre la référence plus générique, c-à-d. revenu total provenant de toutes les sources pour toutes les personnes dans le ménage.
Voici une question possible qui intègre la période et l’indice « toutes sources de revenu confondues » : « Dans quelle échelle salariale se trouve votre revenu familial total de l’année dernière, c’est-à-dire le total du revenu provenant de toutes les sources, avant impôt, pour toutes les personnes habitant avec vous? »
Le comité a convenu de conserver les options de réponse existantes.
La DROP a consulté l’ARIM concernant l’utilité d’ajouter une question dans les sondages téléphoniques au sujet des types de téléphones auxquels un répondant a accès à domicile :
On peut également intégrer les renseignements sur l’utilisation du téléphone dans la méthode de pondération des sondages téléphoniques. Le rapport d’examen de la documentation commandé par la DROP révèle cette possibilité (voir la page 16). Ce rapport indique qu’« au moment de la rédaction du présent rapport, il n’y a pas de consensus quant à la meilleure approche à adopter pour effectuer la pondération des échantillons à base de sondage double ». Un exemple est ensuite donné d’une approche dont la pondération est effectuée selon la situation d’usage du téléphone (utilisateur d’un téléphone cellulaire uniquement, utilisateur d’un téléphone à ligne fixe uniquement ou utilisateur mixte), et d’une autre qui ne l’est pas.
La classification de la situation d’usage du téléphone dans le ménage peut être assez compliquée, selon l’approche de pondération choisie ou la manière dont les répondants sont sélectionnés pour une entrevue au sein d’un ménageNote de bas de page 10. Voici des exemples de facteurs compliquant la classification :
Le comité a principalement examiné s’il faut poser des questions qui établissent une classification allant jusqu’à 3 catégories pour le ménage d’un répondant : ménage utilisant seulement des téléphones à ligne fixe, ménage utilisant seulement des téléphones cellulaires, et ménage utilisant les 2, et s’est penché sur la manière de poser ces questions, le cas échéant.
Le comité était d’accord pour ajouter une question requise sur la situation d’usage du téléphone dans le ménage, étant entendu que le choix et la façon d’utiliser cette question pour la pondération ou les contrôles de quotas seront déterminés pour chaque projet de ROP.
Les facteurs suivants ont joué un rôle dans la discussion du comité sur la question de savoir s’il faut déterminer la situation d’usage du téléphone dans le ménage, et comment.
Selon l’examen de la documentation commandé par la DROP, en 2018, il n’existait aucun consensus sur l’utilisation de la situation d’usage du téléphone dans la pondération des données d’enquête, et mentionnait une approche qui fait appel à ce type de pondération et une approche qui n’y a pas recours. L’un des membres du comité a fait remarquer que, selon le sujet du sondage, la situation d’usage du téléphone dans le ménage pourrait n’avoir aucun lien direct avec les variables d’intérêt du sondage. Par exemple, si l’âge du répondant (corrélé avec la situation d’usage du téléphone dans le ménage) a une incidence plus directe sur les réponses au sondage, il est préférable d’utiliser l’âge dans la pondération qu’un corrélat « indirect » comme la situation d’usage du téléphone du ménage.
Un autre facteur complique la situation : l’utilisation de la situation d’usage du téléphone dans le ménage pour la pondération ou le contrôle des quotas peut être difficile, en raison de la rareté de renseignements démographiques à jour de haute qualité sur la situation d’usage du téléphone dans les ménages au Canada. Il est important de disposer de données à jour, car l’usage relatif des téléphones cellulaires et des téléphones à ligne fixe a évolué et continuera à changer.
Le comité était d’accord pour ajouter une question requise sur la situation d’usage du téléphone dans le ménage, étant entendu que le choix et la façon d’utiliser cette question pour la pondération ou les contrôles de quotas seront déterminés pour chaque projet de ROP.
Il existe des bases de sondage pour les téléphones cellulaires et les téléphones à ligne fixe; par conséquent, l’échantillon contient des renseignements indiquant si un numéro composé est celui d’un téléphone cellulaire ou d’un téléphone à ligne fixe.
Toutefois, ces renseignements ne suffisent pas pour classifier la situation d’usage du téléphone dans le ménage du répondant, car ils ne concernent que la situation d’un seul numéro de téléphone précis. Il se peut que plus d’un numéro de téléphone soit associé à un ménage (p. ex., plusieurs numéros de téléphone cellulaire, ou une combinaison de numéros de téléphone cellulaire et un numéro de téléphone à ligne fixe). Par conséquent, il faut poser dans le sondage des questions permettant de déterminer la situation d’usage du téléphone dans le ménage du répondant.
Si l’on suppose que les renseignements d’échantillon sur le type de téléphone sont corrects (mais voir ci-dessous), alors il est possible de poser une seule question pour déterminer la situation d’usage du téléphone dans le ménage : approche par « question unique » fondée sur l’utilisation des renseignements d’échantillon.
S’il s’agit de l’échantillon prélevé par téléphone cellulaire, demander si le ménage possède un téléphone à ligne fixe ou s’il s’agit de l’échantillon prélevé par téléphone à ligne fixe, demander si le ménage possède des téléphones cellulaires.
L’avantage d’utiliser ainsi ces renseignements d’échantillon est qu’il est possible de déterminer la situation d’usage du téléphone dans le ménage en ne posant qu’une question dans le sondage, ce qui est important pour réduire la durée du sondage. L’un des membres du comité était favorable à cette approche, en raison de l’importance de limiter autant que possible la durée des sondages téléphoniques.
Même si les renseignements d’échantillon au sujet du type de téléphone sont bons, ils ne sont pas parfaits :
La majorité des membres du comité ont décidé de ne pas utiliser les renseignements d’échantillon sur le type de téléphone pour déterminer la situation d’usage du téléphone dans le ménage. Concrètement, cela signifie qu’il faudra poser au moins 2 questions pour déterminer la situation d’usage du téléphone dans le ménage.
Au cours de la discussion du comité, les membres ont fait référence à l’utilisation de 2 approches de classification différentes :
Les 2 classifications nécessitent au moins 2 questionsNote de bas de page 11 (en supposant que l’on n’utilise pas les renseignements d’échantillon). Les questions qui produisent la classification à 3 catégories produisent également la classification à 2 catégories. Toutefois, les questions conçues pour produire la classification à 2 catégories ne permettent pas forcément la classification à 3 catégories. Le comité a opté pour des questions qui produisent la classification à 3 catégories, étant entendu que, si le chercheur décide d’utiliser la question sur la situation d’usage du téléphone pour la pondération ou le contrôle de quotas, c’est à lui de choisir le type de classification à utiliser.
« Au moins un téléphone cellulaire » par rapport au « nombre de téléphones cellulaires dans le ménage »
Pour produire la classification à 3 catégories concernant les téléphones cellulaires, il suffit de déterminer si le ménage possède au moins un téléphone cellulaire. Cependant, certains membres du comité ont déclaré que le « nombre de téléphones cellulaires dans le ménage » peut être utile. Cette approche permet de déterminer si le ménage possède au moins un téléphone cellulaire (aucun téléphone cellulaire ou un ou plusieurs téléphones cellulaires), mais établit également le nombre de téléphones cellulaires. Le fait de connaître le nombre de téléphones cellulaires peut permettre d’estimer avec plus d’exactitude la probabilité qu’un ménage puisse être aléatoirement sélectionné dans la base de l’échantillon prélevé par téléphone cellulaire. Le comité a convenu d’utiliser la mesure du « nombre de téléphones cellulaires dans le ménage ».
Désignation du téléphone à ligne fixe
Dans le passé, le « téléphone à ligne fixe » faisait référence à un ou plusieurs téléphones branchés sur une ligne téléphonique. Toutefois, vu la hausse de l’incidence des ménages ne possédant qu’un ou plusieurs téléphones cellulaires, en particulier parmi les jeunes, on se demande si l’on peut supposer que tout le monde comprend ce que signifie le « téléphone à ligne fixe ». En outre, l’utilisation du service de téléphonie sur Internet (service Voice over internet protocol (VOIP)) augmente, et on ne sait pas si les gens considéreraient ces téléphones comme des « téléphones à ligne fixe ». Dans la version anglaise, le comité recommande d’utiliser le terme « home phone » au lieu du terme « landline » dans les questions sur la situation d’usage du téléphone :
« Téléphone conventionnel à fil » par rapport à « téléphone résidentiel » dans les normes : La discussion précédente concernait la terminologie utilisée dans la question requise sur la situation d’usage du téléphone dans le ménage. On a également demandé au comité si les normes qui font référence à un « téléphone conventionnel à fil » devraient continuer à le faire, ou s’il faudrait faire passer la terminologie à « téléphone résidentiel » (p. ex., dans les normes actuelles pour les sondages téléphoniques, voir le point 7 de la section 1.2.4, la section 4.1.1 et la section 15.5). Les avis des membres du comité à ce sujet étaient partagés, certains préférant conserver le terme « téléphone conventionnel à fil », car il est techniquement plus précis, et d’autres préférant passer au terme « téléphone résidentiel », car cette terminologie correspond à l’utilisation recommandée du terme « téléphone résidentiel » dans la question requise sur la situation d’usage du téléphone dans le ménage. Si l’on adopte le terme « téléphone résidentiel », les normes devraient comprendre une définition de ce terme.
Place occupée par la question
La place occupée par la question sur la situation d’usage du téléphone dans le ménage et par toutes les autres questions requises doit être flexible. Selon les besoins du sondage, ces questions peuvent être posées dans la dernière section du questionnaire; elles peuvent également être posées plus tôt si cela est nécessaire à des fins de contrôle des quotas ou de filtrage. À la connaissance du comité, cette flexibilité existe déjà dans la section 2.1.3 des normes.
Résumé :
Dans un sondage en ligne, il est probable qu’un pourcentage considérable des répondants utilisent, ou tentent d’utiliser, un appareil mobile (téléphone intelligent ou tablette) pour remplir le questionnaire.
Dans un rapport de 2014 sur les technologies mobiles, l’American Association for Public Opinion Research concluait ceci : reconnaissez que si vous réalisez des sondages en ligne, vous les réalisez sur des appareils mobiles.
Un pourcentage non négligeable et croissant de répondants accèdent maintenant aux sondages en ligne sur le fureteur de leur appareil mobile (le pourcentage estimé allant de 8 à 23 %, selon l’étude), ce qui entraîne des taux d’abandon plus élevés et un taux d’erreur des mesures potentiellement plus élevé parmi ces répondants sur appareil mobileNote de bas de page 12. [Traduction]
Compte tenu de l’augmentation du nombre de propriétaires de téléphones intelligents et vu la croissance liée à l’utilisation de ces derniers, le pourcentage des personnes qui répondent aux sondages en ligne sur un appareil mobile a fort probablement augmenté depuis 2014.
Dans un résumé des résultats de l’Enquête sociale générale (ESG) de 2016, Statistique Canada a déclaré dans Le QuotidienNote de bas de page 13 que les 3 quarts des Canadiens âgés de 15 ans et plus possèdent un téléphone intelligent, bien qu’il y ait une variation substantielle selon l’âge. La plupart des 15 à 34 ans (94 %) ont déclaré posséder un téléphone intelligent, comparativement à 69 % de ceux âgés de 55 à 64 ans et à 18 % des Canadiens de 75 ans et plus.
Dans le rapport de 2015 de Sage Research, Pratiques exemplaires favorisant la coopération à l’égard des sondages en ligneNote de bas de page 14, voici certaines des conclusions qui sont tirées d’un examen d’ouvrages de recherche :
Certaines sociétés de sondage mettent en œuvre des technologies visant à tenir compte de l’utilisation d’appareils mobiles dans les sondages en ligne. En voici des exemples :
L’argument principal est que la conception du questionnaire adaptée aux utilisateurs d’appareils mobiles peut potentiellement améliorer les données d’enquête en ce qui concerne la couverture, le taux de réponse, la réduction du biais de non-réponse et la qualité des réponses.
Un sondage en ligne peut adopter des approches différentes vis-à-vis la possibilité que des appareils mobiles soient utilisésNote de bas de page 15 :
Les normes actuelles n’abordent pas la possibilité qu’un sondage en ligne soit rempli sur un appareil mobile, ni les implications que cela peut avoir. L’objectif du comité était de formuler des observations concernant la révision des normes afin d’aborder ces questions.
Les questions examinées par le comité en ce qui concerne l’utilisation d’appareils mobiles pour remplir les sondages en ligne étaient les suivantes :
Le comité a envisagé l’apport de révisions possibles aux 2 sections suivantes de documents de propositions dans les normes pour les sondages en ligne, qui ne font ni l’une ni l’autre référence à l’utilisation potentielle d’appareils mobiles :
Le comité a affirmé qu’il faudrait s’attendre par défaut à ce qu’un échantillon de sondage en ligne de ROP inclue des répondants qui utilisent soit un ordinateur, soit un appareil mobile pour répondre au sondage.
Comme on pense qu’il s’agit désormais d’une norme de l’industrie, quelques membres du comité se sont demandé s’il était bien nécessaire de l’énoncer dans les normes. Cependant, pour indiquer clairement qu’il s’agit d’une attente, il est préférable de l’énoncer explicitement. L’un des membres du comité a également souligné que certains sondages pourraient devoir être réservés aux ordinateurs, c-à-d. aux grands écrans. On a donné l’exemple d’un sondage auprès d’entreprises qui comprend des données comptables dans des colonnes. Par conséquent, dans certains cas, un échantillon de sondage doit être limité à certains types d’appareils.
Pour rendre cette attente explicite et pour présenter une brève justification de l’attente, le comité a recommandé d’ajouter ce qui suit à la section 1.2.2 échantillon et échantillonnage des normes pour les sondages en ligne :
Étant donné l’attente par défaut selon laquelle l’échantillon pour un sondage en ligne comprend des répondants qui utilisent des ordinateurs et des répondants qui utilisent des appareils mobiles, le comité a affirmé que, par défaut, on devrait s’attendre à ce que les sondages offrent une version du questionnaire adaptée aux appareils mobiles.
Le comité a suggéré d’inclure un texte tel que le suivant dans la section 1.2.5 conception du questionnaire des normes pour les sondages en ligne :
Le comité a envisagé 3 révisions et ajouts possibles à la section 2 des normes, conception du questionnaire, en ce qui concerne la conception des questionnaires de sondages en ligne auxquels on peut répondre au moyen d’appareils mobiles :
Dans le rapport de 2015 de Sage Research, Pratiques exemplaires favorisant la coopération à l’égard des sondages en ligne, on a examiné les ouvrages de recherche et on a conclu ceci :
Il y a 2 approches vis-à-vis l’intégration de la conception de question adaptée aux appareils mobiles dans un sondage en ligne :
La conception de chaque question est optimisée pour les appareils mobiles et est optimisée pour les ordinateurs. Ainsi, la conception des questions peut être différente selon qu’il s’agisse d’un appareil mobile (petit écran) ou d’un ordinateur (grand écran). L’idée est que l’optimisation pour chaque appareil entraîne pour chacun la meilleure qualité de données. Cette approche a été recommandée dans un article de recherche de 2017 d’Antoun, Couper et ConradNote de bas de page 18 :
Ces résultats ont des implications pratiques pour les chercheurs réalisant des sondages sur le Web. Notre constatation de quasi-comparabilité de la qualité des réponses entre les utilisateurs de téléphone intelligent et les utilisateurs d’ordinateur personnel, même dans le cas des questions sensibles et fastidieuses, indique que non seulement les utilisateurs de téléphone intelligent devraient être intégrés aux sondages Web, mais aussi que l’instrument de sondage devrait être optimisé pour les petits écrans. Il existe un raisonnement, fondé sur les principes de conception du mode universel, ou unimode (Dillman, 2000), selon lequel on devrait chercher à afficher les mêmes formats de question sur tous les appareils dans le but de réduire au maximum les effets de méthode. Nos résultats semblent indiquer autre chose, puisque nous n’avons trouvé aucune preuve que les formats de question restructurés (optimisés) utilisés dans la version pour téléphones intelligents avaient introduit des effets propres à l’appareil ou avaient eu un effet négatif sur la qualité des données.
La notion de comparabilité que nous soutiendrions plutôt est une approche axée sur les pratiques exemplaires […] L’accent est mis non pas sur la présentation des mêmes caractéristiques superficielles, mais sur l’application des pratiques exemplaires à chaque mode ou appareil dans le but de présenter le même stimulus au répondant et de réduire au maximum l’erreur dans chaque mode ou appareil. Pour appliquer ces principes à la recherche sur les appareils Web, il faut tirer parti des forces des téléphones intelligents en cernant et en utilisant des outils de saisie qui sont conviviaux et en évitant tout format qui ne l’est pas (p. ex. les carrousels, les boîtes de dépôt qui se transforment en sélecteurs). Cela peut aussi nécessiter d’utiliser la conception Web réceptive pour adapter un questionnaire à un continuum de tailles d’écran différentes plutôt que l’optimisation binaire. [Traduction]
Il est à noter que le même auteur principal, Antoun, a été plus prudent au moment de recommander une approche dans un autre article où l’on examinait des ouvrages de recherche de 2007 à 2016 sur l’optimisation des téléphones intelligents :
Une autre question s’appliquant aux sondages OTI (optimisés pour les téléphones intelligents) se rapporte à la conception et à la publication de dispositions différentes en réaction à la taille de l’écran du répondant ou au fureteur Web de ce dernier. Jusqu’à présent, la discussion a été centrée sur l’adaptation d’un questionnaire conçu pour les ordinateurs personnels à une seule version optimisée pour les téléphones intelligents; il est important toutefois de noter que plusieurs études utilisaient une conception réceptive selon laquelle plusieurs versions des questionnaires étaient affichées, l’objectif implicite étant d’améliorer la qualité des réponses dans chaque version (voir p. ex. Amin, 2016). Cette pratique a été adoptée de la conception Web, où un grand nombre de conceptions visuelles et de dispositions différentes sont déployées pour un seul site Web (p. ex. pour les petits téléphones intelligents, les grands téléphones intelligents, les petites tablettes, les grandes tablettes, les ordinateurs de bureau à petit écran, et ainsi de suite). Ce qui reste à établir, c’est si cette approche est efficace aussi dans le cas des sondages où la normalisation dans l’ensemble des dispositions constitue une priorité plus élevée. Une préoccupation est que la variation d’une disposition en particulier peut avoir un effet sur les réponses (voir p. ex. Smyth, Dillman, Christian et Stern, 2006). Ainsi, la conception réceptive attire l’attention sur la nécessité de promouvoir la comparabilité entre les versions, d’un côté, et de réduire au maximum les erreurs dans chaque version, d’un autre côté.
Que l’optimisation soit binaire ou réceptive à un continuum de tailles d’écran, une autre question est de savoir si la conception doit privilégier l’écran le plus grand ou le plus petit. Presque toutes les études examinées commençaient du point de vue d’un sondage existant qui est conçu pour les ordinateurs personnels, puis adapté aux téléphones intelligents. Même si cette approche peut prévenir d’importants problèmes de convivialité dans les sondages remplis sur un téléphone intelligent, elle ne produit pas forcément une approche optimale pour les téléphones intelligents (comme le sous-entend le mot « optimisé »). Puisque les plus petits écrans semblent présenter un plus grand défi sur le plan de la conception, l’approche de l’« appareil mobile d’abord » peut être souhaitable dans la mesure où elle n’a pas d’effets négatifs sur la version du questionnaire qui est affichée sur les fureteurs plus grands (voir p. ex. de Bruijne et Wijnant, 2013a; Tharp, 2015). De futures activités de recherche sur l’effet de la conception réceptive, avec et sans philosophie de la conception privilégiant les appareils mobiles, sont nécessaires avant de tirer toute conclusion ferme sur ces approches différentesNote de bas de page 19. [Traduction]
L’élément à retenir se trouve dans la dernière phrase : il ne semble pas encore y avoir de conclusion définitive quant à l’approche qui est la meilleure.
Le comité a envisagé les options suivantes concernant la possibilité d’une norme encourageant une approche particulière en matière de conception et de disposition des questions pour l’ensemble des appareils :
La conception réceptive est intégrée aux plateformes de sondage modernes, de sorte qu’elle est déjà essentiellement l’option par défaut.
Le comité était d’avis qu’une norme n’est pas appropriée. En voici les raisons :
Le comité a déclaré qu’une ligne directrice serait utile pour souligner les options qui s’offrent au chercheur. La ligne directrice à ajouter à la section 2, conception du questionnaire, pourrait être la suivante :
La conception d’un sondage en ligne devrait tenir compte de l’approche adoptée pour la conception et la présentation des questions sur différents appareils. Les options comprennent :
- conception réceptive : optimiser la conception et la disposition des questions en fonction des écrans pour appareil mobile (petits) et pour ordinateur (grands), ce qui peut conduire à une conception et une disposition différentes parmi les appareils, mais produire la meilleure qualité de données pour chaque appareil
- les appareils mobiles d’abord : appliquer une conception adaptée aux appareils mobiles à tous les dispositifs, grands comme petits, et réduire au maximum la possibilité d’effets de « méthode ».
- combinaison : au sein d’un même questionnaire de sondage, utiliser une conception réceptive pour les questions peu susceptibles de produire un effet de méthode, et utiliser la conception adaptée aux appareils mobiles d’abord pour les questions qui généreront probablement un effet de méthode
Puisque les délais de remplissage ont tendance à être plus longs sur un appareil mobile que sur un ordinateur, une recommandation fréquente est qu’un questionnaire adapté aux appareils mobiles soit « court ». Cependant, il n’y a pas de consensus sur ce que cela signifie en minutes.
La norme actuelle pour la durée des questionnaires en ligne est de 20 minutes, mais une durée moyenne de 15 minutes ou moins est « fortement encouragée » :
2.1. Normes
- Les questionnaires d’enquête doivent être conçus pour :
- 3) être terminés en un maximum de 20 minutes sans compter les pauses ou les interruptions. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu’il faudra plus de 20 minutes pour répondre au questionnaire d’enquête. On encourage fortement l’utilisation de questionnaires d’une durée moyenne de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
Le comité a examiné s’il faudrait laisser la norme sur la durée du sondage telle quelle ou la réviser afin de préciser une durée plus courte pour les sondages adaptés aux appareils mobiles.
Le comité a déclaré qu’il n’était pas nécessaire de modifier la norme existante sur la durée du sondage. L’industrie est parfaitement consciente que la durée du sondage doit rester aussi courte que possible, et le comité a convenu qu’un ferme encouragement à limiter la durée du questionnaire à 15 minutes au maximum est suffisant.
Il a également été suggéré que les progrès de la technologie mobile réduisent, sans les éliminer, les différences de durée de participation à un sondage. La vitesse des communications mobiles a augmenté, et la taille et la résolution des écrans se sont améliorées au point que la difficulté relative de la participation aux sondages sur un appareil mobile est compensée par la commodité de pouvoir y répondre au moment et à l’endroit qui conviennent au répondant.
Il est difficile d’énoncer des « normes » (c-à-d. des exigences) sur ce qui constitue une conception de question adaptée aux appareils mobiles :
Une possibilité pour les normes est de ne communiquer ni norme ni ligne directrice sur la conception adaptée aux appareils mobiles. L’idée est que, dans la section documents de propositions, il y aura une déclaration de l’intention d’offrir un sondage adapté aux appareils mobiles. Autrement, il reviendra au chercheur de décider de la manière d’en effectuer la mise en œuvre pour son sondage. Et, selon ce point de vue, des lignes directrices n’ont pas leur place dans un document de normes.
L’autre possibilité consiste à communiquer des lignes directrices (c-à-d. des pratiques ou des principes recommandés, mais non exigés). Il est certainement possible de le faire, d’après les ouvrages de recherche. L’idée est qu’il serait utile, pour les chercheurs des ROP du GC, que cette orientation soit énoncée dans le document des normes.
Aux fins de discussion, 2 approches ont été proposées au comité en ce qui concerne l’orientation.
1. Dans le rapport de Sage Research, Pratiques exemplaires favorisant la coopération à l’égard des sondages en ligne, on a résumé les lignes directrices suivantes d’après un examen des ouvrages (des citations détaillées figurent dans le rapport) :
À cette liste, on pourrait ajouter ceci :
2. Une autre option pour les lignes directrices est celle des 5 « règles heuristiques de la conception » proposées par Antoun et coll. (2017)Note de bas de page 20 d’après leur examen des ouvrages :
Le comité a examiné si les normes devraient comprendre des lignes directrices sur ce qui rend un questionnaire adapté aux appareils mobiles.
Le comité a déclaré qu’il ne devrait y avoir aucune caractéristique requise (c-à-d. norme) pour les questionnaires adaptés aux appareils mobiles. En voici les raisons :
L’un des membres du comité était d’avis que les normes ne devraient pas du tout aborder ce sujet, mais la majorité des membres estimaient qu’une liste d’exemples, sous forme de ligne directrice, pourrait constituer un rappel utile pour les chercheurs.
Voici un texte possible à inclure dans la section 2, conception du questionnaire :
Section 2
Voici quelques exemples de pratiques qui peuvent rendre un questionnaire mieux adapté aux appareils mobiles :
Il existe 2 types de prétest qui peuvent être effectués pour un questionnaire de sondage en ligne où certains répondants peuvent utiliser un appareil mobile et d’autres un ordinateur :
Les normes actuelles ne précisent pas d’exigences s’appliquant aux sondages en ligne auxquels on peut répondre au moyen d’un ordinateur et d’un appareil mobile.
Dans la section 3 des normes pour les sondages en ligne, les 2 normes actuelles les plus pertinentes sont les suivantes :
3. Prétest
3.1. Normes
- 1. Tous les éléments d’un nouveau questionnaire ou d’un questionnaire révisé, qui sont susceptibles d’influer sur la qualité des données et le comportement des répondants, nécessitent un prétest. Cela comprend l’apparence et le fonctionnement du questionnaire en ligne.
- 5. On doit faire au moins 10 sondages de prétests dans chaque langue dans laquelle le sondage final sera mené. Les projets qui visent de petits groupes cibles pourraient constituer une exception, comme des sondages sur la satisfaction des clients auprès d’un petit bassin de clients. Dans de tels cas, le cabinet de recherche doit, en collaboration avec le client, prendre des mesures pour s’assurer que les quelques prétests réalisés suffisent à garantir la qualité du questionnaire. Par exemple, un prétest cognitif peut s’avérer nécessaire.
Le comité a réfléchi aux questions suivantes :
Un argument en faveur du non-ajout est que la norme 3.1.1 est d’une portée suffisamment large pour impliquer l’exigence de prétester les aspects adaptés aux appareils mobiles du sondage, même si cette exigence n’est pas énoncée explicitement.
Un argument en faveur de l’ajout de normes consiste à s’assurer que le prétest est effectué de façon appropriée (les normes ajoutées énonçant les exigences minimales).
Par exemple, une révision pourrait ajouter une exigence relative aux prétests internes sur différents appareils :
dans le cas des sondages adaptés aux appareils mobiles, les chercheurs doivent aussi effectuer un prétest interne d’un échantillon des types et des tailles d’appareils que les répondants pourraient utiliser. Sur les téléphones intelligents, le prétest interne doit permettre d’examiner l’affichage des questions en mode portrait et en mode paysage
Par exemple, une révision pourrait exiger des prétests sur un échantillon d’appareils différents :
dans le cas des sondages en ligne, le prétest doit inclure les répondants qui utilisent au moins une partie des tailles et des types d’appareils différents qui pourraient servir à répondre au sondage. Par exemple, dans un sondage qui peut être rempli sur un appareil mobile ou un ordinateur, l’échantillon doit comprendre un nombre minimum précisé d’utilisateurs d’appareils mobiles et d’utilisateurs d’ordinateurs
Il faudrait réviser la section 3.1.1 de la section prétest des normes pour les sondages en ligne auxquels on peut répondre au moyen d’un ordinateur et d’appareils mobiles afin d’inclure l’exigence de faire des prétests sur différents appareils.
Il faudrait laisser telle quelle la section 3.1.5, qui exige au moins 10 entrevues de prétest dans chaque langue.
Les avis des membres du comité étaient partagés concernant la façon dont la section 3.1.1 devrait être révisée pour inclure une référence aux prétests sur différents types d’appareils, certains préférant l’option 1 ci-dessous à l’option 2. L’option 1 ajoute une exigence de prétests internes sur différents types d’appareils, mais laisse l’exigence de prétests externes telle quelle (c-à-d. qu’il n’y aurait pas d’exigence de prétests externes sur différents types d’appareils). L’option 2 ajoute des exigences de prétests internes et externes sur différents types d’appareils.
Exiger des prétests internes sur différents appareils, mais pas de prétests auprès de répondants utilisant différents appareils (prétests externes) : il est raisonnable d’exiger qu’une société de recherche effectue un certain niveau de prétests internes, mais l’exigence systématique de prétests externes pourrait être peu réaliste et n’est habituellement pas nécessaire si les résultats des prétests internes sont satisfaisants.
Un problème lié au fait d’exiger des prétests externes est que le chercheur ne sait pas à l’avance quel type d’appareil le répondant utilisera. Si l’on tente de réaliser un nombre spécifié de prétests pour différents types d’appareils, cela peut considérablement augmenter le nombre total de personnes à joindre pour obtenir les quotas minimaux par type d’appareil.
Les avis des membres du comité divergeaient quant à la façon d’exprimer la portée de l’exigence de prétests internes, notamment :
Les avis des membres du comité divergeaient également quant à la nécessité d’exiger les modes paysage et portrait dans les prétests internes. Toutefois, la plupart des membres ne jugeaient pas nécessaire d’exiger des prétests dans les 2 modes. Les gens qui utilisent un téléphone intelligent savent très bien comment changer l’orientation du téléphone en cas de besoin.
Exiger des prétests internes et externes sur différents appareils.
La formulation relative au prétest externe pourrait être la suivante :
Dans le cas des sondages en ligne, le prétest doit inclure les répondants qui utilisent au moins une partie des types d’appareils différents qui pourraient servir à répondre au sondage. Par exemple, dans un sondage qui peut être rempli sur un appareil mobile ou un ordinateur, l’échantillon doit comprendre un nombre minimum précisé d’utilisateurs d’appareils mobiles et d’utilisateurs d’ordinateurs.
Il convient de noter que le comité ne suggère pas d’augmenter le nombre minimal de prétests requis (10 dans chaque langue), de sorte que les quotas par types d’appareils devraient rester dans les limites du minimum actuellement requis.
Dans un sondage qui peut être rempli sur les appareils mobiles et les ordinateurs, et notamment un sondage utilisant une approche de « conception réceptive » qui peut conduire à des conceptions et des dispositions de question différentes pour des tailles d’écran différentes, il y a un potentiel d’effet de « méthode ». Autrement dit, les conceptions et dispositions différentes pour une question donnée pourraient causer des répartitions différentes des réponses. Si cette possibilité doit être envisagée, il faut recueillir des données sur le type d’appareil pendant le sondage.
De plus, il y a une possibilité d’effet lié au type d’appareil en raison des différences des caractéristiques des personnes qui utilisent un appareil mobile pour répondre à un sondage par opposition à celles qui utilisent un ordinateur. Par exemple, un fournisseur en recherche a fait remarquer ce qui suit dans un article de promotion de l’échantillonnage neutre par rapport à l’appareil pour les sondages en ligne :
Des poches précises de la population gravitent vers les appareils mobiles, et nous nous attendons à constater une hausse du niveau de biais de non couverture systématique dans les conceptions de recherche non destinées aux appareils mobiles. Certains de nos essais démontrent qu’entre 20 et 25 % des membres de la génération du millénaire (les personnes nées entre 1981 et 2000) préfèrent accéder aux sondages sur un appareil mobile. Ainsi, nos sondages non destinés aux appareils mobiles manquent les opinions d’une partie substantielle de ce public. Étant donné que ce groupe est plus susceptible d’être doué pour les technologies et connecté avec ses pairs, nous nous attendons au fil du temps à des résultats biaisés et inexacts lorsque ces personnes seront exclues de notre cadre d’échantillonnageNote de bas de page 21. [Traduction]
Cela illustre l’importance d’un sondage adapté aux appareils mobiles pour veiller à une bonne couverture de la population. Cela veut toutefois aussi dire qu’une exploration des effets possibles de la conception et de la disposition des questions devrait être réalisée soigneusement afin d’éviter de confondre la conception ou la disposition des questions avec des covariables comme l’âge.
Les conclusions tirées des ouvrages de recherche sont les suivantes :
Le comité a examiné s’il devrait y avoir une exigence de collecte de renseignements sur le type d’appareil et une exigence concernant la conduite d’une analyse des effets de méthode par type d’appareil. En ce qui concerne cette dernière, le texte suivant a été suggéré au comité aux fins de discussion :
14.6. Contrôle de la qualité
- 4)
La majorité des membres du comité étaient favorables à une norme exigeant la collecte de renseignements sur les appareils, mais n’appuyaient pas une norme exigeant l’analyse des effets de méthode pour chaque sondage. Cet avis s’accompagnait de la recommandation de mener une « recherche sur la recherche » au moyen des données regroupées sur les appareils recueillies au fil des sondages pour déterminer si une norme concernant l’analyse des effets de méthode potentiels serait appropriée. Les membres considéraient que l’on n’en sait pas suffisamment sur les effets de méthode par type d’appareil à l’heure actuelle pour préciser les exigences analytiques relatives aux sondages individuels, et qu’il se peut que, dans la réalité, aucun problème ne doive être abordé dans les normes. Le comité a souligné que, si des renseignements sur les appareils sont recueillis, le chercheur a l’option d’étudier les effets de méthode, s’il le juge utile pour un sondage donné.
Dans cette optique, on pourrait ajouter la norme suivante à la section 7.7, surveillance de sondages en ligne sur le terrain :
7.7 Surveillance de sondages en ligne sur le terrain
- 3)
Plusieurs membres du comité avaient une idée différente des exigences possibles quant à la collecte de renseignements sur les appareils et à l’analyse des effets de méthode potentiels par type d’appareils :
Les utilisateurs d’appareils mobiles peuvent engager des coûts pour participer à un sondage de recherche.
Les normes actuelles ne comportent aucune exigence quant à la façon dont de tels coûts devraient être gérés.
Voici une norme ou ligne directrice tirée des lignes directrices d’ESOMAR et du GRBN sur la recherche à l’aide d’appareils mobiles :
3.1.3 Coûts
Contrairement à la plupart des autres méthodes de recherche, les sujets des données peuvent engager des coûts en raison de leur participation à la recherche sur appareil mobile. Ces coûts peuvent comprendre des frais pour les téléchargements de données, l’accès en ligne, la messagerie texte, l’excédent des données du forfait, l’itinérance, la récupération des messages vocaux et le téléphone standard. Les chercheurs devraient concevoir leur recherche de sorte que les sujets de données n’engagent aucun coût sans y avoir consenti expressément. Si cela n’est pas possible, les chercheurs doivent être prêts à offrir une indemnité. Une telle indemnité peut être offerte sous forme d’espèces, d’argent mobile, de temps d’antenne ou d’autres formes de valeur. [Traduction]
Veuillez noter qu’ESOMAR et le GRBN expliquent comme suit leur usage des mots « doit » (must) et « devrait » (should) :
Dans tout ce document, le mot « doit » sert à indiquer des exigences obligatoires. Nous employons le mot « doit » au moment de décrire un principe ou une pratique que les chercheurs sont obligés de suivre. Le mot « devrait » est employé au moment de décrire la mise en œuvre. Cet usage est censé reconnaître le fait que les chercheurs peuvent choisir de mettre en œuvre un principe ou une pratique de façons différentes, selon la conception de leur recherche. [Traduction]
Le comité a examiné si un élément comme la norme 3.1.3 d’ESOMAR et du GRBN ci-dessus devrait faire partie des normes pour les sondages en ligne et des normes pour les sondages téléphoniques.
De l’avis des membres du comité, il ne devrait pas y avoir de norme concernant la prise en charge des coûts engagés par les répondants pour l’utilisation d’un appareil mobile, et plusieurs raisons ont été citées.
Les répondants peuvent toujours choisir de participer ou non à un sondage de ROP du GC en ligne ou par téléphone. Les membres du comité se sont demandés que faire dans le cas d’un sondage auquel les répondants sont tenus de répondre au moyen d’un appareil mobile. Cependant, même dans ce cas, les répondants peuvent choisir de ne pas répondre au sondage.
Les normes actuelles exigent la communication de certains renseignements au sujet du sondage (p. ex., la durée), de sorte que les répondants puissent faire un choix éclairé concernant leur participation.
Il est raisonnable de supposer que les utilisateurs d’appareils mobiles savent que l’usage d’un tel appareil est associé à des coûts, même si le coût de la participation à un sondage peut varier considérablement ou même être inconnu, ou ne pourrait être calculé que de manière arbitraire (p. ex., le coût qui serait engagé si la personne souscrit à un forfait de données illimitées). Comme chacun connaît, au moins approximativement, son forfait et ses coûts de téléphonie mobile, il est raisonnable de supposer que ces coûts entrent dans la décision de participer ou non à un sondage.
À moins que l’indemnisation ne soit établie à un montant fixe arbitraire pour tous les utilisateurs d’appareils mobiles, la logistique liée à l’établissement du montant de l’indemnisation à verser à chaque répondant et la documentation du montant aux fins de la facturation seraient très complexes et difficiles, voire impossibles. Les forfaits voix et données offerts sur le marché sont très divers et leurs prix sont variés. Lorsqu’un forfait prévoit un certain nombre de minutes ou de gigaoctets, le calcul du coût d’un sondage auquel l’utilisateur a répondu dans les limites de ces paramètres serait largement arbitraire et très difficile à documenter. Dans l’ensemble, le coût de l’administration de l’indemnisation serait considérable.
En l’absence d’une norme, les cabinets de recherche auraient tout de même l’option d’envisager une indemnisation, si cela se révélait utile pour un sondage. Par exemple, si le taux de réponse est une source de préoccupation pour un sondage donné, on pourrait offrir aux répondants l’option de répondre au sondage à un autre moment ou au moyen d’un ordinateur, ou leur offrir un incitatif fixe. Cependant, il est préférable de déterminer la nécessité de telles mesures au cas par cas, et de consulter le client du GC concernant le recouvrement des coûts de tels incitatifs.
Une question importante liée à l’échantillonnage pour les sondages téléphoniques est l’inclusion des utilisateurs de téléphone cellulaire et des utilisateurs de téléphone filaire. Cela peut avoir un effet sur la couverture de la population du sondage, le(s) cadre(s) d’échantillonnage utilisé(s) pour le sondage et, possiblement, la pondération.
Voici des statistiques tirées du Rapport de surveillance des communications 2017 du CRTC :
Le rapport du CRTC ne rend pas compte du type de téléphone par âge; toutefois, en 2010, les auteurs du rapport du groupe de travail de l’AAPOR sur le téléphone cellulaire avaient conclu ceci : « Les jeunes adultes des États-Unis âgés de 18 à 34 ans ne peuvent plus être joints avec succès à l’aide de la base des téléphones filaires. »Note de bas de page 22 [Traduction]
Ces données indiquent qu’un échantillon probabiliste téléphonique de la population générale des adultes canadiens doit comprendre un échantillon relié aux téléphones cellulaires.
L’examen de la documentation commandé par la DROP pour ce projet a permis d’établir ce qui suit :
Une ligne directrice utile ciblerait les résultats de la collecte de données. Autrement dit, les rapports d’échantillons choisis devraient garantir que la proportion de ménages ne possédant que des téléphones cellulaires dans l’échantillon de sondage final reflète cette population au moment de l’étude.
Le groupe de travail de 2010 de l’AAPOR sur le téléphone cellulaire a relevé diverses autres questions qui entrent en jeu au moment de sonder les utilisateurs de téléphone cellulaire, en soulignant qu’il n’existe typiquement aucune résolution définitive « optimale ». En voici des exemples.
Voici les normes actuelles des normes téléphoniques qui concernent les téléphones cellulaires :
1. Documents de propositions
1.2. Caractéristiques techniques de la recherche
1.2.3 Taux de réponse / taux de participation et taux d’erreur
- 1) Indiquer le taux de réponse ou le taux de participation attendu pour les échantillons. Indiquer les taux de réponse ou les taux de participation attendus pour chaque mode lorsque plus d’un mode est proposé (c-à-d. séparément pour les composantes en ligne et les composantes téléphoniques). De la même façon, si une composante de la recherche comprend le recrutement de répondants sur téléphone cellulaire, le taux de réponse ou le taux de participation pour cette composante doit aussi être indiqué séparément. Le taux de réponse ou le taux de participation prévu est une estimation basée sur divers facteurs tels que des taux de réponse ou des taux de participation précédents, des tendances, etc. La proposition doit comprendre un bref survol des facteurs qui pourraient nuire à l’atteinte des objectifs relatifs au taux de réponse ou au taux de participation attendu.
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique. Lorsqu’on propose de recruter au moins une portion des répondants à partir de leur téléphone cellulaire, justifier le recours à cette démarche à la place ou en plus du recrutement sur téléphone conventionnel à fil.
4. Procédures d’échantillonnage 3
4.2. Échantillonnage probabiliste
- 3) On doit donner une description complète du plan de sondage et de la procédure de sélection, dont :
- c. à chaque étape de l’échantillonnage, la méthode suivie pour obtenir un échantillon probabiliste (p. ex., sélection aléatoire) devra être expliquée, et tous les sous-ensembles de l’univers qui ont été exclus ou sont sous-représentés (p. ex. les ménages n’utilisant que le téléphone cellulaire) devront être déclarés; toutefois, lorsque c’est possible, une estimation du pourcentage de l’univers ayant été exclu ou sous-représenté doit être fournie.
Veuillez noter que la norme 1.2.4 est répétée dans la norme 15.5, Collecte des données (normes pour les sondages téléphoniques), dans la section 15, exigences obligatoires relatives au rapport d’enquête.
Le comité a été prié d’examiner s’il faudrait apporter des révisions au point 1 de la section 1.2.3 dans la section documents de propositions des normes pour les sondages téléphoniques, qui indique qu’il faut fournir des renseignements au sujet des taux de réponse ou des taux de participation estimatifs. À l’heure actuelle, ce point exige la déclaration d’un taux de réponse ou d’un taux de participation estimatif global et, s’il y a lieu, d’un taux de réponse estimatif pour les téléphones cellulaires :
1. Documents de propositions
1.2. Caractéristiques techniques de la recherche
1.2.3 Taux de réponse / taux de participation et taux d’erreur
- 5) Indiquer le taux de réponse ou le taux de participation attendu pour les échantillons. Indiquer les taux de réponse ou les taux de participation attendus pour chaque mode lorsque plus d’un mode est proposé (c-à-d. séparément pour les composantes en ligne et les composantes téléphoniques). De la même façon, si une composante de la recherche comprend le recrutement de répondants sur téléphone cellulaire, le taux de réponse ou le taux de participation pour cette composante doit aussi être indiqué séparément. Le taux de réponse ou le taux de participation prévu est une estimation basée sur divers facteurs tels que des taux de réponse ou des taux de participation précédents, des tendances, etc. La proposition doit comprendre un bref survol des facteurs qui pourraient nuire à l’atteinte des objectifs relatifs au taux de réponse ou au taux de participation attendu.
Certains membres du comité ont affirmé que la section 1.2.3 convenait très bien, alors que d’autres ont déclaré qu’elle devrait exiger, pour les sondages téléphoniques, le taux de réponse estimatif, s’il y a lieu, pour les téléphones cellulaires et les téléphones filaires. Un argument en faveur de cette dernière opinion est le fait que les sondages téléphoniques comprennent habituellement un échantillon prélevé par téléphone cellulaire et un échantillon prélevé par téléphone filaire.
Les estimations du taux de réponse ou du taux de participation sont utiles à l’étape de la proposition, car il s’agit d’un facteur important du niveau d’effort des travaux sur le terrain prévu pour obtenir la taille d’échantillon souhaitée.
Il est approprié que les normes n’exigent pas la déclaration des taux de réponse ou de participation réels obtenus pour les téléphones cellulaires par rapport aux téléphones filaires. Le calcul des taux de réponse ou de participation réels obtenus pour les téléphones cellulaires par rapport aux téléphones filaires est sujet à erreur. Cela s’explique par une certaine incertitude concernant la façon de classifier des numéros de téléphone lorsqu’une entrevue n’est pas achevée. En général, on répartit l’échantillon utilisé pour la composition des numéros dans un échantillon par téléphone cellulaire et un échantillon par téléphone filaire, mais ces classifications sont imparfaites, en raison du transfert de numéros et de l’existence d’échanges comprenant une combinaison de numéros de téléphone cellulaire et de téléphone filaire.
Voici la norme actuelle :
1. Documents de propositions
1.2. Caractéristiques techniques de la recherche
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique. Lorsqu’on propose de recruter au moins une portion des répondants à partir de leur téléphone cellulaire, justifier le recours à cette démarche à la place ou en plus du recrutement sur téléphone conventionnel à fil.
Cette norme indique qu’il faut donner une justification lorsque l’échantillon comprend des entrevues réalisées sur des téléphones cellulaires. Le texte minimise peut-être trop l’importance d’inclure les utilisateurs de téléphone cellulaire dans l’échantillon. La révision suivante a été proposée au comité aux fins de discussion (en laissant de côté la composante avec méthode mixte, qui n’était pas pertinente dans ce contexte) :
Le texte suggéré pour le point 7 de la section 1.2.4 ne contient pas de ratio numérique recommandé entre l’échantillon prélevé par téléphone cellulaire et l’échantillon prélevé par téléphone filaire, et ne le devrait pas. Il n’existe pas de renseignements à jour et de bonne qualité qui appuieraient la mention d’un ratio numérique précis.
Pour la même raison, le comité a supprimé le passage « garantir que la proportion des ménages utilisant seulement des téléphones cellulaires dans l’échantillon de sondage final reflète celle de la population des ménages utilisant seulement des téléphones cellulaires au moment du sondage ». Ici encore, il n’existe pas toujours des renseignements à jour et de bonne qualité permettant de réaliser cette exigence. En outre, même si l’on connaît le ratio, il serait ardu et coûteux d’assurer ce ratio pour des zones géographiques ou des segments de population plus étroits ou granulaires qu’à l’échelle nationale et à l’échelle provinciale ou territoriale.
Les avis des membres du comité différaient quant à la façon de réviser le point 7 de la section 1.2.4. Les membres ont exprimé 3 positions différentes à ce sujet :
l’échantillonnage des téléphones cellulaires et des téléphones filaires devrait être une ligne directrice, pas une norme. Cette opinion reconnaît que l’échantillonnage des téléphones cellulaires et des téléphones filaires est la pratique courante actuelle, mais prévoit également une certaine marge de manœuvre budgétaire. Le coût par entrevue est plus élevé pour un échantillon par téléphone cellulaire, et l’inclusion d’un tel échantillon peut dépasser le budget du client ou peut être limitée par la tarification actuelle de l’offre à commandes de ROP du GC d’un cabinet de recherche
l’échantillonnage des téléphones cellulaires et des téléphones filaires est requis, et il faut énoncer un ratio d’échantillonnage et une justification. Voici un exemple de la façon de formuler une telle opinion : Point 7 de la section 1.2.4 : les sondages téléphoniques effectués auprès de la population générale ou de la plupart de ses sous-groupes doivent comprendre des entrevues par téléphone cellulaire et par téléphone filaire. Le ratio entre l’échantillon par téléphone cellulaire et l’échantillon par téléphone filaire doit être déclaré, et il faut également fournir une justification pour ce ratio. Si des entrevues doivent être faites seulement par téléphone filaire ou seulement par téléphone cellulaire, il faut en donner la justification. Étant donné l’importance croissante de l’utilisation des téléphones cellulaires, on considère que l’inclusion des téléphones cellulaires et des téléphones filaires dans l’échantillon devrait être l’exigence par défaut. L’expression « auprès de la population générale ou de la plupart de ses sous-groupes » vise à attirer l’attention sur le fait que les entrevues par téléphone cellulaire et par téléphone filaire sont largement applicables, mais également à reconnaître que, pour certains sous-groupes, seules les entrevues par téléphone cellulaire ou seules les entrevues par téléphone filaire seraient appropriées. Le cabinet de recherche devrait justifier le ratio d’échantillonnage qu’il recommande, tout en reconnaissant que cette justification repose probablement sur des chiffres de population imparfaits
Point 7 de la section 1.2.4 : les sondages téléphoniques effectués auprès de la population générale ou de la plupart de ses sous-groupes doivent comprendre des entrevues par téléphone cellulaire et par téléphone filaire. Le ratio entre l’échantillon par téléphone cellulaire et l’échantillon par téléphone filaire doit être déclaré. Si des entrevues doivent être faites seulement par téléphone filaire ou seulement par téléphone cellulaire, il faut en donner la justification. Voici les raisons de l’abandon de l’exigence d’une justification : a) on manque de chiffres de population à jour et de bonne qualité et b) même avec des estimations de la population, on pourrait utiliser un ratio différent et le pondérer en fonction de la proportion de la population.
Il convient de noter que les versions du point 7 de la section 1.2.4 ci-dessus mentionnent l’expression « ratio d’échantillonnage » et font référence à l’« échantillon par téléphone cellulaire » et à l’« échantillon par téléphone filaire ». À titre d’exigence proposée pour les documents de propositions, cette formulation est axée sur le rapport entre l’échantillon par téléphone cellulaire et l’échantillon par téléphone filaire pour les numéros composés. Le ratio ne s’applique pas directement au rapport réel entre les entrevues effectuées par téléphone cellulaire et les entrevues effectuées par téléphone filaire, qui pourrait être quelque peu différent. L’un des membres du comité a suggéré une autre approche consistant à présenter le ratio de 1.2.4 7) comme étant le ratio obtenu pour les entrevues effectuées. De ce point de vue, la formulation de 1.2.4 7) pourrait être la suivante : Le ratio entre les entrevues à effectuer par téléphone cellulaire et les entrevues à effectuer par téléphone filaire doit être énoncé. L’argument en faveur de cette option est que le ratio des entrevues effectuées indique ce à quoi le client peut s’attendre dans l’ensemble de données non pondérées obtenues, au lieu du ratio utilisé à l’étape intermédiaire de l’échantillon des numéros à composer. Le choix entre ces 2 options n’est pas anodin, car il influe sur la composition de l’échantillon des numéros à faire et sur les contrôles de quotas concernant la réponse au sondage par type d’appareil pendant les travaux sur le terrain.
La norme actuelle à la section 4.2.3c dans procédures d’échantillonnage traite de la divulgation des questions liées à la couverture dans les échantillons probabilistes et donne un exemple d’échantillon composé de ménages possédant uniquement un ou des téléphones cellulaires. La question concernait l’inclusion ou non d’un exemple de ménages ne possédant que des téléphones filaires.
Le comité recommande d’ajouter des échantillons composés de ménages ne possédant que des téléphones filaires comme autre exemple. Étant donné le nombre croissant de ménages possédant uniquement des téléphones cellulaires, un échantillon composé de ménages possédant uniquement des téléphones filaires pourrait comporter une erreur de couverture substantielle.
4. Procédures d’échantillonnage 4
4.2. Échantillonnage probabiliste
- 3. On doit donner une description complète du plan de sondage et de la procédure de sélection, dont :
- c. à chaque étape de l’échantillonnage, la méthode suivie pour obtenir un échantillon probabiliste (p. ex., sélection aléatoire) devra être expliquée, et tous les sous-ensembles de l’univers qui ont été exclus ou sont sous-représentés (p. ex., les ménages n’utilisant que le téléphone cellulaire
Les normes téléphoniques s’appliquant aux rappels se trouvent dans la section 7, collecte des données :
7.2. Rappels
- 8 rappels au minimum seront faits avant de supprimer un numéro de téléphone et de le remplacer par un autre. Les rappels doivent être faits à des jours et des heures différents sur une période minimale de 7 jours. Il pourrait y avoir une exception lorsque la période de recherche sur le terrain est écourtée parce qu’il faut évaluer la capacité des répondants de se souvenir d’événements ou d’activités précis.
- Tous les efforts doivent être déployés afin de s’assurer de rappeler le répondant à la date et à l’heure prévues si on a convenu d’un rendez-vous.
- On ne tentera pas de rappeler les répondants qui ont refusé de participer à l’enquête.
La DROP a demandé à l’ARIM quel était le nombre approprié de rappels, étant donné que des préoccupations avaient été exprimées quant à savoir si 8 rappels étaient trop nombreux et pourraient être perçus comme du harcèlement.
Le Guide sur les sondages de l’ARIM pour le marché canadienNote de bas de page 24 indique qu’un nombre de 8 tentatives d’appel est le maximum, comparativement à la section 7.2, rappels, des normes pour les sondages téléphoniques, qui indique qu’il s’agit du nombre minimum de rappels. Il convient de noter que le Guide de l’ARIM et la section 7.2 diffèrent sur 2 plans : (1) l’ARIM précise un maximum, alors que la section 7.2 précise un minimum, et (2) l’ARIM précise un nombre de tentatives d’appel, alors que la section 7.2 précise un nombre de rappels. Le terme « rappel » laisse entendre une tentative de prise de contact initiale, suivie par des appels de relance. Si l’on reformule la règle de la section 7.2 en termes de tentatives d’appel, alors il faudrait effectuer au moins 9 tentatives d’appel.
Le Guide sur les sondages de l’ARIM présente aussi une définition des rappels (aucune définition n’est donnée dans la section 7.2 des normes pour les sondages téléphoniques) :
L’ARIM a posé la question suivante à certains membres : « L’ARIM a adopté la politique du maximum de 8 appels à chaque répondant potentiel. Voir l’annexe « L » 8.4.2. Si le nombre d’appels permis était réduit, cela aurait-il une incidence sur vos études de recherche? Quelle est la fréquence de rappels de votre entreprise? Au cours de quelle période faites-vous les 8 appels? » Voici la réponse qui a été transmise à la DROP :
Les membres sont très sensibles à la lassitude des répondants et cherchent à régulariser la fréquence des appels aux mêmes répondants.
Les appels supplémentaires aux répondants ont habituellement lieu après avoir épuisé la liste de répondants potentiels, et des appels sont faits aux personnes avec qui le chercheur n’a pas pu communiquer lors de l’appel initial.
Il est extrêmement important de reconnaître la différence entre les dispositions d’appel dans le cas des tentatives d’appel. Ce n’est pas chaque tentative d’appel qui doit être considérée comme un rappel. Par exemple, 8 rappels qui produisent tous une tonalité d’occupation sont très différents de 8 rappels qui produisent tous une réponse et une demande de rappel. En parallèle, le nombre de rappels doit être suffisamment élevé pour donner une attente raisonnable de probabilité de sélection égale pour toutes les unités d’échantillonnage principales. Nous avons un maximum de 7 rappels, mais nous considérons effectivement certaines dispositions d’appel comme des rappels partiels (p. ex. une tonalité d’occupation compte comme le tiers d’un rappel). Ainsi, en théorie, nous pourrions composer un numéro de téléphone jusqu’à 21 fois (21 tonalités d’occupation). Les numéros de téléphone sont habituellement résolus après 6 à 10 tentatives.
Il faut aussi tenir compte des appels de conversion de refus et se demander si ces tentatives de conversion sont considérées comme faisant partie de la limite des rappels. [Traduction]
Le comité a également été prié de formuler des observations sur la question de savoir si les exigences en matière de rappels devraient être les mêmes pour les répondants utilisant un téléphone cellulaire. Le Guide sur les sondages de l’ARIM ne précise pas d’exigences de rappels différentes entre les répondants qui utilisent un téléphone cellulaire et ceux qui utilisent un téléphone conventionnel. Toutefois, le Cadre des normes pour les sondages téléphoniques en directNote de bas de page 25 de l’ARIM stipule qu’il faudrait envisager d’effectuer un plus petit nombre de tentatives d’appel aux répondants qui utilisent un téléphone cellulaire :
Voici les questions examinées :
Sur le plan de la terminologie, il existe une différence entre les « rappels » et les « tentatives d’appel », l’implication étant que le nombre de « tentatives d’appel » est égal à un plus le nombre de « rappels ». En outre, la signification du terme « rappel » est quelque peu ambiguë, car on peut l’interpréter de manière générale ou de manière plus spécifique, lorsque la personne qui répond au téléphone a demandé qu’on la rappelle. Le comité recommande que les normes mises à jour fassent référence à des « tentatives d’appel » plutôt qu’à des « rappels », faisant valoir que la signification est plus simple et que cela concorde avec la terminologie utilisée par l’ARIM dans son Code de déontologie.
De l’avis du comité, un minimum de 8 rappels (9 tentatives d’appel) est excessif, et il faudrait préciser un nombre inférieur.
Voici les considérations soulevées dans le cadre de la discussion :
L'un des membres du comité a suggéré que les normes devraient préciser un minimum et un maximum (sans indiquer de valeur numérique), alors que la plupart des autres membres ont suggéré de s'en tenir au nombre minimal de rappels. Cela s'explique par le fait que les cabinets de recherche ne souhaitent généralement pas effectuer un grand nombre de rappels. Les rappels coûtent de l'argent et prennent du temps, ils font rapidement décliner le rendement du taux de réponse, et les cabinets ne veulent pas harceler les gens. Les cabinets de recherche sont motivés, pour de bonnes raisons, à limiter le nombre de rappels. En outre, il se peut qu'un plus grand nombre de rappels se justifie dans certaines circonstances, par exemple, lorsque le nombre d'unités d'échantillonnage est limité ou lorsque la population cible est difficile à joindre. Une norme qui précise seulement un nombre minimal de rappels donne aux cabinets de recherche une plus grande marge de manœuvre pour ajuster le nombre de rappels à la hausse, en cas de besoin.
La majorité des membres du comité ont conclu que le minimum approprié de tentatives d’appel est 6 (à savoir 5 rappels), alors que plusieurs membres ont opté pour un minimum de 5 tentatives d’appel (à savoir 4 rappels).
Les rappels après la prise d’un rendez-vous ont fait l’objet d’une discussion. Cela fait référence à la section 7.2.3, « tous les efforts doivent être déployés afin de s’assurer de rappeler le répondant à la date et à l’heure prévues si on a convenu d’un rendez-vous. » Quelques membres du comité ont suggéré de préciser qu’il faut effectuer au moins 2 rappels pour joindre le répondant. D’autres membres ont déclaré qu’un tel niveau de précision n’est pas nécessaire dans cette situation, car le cabinet de recherche serait déjà probablement motivé à déployer « tous les efforts » pour faire passer une entrevue à quelqu’un qui a exprimé de l’intérêt à participer à un sondage.De l’avis du comité, il n’est pas nécessaire d’inclure une définition des tentatives d’appel dans les normes.
Dans ce contexte, les membres se sont demandé s’il faut traiter une tonalité occupée comme une tentative d’appel, et les avis étaient partagés sur ce point. Les membres ont exprimé les 2 points de vue suivants :
Comme la norme ne précise qu’un nombre minimal de rappels, la variabilité du traitement de la tonalité occupée entre les cabinets de recherche ne pose pas de problème : certains la traiteront comme une tentative d’appel, et leur nombre de tentatives d’appel se rapprochera du nombre minimal, alors que d’autres ne la traiteront pas comme telle et effectueront peut-être davantage de tentatives d’appel. Comme l’émission d’une tonalité occupée ne dérange pas les répondants, les fois supplémentaires où le numéro est composé ne constitueraient pas du harcèlement.
Pendant un sondage téléphonique par réponse vocale interactive (RVI), un questionnaire est programmé dans un ordinateur, les appels sont faits automatiquement et les questions enregistrées sont lues par l’ordinateur. Il n’y a pas d’intervieweurs en direct.
Le rapport d’examen de la documentation commandé par la DROP décrit les avantages et les désavantages suivants pour les sondages par RVI :
La section 5.3 des normes pour les sondages téléphoniques, recours à la réponse vocale interactive (RVI), décourage mais n’interdit pas le recours aux sondages par RVI pour la ROP. Elle présente aussi des circonstances où la RVI peut constituer une méthode adéquate. La norme indique que les sondages par RVI ont les mêmes exigences que les sondages menés par un intervieweur quant à l’introduction du sondage, à l’interruption de l’appel par le répondant, au nombre de fois que des appels peuvent être faits et au délai pour reconnaître qu’une personne a répondu à l’appel.
5. Maintien de la confiance du public
5.3. Recours à la Réponse Vocale Interactive
- Les enquêtes menées à l’aide de la technologie de réponse vocale interactive (RVI), qui sont caractérisées par l’approche impersonnelle de la technologie d’automatisation, vont à l’encontre de la façon dont le gouvernement du Canada souhaite interagir avec les Canadiens et les Canadiennes. La RVI peut donc uniquement être utilisée lorsque des arguments probants démontrent que l’information particulière qu’il faut recueillir est essentielle à la prise de décisions importantes et ne peut pas être obtenue par d’autres moyens. Par exemple, il peut être jugé acceptable d’avoir recours à la RVI lorsqu’il est primordial d’obtenir le point de vue d’un groupe difficile à atteindre (à faible incidence) dans le contexte de la question à l’étude et que le faible coût et le volume très élevé des appels réalisés par RVI sont susceptibles d’accroître la participation des membres de ce groupe dans le cadre de l’enquête. (La RVI peut également être utilisée lorsque les répondants ont convenu d’avance de l’utilisation de cette méthode.)
- Quand on emploie la RVI, l’information nécessaire aux entrevues faites par des intervieweurs en direct (parrain, cabinet de recherche, participation volontaire, assurance de la confidentialité, etc.) doit être comprise dans l’introduction à l’enquête en RVI. Les répondants doivent également être informés, tôt dans l’introduction, d’une méthode facile pour interrompre leur participation à l’enquête (p. ex., en appuyant sur une touche particulière) pour que l’appel soit interrompu correctement et qu’aucun autre appel ne soit effectué à ce numéro de téléphone. Les mêmes exigences à l’égard du moment des appels et du délai pour reconnaître qu’un répondant a répondu au téléphone (voir la sous-section 5.2) s’appliquent à l’utilisation de la RVI.
Le comité a examiné s’il y a lieu de changer la section 5.3.1, recours à la Réponse Vocale Interactive (RVI).
Les membres du comité ont exprimé un éventail d’opinions au sujet du recours à la RVI pour les sondages de ROP du GC, notamment :
L’opinion de la majorité des membres du comité se trouvait quelque part entre ces 2 avis.
Les considérations particulières pertinentes pour la révision de la section 5.3.1 étaient les suivantes :
Selon les considérations ci-dessus, la majorité des membres du comité ont appuyé la modification suivante à la section 5.3.1 (sous réserve d’autres modifications en fonction des règlements du CRTC) :
5.3. Recours à la Réponse Vocale Interactive
- Les enquêtes menées à l’aide de la technologie de réponse vocale interactive (RVI), qui sont caractérisées par l’approche impersonnelle de la technologie d’automatisation, vont à l’encontre de la façon dont le gouvernement du Canada souhaite interagir avec les Canadiens et les Canadiennes. La RVI peut donc uniquement être utilisée lorsque des arguments probants démontrent que l’information particulière qu’il faut recueillir est essentielle à la prise de décisions importantes et ne peut pas être obtenue par d’autres moyens. Par exemple :
- il peut être jugé acceptable d’avoir recours à la RVI lorsqu’il est primordial d’obtenir le point de vue d’un groupe difficile à atteindre (à faible incidence) dans le contexte de la question à l’étude et que le faible coût et le volume très élevé des appels réalisés par RVI sont susceptibles d’accroître la participation des membres de ce groupe dans le cadre de l’enquête
- il peut être jugé acceptable d’avoir recours à la RVI lorsqu’elle fait partie d’une conception avec méthode mixte, par exemple, lorsque des répondants identifiés au moyen d’une autre méthode de sondage sont acheminés vers un système de RVI, ou lorsqu’une commutation est prévue entre un intervieweur en direct et le système de RVI
- la RVI peut également être utilisée lorsque les répondants ont convenu d’avance de l’utilisation de cette méthode
- [Voir la section suivante]
- Les cabinets de recherche doivent veiller à ce qu’il n’y ait pas de pause (ou une pause ne dépassant pas une seconde) avant que le
La section 5.3.2 stipule que les exigences de divulgation de renseignements concernant les sondages par RVI sont identiques à celles des sondages menés par un intervieweur, et elle exige similairement que les renseignements soient fournis dans l’introduction du sondage (elle aborde également l’heure de la journée et le temps de réponse, qui sont traités dans la section 5.3.1 révisée et ne sont donc pas mentionnés ici) :
5. Maintien de la confiance du public
5.3. Recours à la réponse vocale interactive
- 2) Quand on emploie la RVI, l’information nécessaire aux entrevues faites par des intervieweurs en direct (parrain, cabinet de recherche, participation volontaire, assurance de la confidentialité, etc.) doit être comprise dans l’introduction à l’enquête en RVI. Les répondants doivent également être informés, tôt dans l’introduction, d’une méthode facile pour interrompre leur participation à l’enquête (p. ex., en appuyant sur une touche particulière) pour que l’appel soit interrompu correctement et qu’aucun autre appel ne soit effectué à ce numéro de téléphone.
À titre de référence, les exigences en matière de divulgation des renseignements sont décrites à la section 2, conception du questionnaire :
2. Conception du questionnaire
2.1. Normes
- 2) Les éléments suivants sont nécessaires dans toute introduction d’un questionnaire de sondage téléphonique mené par le gouvernement du Canada :
- respecter les dispositions de la Loi sur les langues officielles et des politiques sur les langues officielles; plus précisément, les introductions doivent comprendre une offre active des 2 langues officielles (français et anglais); la langue utilisée en premier lieu dépendra de la province de résidence du répondant (p. ex., au Québec, « Bonjour/Hello »; dans le reste du Canada, « Hello/Bonjour »)
- nommer le gouvernement du Canada, le ministère ou l’organisme qui parraine le sondage
- informer les répondants du sujet général et de l’objet de l’étude. Le sujet et l’objet de l’étude peuvent être expliqués en termes très généraux, pourvu que ces termes ne soient pas perçus comme une tentative de fournir de faux renseignements aux répondants. Par contre, si le cabinet de recherche montre clairement que le fait d’énoncer le sujet et l’objet de l’enquête avant le début de celle-ci peut dissuader d’éventuels répondants de participer, il serait possible de reporter cette action à la fin de l’étude
- informer les répondants de la durée prévue de l’entrevue
- nommer le cabinet de recherche et l’intervieweur (l’intervieweur peut utiliser un pseudonyme, pourvu qu’il puisse être identifié par ses gestionnaires internes aux fins du contrôle de la qualité)
- indiquer aux répondants que leur participation à l’étude est volontaire et entièrement confidentielle
- indiquer aux répondants que leurs réponses demeurent anonymes. Dans des circonstances exceptionnelles, lorsque les objectifs de la recherche exigent que l’identité des répondants soit divulguée, il faut obtenir le consentement éclairé du répondant en question
- indiquer aux répondants que l’enquête est enregistrée dans le Système d’enregistrement des sondages maintenu par l’ARIM, et leur fournir suffisamment de renseignements pour leur permettre d’accéder au Service de vérification des sondages (c’est-à-dire le numéro d’enregistrement du projet et l’URL du site Web, l’adresse de courrier électronique ou le numéro de téléphone pour accéder au service) sur demande. Exemples d’exceptions : dans certains cas, le nom de l’organisme qui demande le sondage ne serait pas dévoilé avant la fin de celui-ci (p. ex., post-tests publicitaires); les autres langues seraient mentionnées lorsque le sondage est réalisé dans des langues non officielles; l’information concernant la possibilité d’obtenir des rapports pourrait être divulguée aux répondants spécialisés lorsque l’incitatif à participer l’emporte sur une introduction plus longue. Nota : si le répondant le demande, l’intervieweur doit être prêt à répéter les instructions. Les intervieweurs doivent disposer d’information rapidement utilisable pour expliquer aux répondants comment ils ont été choisis, comment la protection des renseignements personnels est assurée, et où il est possible de se procurer les résultats du sondage
La DROP a constaté que les sondages par RVI durent moins de 20 minutes et sont typiquement plus courts que les sondages menés par un intervieweur. Dans ce contexte, la DROP a demandé au comité de se prononcer sur la nécessité ou non de réviser ou raccourcir les éléments requis dans les introductions des sondages téléphoniques pour les sondages par RVI, et sur la possibilité de faire passer à la fin du sondage quelques-uns des renseignements communiqués, comme suit :
Bonjour/hello, ici (société de sondage) qui vous appelle au nom du gouvernement du Canada/ministère. To continue in English, please press (numéro). Nous réalisons un sondage de recherche de (nombre) minutes sur SUJET. Votre participation est volontaire et entièrement confidentielle et anonyme. Le nom, le numéro de téléphone et l’adresse de la personne avec qui communiquer pour en savoir plus sur ce projet de recherche sont donnés à la fin du sondage. Pour continuer, appuyez sur (numéro). Pour mettre fin à cet appel maintenant, raccrochez ou appuyez sur (nombre).
(À la fin de l’appel) Pour obtenir d’autres renseignements sur cette étude, veuillez communiquer avec (nom et numéro de téléphone) ou consulter le (site Web). Pour réentendre ces renseignements, appuyez sur (numéro).
D’autres renseignements pourraient comprendre :
La plupart des membres du comité ont indiqué que les renseignements requis dans l’introduction du sondage devraient être identiques pour les sondages par RVI et les autres sondages.
Beaucoup appuyaient le principe suivant : si on autorise des exigences de divulgation de renseignements différentes pour les sondages par RVI (renseignements divulgués ou place des renseignements), il faudrait l’autoriser pour les autres sondages. Le raccourcissement de l’introduction au sondage par l’une ou l’autre méthode servirait à améliorer le taux de réponse, et il est vraisemblable que tous les types de sondages en bénéficieraient, pas seulement les sondages par RVI. Quelques membres ont suggéré des conditions supplémentaires :
Dans le contexte de l’appui au maintien des exigences actuelles de divulgation de renseignements, il n’y avait pas de consensus concernant l’endroit du questionnaire où ces renseignements devraient être rendus disponibles. Les avis étaient les suivants :
La norme en matière de durée des sondages par téléphone indique que ceux-ci doivent être achevés en l’espace de 20 minutes. On y encourage fortement une durée de 15 minutes ou moins.
2. Conception du questionnaire
2.1. Normes
- 1) Les questionnaires d’enquête doivent être conçus pour :
- c. être terminés en 20 minutes au maximum. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu’il faudra plus de 20 minutes pour répondre au questionnaire d’enquête. On encourage fortement l’utilisation de questionnaires d’une durée moyenne de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
L’examen de la documentation commandé par la DROP donne à penser que les sondages par RVI conviennent mieux aux sondages de courte durée :
L’un des principaux inconvénients de l’utilisation de la méthode de la RVI est qu’elle exige un questionnaire court et simple. C’est une des raisons pour lesquelles cette méthode est bien adaptée aux sondages électoraux et à la mesure des intentions de vote. 1 ou 2 questions claires et concises peuvent être posées par RVI et ces questions seront accompagnées de (quelques) choix de réponse simples. Par exemple, « appuyez sur 1 si vous savez pour qui vous avez l’intention de voter le jour des élections et sur 2 si vous ne le savez pas ».
Pour une recherche qui vise à étudier plusieurs sujets auprès des répondants ou des sujets de façon plus approfondie (p. ex., découvrir les motifs des intentions de vote ou obtenir des renseignements sur les principaux enjeux liés aux élections pour les électeurs), un sondage par RVI ne sera pas adéquat. (p. 21)
Le comité a examiné s’il faudrait modifier la norme concernant la durée des sondages dans le cas des sondages par RVI.
Le comité a convenu que les sondages par RVI devraient rester courts et a recommandé l’ajout d’une ligne directrice à la section 2.1.1. des normes pour les sondages téléphoniques. Il a été souligné que les sondages par RVI prennent typiquement 7 minutes ou moins, et habituellement moins de 5 minutes. Voici une version révisée possible de la section 2.1.1 des normes pour les sondages téléphoniques :
2. Conception du questionnaire
2.1. Normes
- 1) Les questionnaires d’enquête doivent être conçus pour :
- c. être terminés en 20 minutes au maximum. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu’il faudra plus de 20 minutes pour répondre au questionnaire d’enquête. On encourage fortement l’utilisation de questionnaires d’une durée moyenne de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
Pour la valeur des « X minutes », la majorité des membres du comité ont suggéré 5 minutes comme ligne directrice, alors que plusieurs membres ont suggéré 7 minutes. Ces derniers ont indiqué qu’une durée de 5 minutes était une bonne cible pour le questionnaire principal, mais qu’une durée de 7 minutes pourrait devoir être prévue comme ligne directrice étant donné les renseignements à donner dans l’introduction au sondage.
Les exigences en matière de rappel prévues dans la section 7.2, rappels, ne font pas la distinction entre les sondages réalisés par un intervieweur et les sondages réalisés par RVI.
7.2. Rappels
- 1) 8 rappels au minimum seront faits avant de supprimer un numéro de téléphone et de le remplacer par un autre. Les rappels doivent être faits à des jours et des heures différents sur une période minimale de 7 jours. Il pourrait y avoir une exception lorsque la période de recherche sur le terrain est écourtée parce qu’il faut évaluer la capacité des répondants de se souvenir d’événements ou d’activités précis.
Dans l’examen de la documentation commandé par la DROP, sous le titre Inconvénients de l’utilisation de la RVI, on indique ceci :
En plus de limiter la longueur du questionnaire de sondage et de le rendre plus complexe, la méthode de la RVI offre une qualité d’échantillon susceptible d’être discutable. Ce problème n’est cependant pas propre à la RVI. Toutes les recherches par sondage exigent des bases d’échantillonnage complètes (peu ou pas d’erreur de couverture), de bonnes stratégies d’échantillonnage (échantillonnage aléatoire simple ou échantillonnage aléatoire stratifié), et un contrôle adéquat des échantillons (un nombre adéquat de rappels variant selon l’heure de la journée et le jour de la semaine afin de maximiser le taux de réponse). Étant donné que la rapidité est l’un des avantages clés de l’utilisation de la RVI, les mesures de contrôle des échantillons ne sont pas aussi rigoureuses (il n’y a pas d’heure précise pour rappeler un numéro dans l’échantillon plusieurs fois). L’échantillon de sondage inclura les répondants potentiels joignables le soir de la collecte de données, ce qui suppose la possibilité d’un biais de non-réponse. Même si des facteurs de pondération seront appliqués à l’échantillon de sondage après la collecte des données afin de garantir que l’échantillon reflète le profil démographique de la population cible, cela n’éliminera pas les différences qui pourraient exister entre les répondants et les non-répondants. (p. 22)
L’examen de la documentation implique qu’il peut souvent arriver que peu de rappels (voire aucun) soient faits au cours d’un sondage par RVI. On attribue ce fait à l’utilisation de la RVI pour des raisons de rapidité, et on souligne que la norme 7.2.1 comprend une exception à l’exigence des 8 rappels lorsque la vitesse du travail sur le terrain est importante : « Il pourrait y avoir une exception lorsque la période de recherche sur le terrain est écourtée parce qu’il faut évaluer la capacité des répondants de se souvenir d’événements ou d’activités précis ».
Le comité a examiné s’il faudrait apporter des changements à la section 7.2, rappels, en ce qui concerne les sondages par RVI.
Les avis des membres du comité étaient partagés concernant l’éventualité et la nature des exigences en matière de rappel propres aux sondages par RVI :
À titre de référence, voici les normes actuelles qui font référence aux sondages avec méthode mixte :
1. Documents de propositions
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique.
4. Procédures d’échantillonnage 5
4.5. Sondages avec méthode mixte
On parle de sondages avec méthode mixte quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires. Dans bien des cas, les sondages avec méthode mixte combinent l’Internet et le téléphone, bien qu’il y ait d’autres possibilités (p. ex., en personne, courrier, télécopieur).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Lorsqu’on envisage de combiner des données obtenues au moyen de différentes méthodes lors de l’analyse des données, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
14 (normes pour les sondages en ligne)/15 (normes pour les sondages téléphoniques). Exigences obligatoires relatives au rapport d’enquête 1
14.5/15.5 Collecte des données
- 2) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique.
14.6/15.6 Contrôle de la qualité
- 3) En ce qui concerne les sondages par méthode mixte, décrire en détail quelles répercussions pourrait avoir, sur la qualité des données, le fait de combiner des données obtenues au moyen de différentes méthodes et de divers outils de collecte.
Le comité a été prié de commenter des révisions possibles aux normes concernant les aspects suivants :
Dans la section 1, documents de propositions, voici en quoi consistent les exigences propres aux sondages avec méthode mixte :
1. Documents de propositions 1
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique.
D’autres éléments de la section 1 garantiront que la méthodologie employée pour chaque mode sera décrite, et ce, même si l’on n’y fait pas explicitement référence aux conceptions de sondage avec méthode mixte (p. ex. la section 1.2.2, échantillon et échantillonnage, et d’autres éléments de la section 1.2.4).
La principale préoccupation associée aux sondages avec méthode mixte est le potentiel de biais lié aux méthodes (c’est-à-dire, le potentiel d’obtenir des répartitions de réponses différentes pour la même question en raison, tout particulièrement, des caractéristiques de la méthode). Par exemple, on a constaté que les effets de désirabilité sociale ont tendance à être plus puissants pendant les sondages administrés par un intervieweur (p. ex. par téléphone) que pendant les sondages que l’on remplit soi-même (p. ex. en ligne). Les différences entre les méthodes quant à la façon dont les questions et les réponses possibles sont présentées pourraient potentiellement causer des répartitions de réponses différentes. Les biais liés aux méthodes peuvent varier d’une question à l’autre (p. ex. certaines questions peuvent être plus sujettes aux effets de désirabilité sociale que d’autres, et certaines questions peuvent être d’une conception plus semblable entre méthodes que d’autres questions). Ces types d’effets de méthode présentent des défis au moment de combiner ou de comparer des données entre méthodes.
Il peut également exister des différences de réponses attribuables au fait que des types différents de personnes utilisent les différentes méthodes et, effectivement, l’augmentation de la couverture de la population est une raison d’envisager de réaliser des sondages avec méthode mixte dans certaines circonstances. Toutefois, cela peut également rendre la détection du biais lié aux méthodes plus difficiles.
La question est de savoir si, et comment, les exigences relatives aux documents de propositions doivent être élaborées de façon à indiquer plus clairement, dans la proposition, que la question du biais potentiel lié aux méthodes est reconnue et que des mesures seront prises en conséquence. L’exigence existante ne mentionne qu’indirectement le fait d’aborder le potentiel de biais lié aux méthodes. Veuillez noter que la section 4, Échantillonnage, est plus explicite, mais peut-être qu’on peut en faire davantage dans la section 1 des normes.
Le comité a été prié de commenter les révisions potentielles suivantes à la section 1, documents de propositions :
1. Documents de propositions 2
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique,
1.2.7. Analyse des données
- 1) Décrire brièvement comment les données seront analysées afin de tenir compte des objectifs et des questions de la recherche, y compris les analyses spéciales (p. ex., la segmentation).
- a.
Il y a 3 situations de base où les répondants utilisent différentes méthodes :
En anglais, les normes utilisent l’expression « multi-mode » (avec méthodes multiples) pour faire référence au scénario 1. Cependant, certains chercheurs qualifient cela de « mixed mode » et utilisent « multi-mode » pour le scénario 2. Le problème du biais lié aux méthodes survient dans le scénario 1. Étant donné l’ambiguïté de la terminologie, les normes devraient inclure une définition de l’expression « multi-mode » (méthode mixte) afin que tout le monde l’interprète de la même manière.
Le comité était d’accord avec la révision proposée de la section 1.2.4, qui ajoute l’exigence de justifier les méthodes qui seront employées, ainsi que de décrire les mesures qui seront prises pour réduire la probabilité du biais lié aux méthodes et faciliter la détection de tout biais de ce genre :
1. Documents de propositions 3
1.2.4 Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique,
La plupart des membres du comité étaient d’accord avec l’ajout suggéré, dans la section 1.2.7, de l’exigence d’indiquer si on a l’intention de présenter les résultats en combinant les données de l’ensemble des méthodes ou de présenter les résultats de façon distincte, par méthode :
1. Documents de propositions
1.2.7. Analyse des données
- 1) Décrire brièvement comment les données seront analysées afin de tenir compte des objectifs et des questions de la recherche, y compris les analyses spéciales (p. ex., la segmentation).
- a)
Quelques membres ont mentionné que les plans peuvent changer une fois que les données ont été recueillies et qu’elles ont été examinées pour repérer les effets de méthode. La formulation suggérée ci-dessus est acceptable, pourvu qu’il soit entendu que les plans peuvent changer. Cependant, l’un des membres du comité a suggéré la révision suivante pour rendre cela plus explicite :
Dans le cas des sondages avec méthode mixte, indiquer qu’une analyse sera effectuée afin de déterminer s’il est faisable de combiner les données de l’ensemble des méthodes, et que les conclusions de cette analyse seront résumées dans le rapport. La norme existante s’appliquant aux sondages avec méthode mixte dans la section procédures d’échantillonnage est la suivante :
4. Procédures d’échantillonnage 6
4.5. Sondages avec méthode mixte
On parle de sondages avec méthode mixte quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires. Dans bien des cas, les sondages avec méthode mixte combinent l’Internet et le téléphone, bien qu’il y ait d’autres possibilités (p. ex., en personne, courrier, télécopieur).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Lorsqu’on envisage de combiner des données obtenues au moyen de différentes méthodes lors de l’analyse des données, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
À l’heure actuelle, il n’existe aucune norme de conception du questionnaire propre aux sondages avec méthode mixte.
Le comité a été appelé à discuter de changements suggérés pour a) faire la distinction entre les sujets liés à l’échantillonnage et les sujets liés au questionnaire, b) augmenter l’utilité d’employer des méthodes semblables d’administration des sondages, c) préciser qu’il faut s’intéresser aux biais liés aux méthodes au moment de comparer les résultats par méthode ainsi qu’au moment de combiner des données entre méthodes, et d) souligner l’utilité que peuvent avoir les questions de référence pour détecter les biais liés aux méthodes.
Les révisions proposées à la section 4, procédures d’échantillonnage, étaient les suivantes :
4. Procédures d’échantillonnage 7
4.5. Sondages avec méthode mixte
On parle de sondages avec méthode mixte quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires (p. ex. une combinaison de contact par téléphone, en ligne, en personne ou par courrier).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Le risque de biais liés aux méthodes peut être diminué si les méthodes d’administration sont semblables (c-à-d. que dans les 2 cas, le sondage est réalisé par l’intervieweur [p. ex., par téléphone ou en personne] ou est auto-administré [p. ex., en ligne ou par courrier]).
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
Les révisions proposées de la section 2, conception du questionnaire, étaient les suivantes (il s’agirait d’un point qui recevrait son propre numéro dans la section 2, indiqué ici par la lettre « x ») :
2. Conception du questionnaire
2.1. Normes
- x)
- a) lorsqu'il s'agit de combiner ou de comparer des données obtenues au moyen de différentes méthodes dans les analyses de données, il faut prendre les mesures nécessaires afin d'optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles
- b) il faut inclure les questions pour lesquelles on dispose de données de haute qualité sur la population et qui peuvent donc servir de points de référence pour examiner la possibilité de biais liés aux méthodes. Les questions d'ordre démographique requises peuvent contribuer à cette fin (voir la section 1.2.4). Il faut aussi tenter de relever tout autre point de référence de haute qualité disponible (qu'il soit d'ordre démographique, comportemental ou relatif à l'attitude) qui pourrait être en corrélation avec des mesures clés du sondage. Ce dernier élément peut contribuer à mieux relever les biais liés aux méthodes dans les mesures clés des sondages
Le comité était d’accord avec la révision proposée de la section 4.5, qui met l’accent sur l’utilité du recours à des modes d’administration similaires :
4. Procédures d’échantillonnage 8
4.5. Sondages avec méthode mixte
On parle de sondages avec méthode mixte quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires (p. ex. une combinaison de contact par téléphone, en ligne, en personne ou par courrier).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête
- le risque de biais liés aux méthodes peut être diminué si les méthodes d’administration sont semblables (c-à-d. que dans les 2 cas, le sondage est réalisé par l’intervieweur [p. ex., par téléphone ou en personne] ou est autoadministré [p. ex., en ligne ou par courrier])
- il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats
Le comité était d’accord avec l’ajout suggéré à la section 2.1, à une modification près. Les membres ont souligné que, même si l’utilisation de points de référence comportementaux et attitudinaux peut être utile pour détecter le biais lié aux méthodes, cette analyse doit contrôler toute différence dans les variables démographiques. La norme a été révisée afin d’inclure cette mise en garde :
2. Conception du questionnaire
2.1. Normes
- x)
- a) lorsqu’il s’agit de combiner ou de comparer des données obtenues au moyen de différentes méthodes dans les analyses de données, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles
- b) il faut inclure les questions pour lesquelles on dispose de données de haute qualité sur la population et qui peuvent donc servir de points de référence pour examiner la possibilité de biais liés aux méthodes. Les questions d’ordre démographique requises peuvent contribuer à cette fin (voir la section 1.2.4). Il faut aussi tenter de relever tout autre point de référence de haute qualité disponible (qu’il soit d’ordre démographique, comportemental ou relatif à l’attitude) qui pourrait être en corrélation avec des mesures clés du sondage. À la suite du contrôle de toute différence dans les données démographiques clés selon la méthode, ce dernier élément peut contribuer à mieux relever les biais liés aux méthodes dans les mesures clés des sondages
Deux autres questions importantes ont été soulevées lors de la discussion du comité, même si elles n’ont probablement pas de répercussions directes sur les normes :
L’option de réponse « ne sait pas » (et les formes connexes, telles que « préfère ne pas répondre ») présente une difficulté lorsqu’une méthode est administrée par l’intervieweur (p. ex., sondage téléphonique) et l’autre est auto-administrée (p. ex., sondage en ligne). En général, l’option « ne sait pas » n’est pas explicitement présentée dans un sondage réalisé par un intervieweur. Dans la méthode d’auto-administration en ligne, cette option de réponse peut être présentée, mais il n’est pas nécessaire qu’elle le soit. La présentation explicite de l’option « ne sait pas » dans l’une des méthodes, mais pas dans l’autre aura probablement une incidence sur la répartition des réponses. Le fait de ne pas présenter l’option « ne sait pas » dans la méthode en ligne n’est pas exactement comparable à l’approche du sondage téléphonique, car soit le répondant est forcé de choisir l’une des réponses de base, soit il peut penser qu’il doit choisir l’une de ces options (c-à-d. s’il ne se rend pas compte qu’il peut continuer sans répondre à la question). Ces questions appuyaient l’ajout précédent par le comité à la section 4.5, à savoir : Le risque de biais liés aux méthodes peut être diminué si les méthodes d’administration sont semblables (c-à-d. que dans les 2 cas, le sondage est administré par l’intervieweur [p. ex., par téléphone ou en personne] ou est auto-administré [p. ex., en ligne ou par courrier]).
S’il existe un effet de méthode, les normes en exigent la déclaration et l’analyse dans le rapport, mais il pourrait être impossible d’atténuer cet effet dans les résultats.
La version actuelle de la norme figurant à la section 3 pour le prétest ne mentionne pas précisément les sondages avec méthode mixte.
À titre de référence, la section 3, prétest (version des normes pour les sondages en ligne), est la suivante :
3. Prétest
3.1. Normes
- Tous les éléments d’un nouveau questionnaire ou d’un questionnaire révisé, qui sont susceptibles d’influer sur la qualité des données et le comportement des répondants, nécessitent un prétest. Cela comprend l’apparence et le fonctionnement du questionnaire en ligne.
- Le client doit avoir la possibilité de tester et d’approuver le sondage en ligne avant le lancement.
- Le prétest doit comprendre l’approfondissement qui sert à inviter les participants recrutés pour le sondage à formuler des commentaires sur leur compréhension des questions et à réagir à ces dernières. Par exemple, une courte série de questions pourrait être intégrée à la fin du sondage de prétest. Les cabinets de recherche et les clients doivent convenir au préalable si l’approfondissement aura lieu durant ou après le sondage. À la demande du client, un prétest cognitif doit être réalisé.
- Afin d’assurer l’efficacité du questionnaire auprès de sous-groupes lorsqu’une préoccupation se manifeste (p. ex., en raison de la langue, de l’âge, du niveau d’études, etc.), les caractéristiques sociodémographiques des participants visés doivent être approuvées par le client avant le début du recrutement.
- On doit faire au moins 10 sondages de prétest dans chaque langue dans laquelle le sondage final sera mené. Les projets qui visent de petits groupes cibles pourraient constituer une exception, comme des sondages sur la satisfaction des clients auprès d’un petit bassin de clients. Dans de tels cas, le cabinet de recherche doit, en collaboration avec le client, prendre les mesures nécessaires pour s’assurer que les quelques prétests réalisés suffisent à garantir la qualité du questionnaire. Par exemple, un prétest cognitif peut s’avérer nécessaire.
- Les prétests terminés ne seront pas intégrés à l’ensemble final des données. Des exceptions pourraient toutefois être applicables aux projets :
- qui visent des groupes cibles difficiles à joindre; ou
- pour lesquels aucun changement n’est apporté au questionnaire.
- La documentation relative aux prétests doit être fournie au client avant que le questionnaire ne soit finalisé. La documentation doit comprendre à tout le moins :
- une description de la démarche de prétest suivie et du nombre d’entrevues terminées;
- les résultats et toute modification qui en résulte;
- le temps requis pour compléter le sondage;
- une déclaration indiquant si les dossiers de prétests seront conservés dans l’ensemble final des données.
Le rapport de recherche final doit également contenir cette information.
Le comité a été prié d’examiner s’il faudrait exiger, pour un sondage avec méthode mixte, un nombre minimum d’entrevues de prétest en français et en anglais pour chaque méthode.
Selon la norme 3.1 actuelle, un prétest complet pour chaque méthode reviendrait à effectuer 10 sondages en anglais et 10 sondages en français pour chaque méthode.
L’un des membres du comité a recommandé une norme exigeant un prétest complet pour chaque méthode, et un autre membre a recommandé d’effectuer un prétest complet à moins que les questionnaires soient identiques dans toutes les méthodes, ce qui n’est peut-être pas courant.
D’autres membres du comité ont affirmé que cela dépendait du degré de similitude entre les différentes méthodes :
À l’heure actuelle, dans la section 8, taux relatif aux résultats, il n’existe pas de norme sur la façon de calculer les taux relatifs aux résultats pour un sondage avec méthode mixte.
Le comité a été prié d’envisager l’ajout d’une norme à la section 8, taux relatif aux résultats, qui aborderait comment déterminer les taux relatifs aux résultats pour une étude avec méthode mixte. L’ajout de la norme suivante à la section 8 a été suggéré aux fins de discussion :
8. Taux relatif aux résultats
- 1) Les principes généraux pour le calcul du taux de réponse aux sondages avec méthode mixte sont les suivants : a) calculer le taux de réponse pour chaque méthode ou étape d’échantillonnage, b) utiliser la même formule générale de calcul du taux de réponse pour chaque méthode ou étape d’échantillonnage et c) calculer un taux de réponse unique total. Les détails de la façon dont on le fera seront adaptés à la conception particulière de l’enquête avec méthode mixte.
Deux problèmes se dégagent de l’ajout suggéré à la section 8, taux relatif aux résultats :
Le texte suivant résout ces problèmes :
8. Taux relatif aux résultats
- 1) Les principes généraux pour le calcul des taux obligatoires relatifs aux résultats pour les sondages avec méthode mixte sont les suivants : a) calculer le taux obligatoire relatif aux résultats pour chaque méthode ou étape d’échantillonnage, et b) le cas échéant, calculer un taux relatif aux résultats unique total. Les détails de la façon dont on le fera seront adaptés à la conception particulière de l’enquête avec méthode mixte. Une approche acceptable pourrait comprendre la présentation de mesures des résultats distinctes pour chaque méthode ou étape d’échantillonnage.
Le comité a également discuté des conceptions de recherche pour lesquelles il n’est pas possible de calculer un taux relatif aux résultats, et donc d’appliquer la section 8 des normes. Voici 2 des scénarios en question :
La façon de calculer un taux relatif aux résultats qui serait significatif n’est pas claire dans les 2 cas.
L’utilisation des routeurs d’échantillons a été abordée dans un rapport de 2016 de l’AAPOR intitulé « Evaluating Quality in Today’s Complex Environment » (Évaluation de la qualité des sondages dans l’environnement complexe actuel), qui faisait remarquer ce qui suit :
Plus récemment, les fournisseurs d’échantillons en ligne ont passé énergiquement à l’utilisation de routeurs d’échantillons (des logiciels qui présélectionnent les répondants éventuels et les répartissent dans l’un des nombreux sondages en attente […]). Cela peut améliorer l’efficience du travail sur le terrain, mais les recherches publiées sur l’effet des routeurs sur le biais sont très limitées. On s’inquiète notamment du degré auquel la composition de l’échantillon est affectée par les autres sondages simultanément actifs dans le routeur. [Traduction]
Le comité a recommandé d’interdire les méthodologies de recherche qui ne permettent le calcul d’aucun taux relatif aux résultats obligatoire dans les sondages de ROP du GC. En d’autres termes, dans les sondages de ROP du GC, l’échantillon des répondants à joindre devrait être bien défini, et chaque répondant devrait être invité à remplir un seul questionnaire de sondage.
Les normes existantes à la section exigences obligatoires relatives au rapport d’enquête concernant les sondages avec méthode mixte sont les suivantes :
14 (normes pour les sondages en ligne)/15 (normes pour les sondages téléphoniques). Exigences obligatoires relatives au rapport d’enquête 2
14.5/15.5 Collecte des données
- 2) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique.
14.6/15.6 Contrôle de la qualité
- 3) En ce qui concerne les sondages par méthode mixte, décrire en détail quelles répercussions pourrait avoir, sur la qualité des données, le fait de combiner des données obtenues au moyen de différentes méthodes et de divers outils de collecte.
Les sections 14.5 et 15.5.2 devraient être mises à jour en fonction d’une discussion du comité concernant la section 1.2.4, à la section documents de propositions, où cette même formulation était utilisée. Selon la recommandation du comité concernant la section 1.2.4, les sections 14.5/15.5 devraient être révisées comme suit :
14 (normes pour les sondages en ligne)/15 (normes pour les sondages téléphoniques). Exigences obligatoires relatives au rapport d’enquête 3
14.5/15.5 Collecte des données
- 2) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique,
Le comité a examiné l’élargissement possible suivant des sections 14.6 et 15.6, contrôle de la qualité, afin de a) garantir la clarté des décisions prises quant à la combinaison ou la non combinaison de données entre méthodes et b) exiger des descriptions de tout ajustement apporté aux données pour atténuer les effets de méthode :
14.6/15.6 Contrôle de la qualité
- 3) En ce qui concerne les sondages par méthode mixte, décrire en détail quelles répercussions pourrait avoir, sur la qualité des données, le fait de combiner des données obtenues au moyen de différentes méthodes et de divers outils de collecte.
- a) une justification de la décision de combiner ou non les données provenant de méthodes différentes au moment de présenter les résultats
- b) une description de toute mesure prise pour atténuer les effets de méthode sur les résultats du sondage
Le comité était d’accord avec la révision suggérée des sections 14.6/15.6, même si les membres étaient en léger désaccord au sujet de la formulation de la partie b). Certains membres approuvaient la formulation proposée, mais d’autres préféraient la formulation suivante : une description de tout ajustement apporté aux données pour atténuer les effets de méthode sur les résultats du sondage. L’argument en faveur des « mesures » faisait valoir que certaines opérations séquentielles pourraient être effectuées à l’égard des données pour atténuer les effets de méthode (p. ex., nettoyage des données, pondération).
La section 6, collecte de données auprès d’enfants, de jeunes ou de répondants vulnérables, ne fait pas référence à la question de savoir si, ou comment, des incitatifs sont utilisés pour cette population d’enquête.
Les sections 7.5 (normes pour les sondages téléphoniques) et 7.6 (normes pour les sondages en ligne) ne font pas référence à cette population non plus :
7.5/6. Attribution d’incitatifs et d’honoraires 1
- 1) Il faut fournir, dans les documents de propositions de projets et les rapports, des renseignements sur tous les incitatifs ou honoraires qui seront utilisés dans le cadre d’un sondage téléphonique/en ligne, notamment :
- le type d’incitatifs ou d’honoraires (p. ex., financiers, non financiers)
- la nature de l’incitatif (p. ex., argent, prix, points, dons, paiement direct)
- la valeur financière prévue de l’incitatif déboursé
Les normes sur la recherche qualitative du GC comportent une norme qui se rapporte aux incitatifs pour cette population cible :
5. Recrutement des participants
5.4. Incitatifs
- 7) Il faudrait tenir compte des facteurs liés à l’éthique particulièrement quand on fournit des incitatifs à des jeunes ou à des groupes vulnérables (p. ex. le paiement n’est pas coercitif ou il expose des jeunes ou des personnes vulnérables à un risque qu’ils auraient évité autrement).
Il convient de noter que les normes définissent comme suit les enfants et les jeunes :
Les personnes de 16 ans ou plus n’ont pas besoin d’obtenir le consentement d’un parent ou d’un adulte responsable (tuteur, etc.) avant d’être invitées à participer à un sondage.
Le comité a examiné s’il faudrait mettre en place une ligne directrice sur les incitatifs et les honoraires offerts aux enfants, aux jeunes ou aux personnes vulnérables qui participent à un sondage téléphonique ou à un sondage en ligne. L’ajout suivant à la norme Attribution d’incitatifs et d’honoraires a été suggéré aux fins de discussion :
7.5/6. Attribution d’incitatifs et d’honoraires 2
- Il faut fournir, dans les documents de propositions de projets et les rapports, des renseignements sur tous les incitatifs ou honoraires qui seront utilisés dans le cadre d’un sondage téléphonique, notamment :
- le type d’incitatifs ou d’honoraires (p. ex., financiers, non financiers)
- la nature de l’incitatif (p. ex., argent, prix, points, dons, paiement direct)
- la valeur financière prévue de l’incitatif déboursé
- décrire à l’avance qui recevra l’incitatif (le parent ou l’adulte responsable [tuteur, etc.], le répondant ou les 2)
- le parent ou l’adulte responsable doit consentir à l’incitatif, indépendamment de la personne qui le reçoit
- les éléments d’ordre éthique devraient être pris en considération au moment d’offrir des incitatifs à des enfants, des jeunes ou des groupes vulnérables (p. ex. le paiement n’est pas coercitif ou expose les jeunes ou les personnes vulnérables à un risque qu’ils auraient autrement évité)
Les normes pour les sondages téléphoniques et en ligne devraient comprendre une orientation concernant les incitatifs et honoraires offerts aux enfants, aux jeunes et aux personnes vulnérables qui répondent à un sondage.
La majorité des membres du comité étaient d’accord avec la formulation suggérée, mais quelques membres ont suggéré 2 changements :
Les méthodologies mobiles et en ligne créent la possibilité de recueillir divers types de données personnelles de manière « passive », c’est-à-dire sans interaction directe avec les répondants. Dans le contexte des sondages, il s’agit d’examiner quel type de collecte passive de données est autorisé, et dans quelles circonstances elle l’est.
Les Lignes directrices d’ESOMAR et du GRBN sur la recherche à l’aide d’appareils mobilesNote de bas de page 26 indiquent :
Les applications mobiles sont capables de recueillir un large éventail de données à caractère personnel sans une interaction directe avec les personnes concernées. Des exemples incluent l’utilisation de l’historique Web et de navigation, des statistiques sur l’utilisation d’applications, des données de carte de fidélité, la géolocalisation, des données de médias sociaux, les données de produits portables et Internet des objets (IdO) et autres données générées ou obtenues à partir d’appareils mobiles. [Traduction]
Certaines de ces capacités peuvent également s’appliquer à des sondages en ligne où le dispositif utilisé par la personne est un ordinateur.
Le document des Lignes directrices mentionne une exception importante à ce qui constitue des données « personnelles » à l’aide de certaines caractéristiques de l’appareil :
Bien qu’il soit possible de détecter passivement le type d’appareil utilisé par la personne concernée, cela n’est pas considéré comme une donnée personnelle tant et aussi longtemps que l’objectif de cette information est d’optimiser la performance de l’application et les résultats du sondage.
Les normes existantes traitent des principes généraux de protection de l’anonymat et de la confidentialité du répondant, et traitent de la collecte passive de données dans une certaine mesure.
La section 5.1.4, protection de l’anonymat et de la confidentialité, énonce le principe général suivant : l’anonymat des répondants doit toujours être protégé, à moins que ceux-ci en aient consenti autrement de manière explicite et informée.
5.1.4 Protection de l’anonymat et de la confidentialité des répondants
- 1) L’anonymat des répondants doit toujours être protégé, à moins que ceux-ci en aient consenti autrement de manière explicite et informée. Si ces répondants consentent de manière informée à ce que les données soient divulguées de façon à ce qu’ils puissent être personnellement identifiés, le cabinet de recherche doit s’assurer que les renseignements seront utilisés à des fins de recherche seulement OU, à la demande du répondant, pour résoudre la plainte d’un client. La même règle s’applique lorsque les réponses sont regroupées, à la suite du consentement informé des répondants, avec des données préexistantes et que ce regroupement permettrait de les identifier (p. ex., données regroupées avec celles d’une base administrative de données). De plus, ces renseignements personnels ne doivent pas servir à d’autres fins que celles qui sont visées par l’enquête en cours, comme le marketing direct, la création de listes, la détermination de la cote de solvabilité, les campagnes de financement ou toute autre activité de commercialisation ciblant ces répondants.
La section 5.1.4 établit que toutes les données personnelles recueillies passivement doivent être traitées de manière à protéger l’anonymat et la confidentialité des répondants aux sondages.
La section 5.3, questions de vie privée propres à la recherche par sondage en ligne, énonce l’exigence d’un énoncé de politique accessible « concernant l’usage de témoins de connexion (cookies), de fichiers de consignation et, s’il y a lieu, de logiciels ». Cela garantit que les répondants sont informés de certaines méthodes (mais pas toutes) de collecte passive de données.
- Les cabinets de recherche doivent avoir un énoncé de politique facilement accessible concernant l’usage de témoins de connexion (cookies), de fichiers de consignation et, s’il y a lieu, de logiciels. Cette déclaration peut être comprise dans leur politique de confidentialité ou peut apparaître dans un document distinct. Le logiciel ne doit pas être installé sur les ordinateurs des répondants à leur insu ou sans leur consentement. En outre, les répondants doivent être capables de retirer facilement le logiciel du cabinet de recherche de leurs appareils (p. ex., pour les utilisateurs de Windows, le logiciel doit apparaître dans le fichier de programmes ajouter/supprimer de leur panneau de configuration).
- Tous les liens vers la protection des données, la politique de confidentialité ou les énoncés de politique se rapportant aux témoins de connexion doivent être donnés au début du questionnaire.
La section 7.2, cueillette de données et techniques de recrutement (normes pour les sondages en ligne), aborde la collecte passive de données en interdisant la collecte de données « subreptice » ou « non sollicitée » (des termes qui semblent faire référence à la collecte passive de données en général). Le principe entendu est que la collecte passive de données ne peut se faire que lorsque le répondant y consent et en est vraisemblablement conscient (bien que la norme ne mentionne pas spécifiquement « consentement ») :
7.2. Cueillette de données et techniques de recrutement
- Les cabinets de recherche ne doivent pas avoir recours à des collectes de données ou des techniques de recrutement subreptices, trompeuses ou non sollicitées (y compris le pollupostage, les « spiders » et les « sniffers » ou encore l’utilisation d’autres « agents » qui recueillent des renseignements personnels sans que le répondant en soit explicitement conscient).
Il se peut que les normes ci-dessus suffisent pour résoudre les questions associées à la collecte de données passive dans le cadre des sondages. Il se peut aussi que les normes existantes ne soient pas suffisamment explicites. Pour aider le comité à examiner cette question, la norme 7.2 a été révisée comme suit :
Les chercheurs ne doivent pas utiliser des techniques de collecte de données ou de recrutement ayant recours à des méthodes passives de collecte de données, à moins que les répondants au sondage ou les répondants potentiels aient d’abord donné leur consentement éclairé, ou à moins qu’une telle collecte de renseignements soit permise sur le plan légal ou en vertu des conditions d’utilisation du site Web, du service ou de l’application d’où proviennent les données.
Des exemples de collecte passive de renseignements personnels comprennent notamment : l’utilisation du Web et l’historique de navigation, les statistiques d’utilisation des applications, la géolocalisation, les données biométriques permettant d’identifier une personne, les données sur les réseaux sociaux, les données provenant d’accessoires à porter sur soi et de l’IdO (Internet des objets) et d’autres données générées par les appareils mobiles ou les ordinateurs des répondants ou obtenues à partir de ceux-ci.
La détection passive du type d’appareil utilisé par le répondant ne constitue pas un renseignement personnel tant que l’objectif est d’optimiser la performance de l’application et les résultats du sondage.
Certains éléments pour cette reformulation possible de la section 7.2 incluent ce qui suit :
Le comité a examiné si les normes actuelles traitent adéquatement de la collecte passive de renseignements personnels effectuée conjointement avec un sondage. Le comité a examiné la révision proposée de la section 7.2, cueillette de données et techniques de recrutement, aux fins de discussion.
Le comité a approuvé la révision proposée de la section 7.2 à titre d’amélioration de la version actuelle, à une modification près. Cette dernière concerne le dernier paragraphe, qui énonce que le type d’appareil n’est pas considéré comme un renseignement personnel. Pour optimiser les résultats d’un sondage en ligne, il est également utile de disposer de renseignements sur les caractéristiques du navigateur. Le dernier paragraphe devrait être révisé comme suit :
L’un des membres du comité a suggéré de faire vérifier la révision proposée de la section 7.2 par le Commissariat à la protection de la vie privée du Canada, afin de voir s’il existe d’autres pratiques exemplaires à intégrer à la norme.
Même si cette question a particulièrement trait aux sondages en ligne, les membres du comité se sont demandé s’il fallait ajouter une norme sur la collecte passive de données dans les normes pour les sondages téléphoniques. Dans l’ensemble, on ne sait pas vraiment s’il existe des formes légalement admissibles de collecte passive de données dans les sondages téléphoniques; il semble donc qu’il ne soit pas nécessaire d’ajouter quoi que ce soit à ce sujet dans les normes pour les sondages téléphoniques.
Il convient de noter que l’enregistrement audio d’un sondage téléphonique peut être considéré comme une forme de collecte de données. Toutefois, le point 4 de la section 5.1.4 des normes pour les sondages téléphoniques stipule que le répondant doit être informé de l’enregistrement; de ce fait, l’enregistrement audio « passif » n’est pas autorisé :
5.1.4 Protection de l’anonymat et de la confidentialité des répondants
- 4) Lorsqu’ils emploient des techniques d’enregistrement ou d’observation, les cabinets de recherche doivent en informer les répondants dès le début de l’entretien. La confidentialité des répondants ne doit pas être compromise par l’utilisation de telles techniques.
Les normes relatives aux sondages téléphoniques et en ligne ne contiennent actuellement aucune norme portant spécifiquement sur les photographies et les enregistrements audio ou vidéo des répondants.
La section 3.4.2 des Lignes directrices d’ESOMAR et du GRBN sur la recherche à l’aide d’appareils mobiles mentionne ce qui suit concernant les photographies et les enregistrements :
Les photographies, enregistrements vidéo et audio sont considérés comme des données à caractère personnel et, par conséquent, doivent être recueillis, traités et stockés en tant que telles. Ils peuvent uniquement être communiqués avec un client si la personne concernée donne son consentement préalable en connaissant l’objectif précis pour lequel ils seront utilisés. Lorsque des renseignements qui permettraient d’identifier personnellement les répondants sont supprimés (par exemple à l’aide de pixellisation ou en utilisant une technologie de modification de la voix) de sorte qu’ils ne sont plus considérés comme des données à caractère personnel, ils peuvent être communiqués à un client à condition que le client s’engage à ne faire aucune tentative pour identifier la personne.
Les chercheurs ne doivent pas demander aux personnes concernées (ou à celles qui peuvent agir en tant que collecteurs de données) de se livrer à des activités de surveillance des personnes ou des lieux publics. Les personnes concernées devraient recevoir des tâches limitées (p. ex., la saisie d’interactions avec leurs amis avec leur consentement, ou l’affichage d’images ou d’objets) qui ne supposent pas la surveillance d’une zone particulière où des données personnelles seraient saisies sans le consentement des personnes présentes. Lorsqu’une observation enregistrée d’un lieu est entreprise, des signes clairs et lisibles indiquant que la zone est en observation ainsi que les coordonnées du chercheur ou de l’organisme de recherche effectuant l’étude devraient être affichés, puis les images des personnes doivent être pixélisées ou supprimées dès que possible. Les caméras doivent être orientées de façon à surveiller uniquement les zones destinées à l’observation. [Traduction] (p. 10-11)
Le texte qui suit est une version légèrement modifiée des lignes directrices d’ESOMAR et du GRBN qui met l’accent sur le contexte des sondages (étant donné que le comité n’étudie que la révision des normes pour les sondages téléphoniques et en ligne) :
Les chercheurs ne doivent pas demander aux
Le comité a examiné si la section 3.4.2 modifiée des Lignes directrices d’ESOMAR et du GRBN sur la recherche à l’aide d’appareils mobiles devrait être ajoutée aux normes pour les sondages en ligne et aux normes pour les sondages téléphoniques.
Il faudrait intégrer le premier paragraphe de la ligne directrice modifiée d’ESOMAR et du GRBN aux normes mises à jour. L’un des membres du comité a fait remarquer que, même si, pour le moment, cela concerne principalement les sondages en ligne, cela peut également s’appliquer aux sondages téléphoniques auxquels une personne répond au moyen d’un téléphone intelligent. Par exemple, le répondant pourrait être invité à prendre une photographie et à l’envoyer à la société de sondage (p. ex., jointe à un message texte envoyé au numéro de téléphone appelant). Par conséquent, il faudrait inclure cette ligne directrice dans les normes pour les sondages en ligne et dans les normes pour les sondages téléphoniques.
En ce qui concerne le 2e paragraphe de la ligne directrice d’ESOMAR et du GRBN, les membres du comité se sont demandé si ce scénario est suffisamment courant pour en justifier l’inclusion dans les normes. La première phrase interdit aux chercheurs de demander aux répondants de se livrer à des « activités de surveillance des personnes ou des lieux publics ». Certains membres ont fait valoir qu’il est très peu probable qu’un sondage de ROP du GC demande aux répondants de se livrer à des activités de « surveillance », et que ce point ne mérite peut-être pas d’être abordé dans les normes.
La 2e phrase du 2e paragraphe traite d’un scénario plus réaliste dans lequel on demande à un répondant de prendre une photographie ou d’effectuer un enregistrement en rapport avec le sujet du sondage. En raison de la prévalence des téléphones intelligents en particulier, il pourrait s’agir d’un des outils de plus en plus utilisés par les chercheurs pour certains types de sujets de sondage (p. ex., un sondage réalisé auprès de visiteurs). Il vaut la peine d’intégrer une version simplifiée du texte d’ESOMAR et du GRBN aux normes mises à jour. Voici une formulation possible :
2e paragraphe révisé : si les répondants sont priés d’effectuer des enregistrements dans le cadre de leur participation au sondage , ils devraient recevoir des tâches limitées (p. ex., la saisie d’interactions avec leurs amis avec leur consentement, ou l’affichage d’images ou d’objets) qui ne supposent pas la surveillance d’une zone particulière où des données personnelles seraient saisies sans le consentement des personnes présentes.
La DROP a demandé au comité d’examiner s’il est nécessaire d’apporter un ajout relatif à la sensibilité de l’environnement du répondant aux normes pour les sondages téléphoniques. À cet égard, il existe 2 lignes directrices pertinentes dans les Lignes directrices d’ESOMAR et du GRBN sur la recherche à l’aide d’appareils mobiles (p. 7) :
3.1.1 Sécurité
Lors d’un appel sur un téléphone mobile, les chercheurs pourraient contacter une personne qui effectue une activité ou qui se trouve dans un environnement différent de ce que l’on s’attend avec un appel sur une ligne fixe. Cela peut inclure la conduite d’un véhicule, l’utilisation de machineries ou une marche dans un espace public. Le chercheur doit confirmer si la personne peut légalement répondre au téléphone, et si elle se trouve dans un lieu sûr et adéquat pour prendre l’appel. Si le chercheur ne reçoit pas la confirmation, l’appel devrait prendre fin tout en laissant la possibilité de faire d’autres tentatives visant à joindre la personne à un autre moment.
3.1.2 Confidentialité et données personnelles
Un chercheur pourrait communiquer avec un sujet qui effectue une activité ou qui se trouve dans une situation où d’autres personnes peuvent entendre la conversation. Dans ce cas, le chercheur doit tenir compte de la nature de la recherche ainsi que du contenu, en considérant la possibilité que la personne risque d’être entendue et que des renseignements personnels ou sur le comportement puissent être divulgués par inadvertance, et qu’elle puisse volontairement modifier ses réponses en raison de la situation dans laquelle elle se trouve. Le cas échéant, l’appel doit être reporté à un autre moment, lorsque la confidentialité ne risquera pas d’être compromise.
Il convient de noter que la section 3.1.1 des Lignes directrices d’ESOMAR et du GRBN ci-dessus s’applique précisément aux téléphones cellulaires, mais que la section 3.1.2 pourrait aussi s’appliquer aux téléphones à ligne fixe.
La section 5.2.1, évitement du harcèlement, des normes pour les sondages téléphoniques actuelles comprend une norme axée sur la sensibilité du sujet du sondage, mais n’aborde pas directement les problèmes causés par l’environnement dans lequel se déroule l’entrevue :
5.2. Évitement du harcèlement
- Les cabinets de recherche prendront tous les moyens raisonnables pour s’assurer que les répondants ne sont en aucune façon importunés ni gênés par une entrevue et qu’ils n’en subiront aucun effet néfaste. Ils doivent aborder les sujets délicats de façon à réduire au minimum le malaise et les craintes tant chez les répondants que chez les intervieweurs.
Comme les répondants sont de plus en plus susceptibles de répondre aux appels à l’aide d’un téléphone cellulaire, l’utilisation du téléphone dans certains environnements peut être problématique (p. ex., en conduisant, en marchant dans un endroit public). Que les répondants utilisent un téléphone cellulaire ou fixe, ils peuvent se trouver dans un environnement où ils pourraient être entendus.
Le comité a examiné si les normes existantes sont suffisantes ou s’il faudrait ajouter une norme ou une ligne directrice qui demande à l’intervieweur de confirmer que le répondant se trouve à un endroit où il est à l’aise de répondre à l’appel.
La plupart des membres du comité ont appuyé l’ajout d’une ligne directrice visant à déterminer si le répondant à un sondage téléphonique se trouve à un endroit où il peut répondre à l’appel. L’un des membres du comité a suggéré la formulation suivante :
La plupart des membres du comité ont recommandé une ligne directrice plutôt qu’une norme, car, même s’il s’agit d’une pratique exemplaire, elle peut être problématique si le sondage risque de durer trop longtemps. En outre, il a été avancé que l’avantage de cette question pourrait souvent être minime, pour les raisons suivantes :
L’un des membres du comité a affirmé qu’il devrait s’agir d’une norme (c-à-d. d’une exigence) pour tous les sondages téléphoniques. Il a fait valoir que, surtout pour les répondants qui utilisent un téléphone cellulaire, certains répondants pourraient être tentés de répondre au sondage même s’ils se trouvent dans un environnement dans lequel il n’est pas entièrement sécuritaire de le faire, comme pendant la conduite d’un véhicule. Pour éviter de contribuer potentiellement à un comportement dangereux, le membre en question jugeait qu’une norme était nécessaire. En outre, il a avancé qu’il n’était pas garanti que les échantillons prélevés par téléphone cellulaire étaient composés à 100 % de téléphones cellulaires, de sorte que cette exigence devrait être requise pour tous les sondages téléphoniques, pas seulement la partie du sondage visant l’échantillon par téléphone cellulaire.
Une atteinte à la sécurité des données se définit comme la perte ou la communication de renseignements personnels ou organisationnels, ou l’accès non autorisé à ces derniers.
Les normes actuelles exigent la prise de mesures de protection contre les atteintes à la sécurité des données. Le comité avait pour objectif de définir les révisions ou les ajouts à apporter aux normes, ainsi que toute ligne directrice qu’il faudrait inclure.
Voici les normes actuelles :
13.2 (normes pour les sondages en ligne) et 14.2 (normes pour les sondages téléphoniques). Protection des données et des serveurs
- 1) Protection contre l’accès illégal ou non autorisé : Les cabinets de recherche doivent avoir recours à des technologies de pointe pour protéger les données d’enquête recueillies et stockées sur des sites Web ou dans des serveurs contre un accès illégal ou non autorisé par des tiers (c-à-d. le piratage). Les cabinets de recherche doivent également contrôler l’accès à toutes les bases de données contenant des données relatives à l’enquête, de façon à ce que seules les personnes disposant d’une autorisation de sécurité appropriée soient en mesure d’accéder à la base de données, que ce soit à l’aide d’un mot de passe ou par d’autres mécanismes de contrôle de l’accès (comme des mécanismes de contrôle biométrique).
- 3) Le cabinet de recherche ne peut confier à un sous-traitant (y compris à une société affiliée) une fonction qui permet d’accéder aux données de l’enquête sans le consentement écrit au préalable du client.
- 5) Protection contre les dommages physiques aux serveurs : Les cabinets de recherche doivent aussi établir les mesures nécessaires pour assurer la sécurité « physique » des données et des serveurs.
13.3/14.3 Stockage temporaire de données sur les serveurs
- 1) Si les données recueillies sont stockées temporairement sur un serveur exploité par un autre fournisseur, le cabinet de recherche doit s’assurer que le fournisseur prend les mesures nécessaires pour respecter les exigences décrites à la sous-section 13.2. Le stockage temporaire des données sur le serveur doit être d’une durée aussi limitée que possible.
13.6/14.5 En cas d’atteinte à la protection des données
- 1) En cas d’atteinte à la protection des données, le client doit être informé immédiatement des détails de la nature et de l’étendue de l’infraction.
L’examen de la documentation commandé par la DROP (voir les p. 28-30) cite ce qui suit comme cadre d’examen de la protection des données :
Le comité a examiné s’il faut apporter des révisions aux normes actuelles sur la confidentialité et la sécurité des données susmentionnées.
Les normes existantes concernant la confidentialité et la sécurité des données, y compris les normes portant sur les atteintes à la protection des données, sont appropriées.
Les membres du comité ont discuté de la nécessité de normes ou de lignes directrices supplémentaires dans 2 domaines : le chiffrement des données sur les appareils portatifs, et les limites de conservation des données.
Il devrait y avoir des orientations concernant le chiffrement des données d’enquête stockées sur les appareils portatifs (ordinateurs portatifs, clés USB et autres supports portatifs). Le comité a fait la distinction entre les fichiers de données d’enquête qui contiennent des renseignements permettant d’identifier une personne et ceux qui n’en contiennent pas. Il faudrait exiger le chiffrement, sur les appareils portatifs, des fichiers de données d’enquête qui contiennent des renseignements permettant d’identifier une personne, et ajouter une ligne directrice portant sur le chiffrement en l’absence de tels renseignements.
La norme actuelle stipule la durée de conservation minimale des données d’enquête (Conservation de données techniques [13.1 dans les normes pour les sondages en ligne et 14.1 dans les normes pour les sondages téléphoniques]). Cependant, il n’existe aucune norme exigeant la destruction des renseignements permettant d’identifier une personne après une période donnée.
Les limites de conservation des données sont abordées dans quelques autres contextes :
Il a été suggéré que les normes devraient contenir des règles supplémentaires au sujet des limites de conservation des renseignements permettant d’identifier une personne, même si les avis des membres du comité étaient partagés quant à la question de savoir s’il faudrait en faire une norme ou une ligne directrice, et laisser une période de conservation générale (comme le font l’ARIM et la LPRPDE) ou préciser une période définie. En ce qui concerne ce dernier point, un des membres du comité a suggéré une ligne directrice de ce genre :
Il faudrait conserver les données permettant d’identifier une personne (reçues d’un client aux fins de la collecte des données ou recueillies dans le cadre de l’étude) pendant une année au plus après la fin du contrat, à moins qu’il existe des raisons légitimes de conserver lesdites données pendant plus d’une année.
L’argument en faveur de la définition d’une période précise est qu’elle est plus facile à expliquer si un répondant s’informe à ce sujet. La période précise pourrait être une période autre qu’une année; toutefois, on peut faire valoir qu’une période d’une année accorde au client et au fournisseur une latitude suffisante pour gérer toute demande de renseignements ou tout problème qui pourraient survenir par rapport au sondage.
Voici quelques suggestions de lignes directrices supplémentaires :
Les normes actuelles exigent que les données d’enquête soient stockées au Canada :
13.2/14.2 Protection des données et des serveurs
- Protection contre l’accès autorisé en vertu de la loi : Puisque certaines administrations permettent à leurs fondés de pouvoir, dans certaines circonstances, d’accéder à toutes les données stockées sur les serveurs de leur administration (p. ex., aux États-Unis, en vertu des dispositions du Uniting and Strengthening America by Providing Appropriate Tools Required to Intercept and Obstruct Terrorism Act [Unifiant et renforçant l’Amérique en offrant les outils appropriés nécessaires à l’interception et à l’obstruction des actes terroristes] appelée USA Patriot Act (voir l’aperçu de cette loi fourni par le Secrétariat du Conseil du Trésor, les cabinets de recherche doivent veiller à ce que toutes les bases de données contenant de l’information liée aux enquêtes soient sauvegardées sur des serveurs et des serveurs de sauvegarde situés uniquement au Canada).
- Si le client a donné au préalable son approbation écrite, ces serveurs peuvent être situés dans un autre pays où :
- les renseignements personnels jouissent d’une protection équivalant à celle du Canada en vertu de textes législatifs comme la Loi sur la protection des renseignements personnels, L.R. 1985, ch. P-21, et la Loi sur la protection des renseignements personnels et les documents électroniques, L.C. 2000, ch. 5, et de toutes politiques applicables du gouvernement du Canada
- les lois ne permettent pas au gouvernement de ce pays ou à toute autre entité ou personne de chercher à obtenir ou d’obtenir le droit d’examiner ou de copier des renseignements liés à l’enquête sans le consentement écrit au préalable du client
- Pour ce qui est de donner son consentement en vue d’établir une base de données dans un autre pays, le client peut, à son gré, demander au cabinet de recherche de fournir un avis juridique (d’un avocat qualifié dans le pays étranger) à l’effet que les lois de ce pays satisfont aux exigences décrites au paragraphe 2 a) ci-dessus, ou encore de rembourser au gouvernement du Canada les frais liés à l’obtention d’un tel avis. Le gouvernement du Canada a le droit de rejeter toute demande de stockage des données d’enquête dans un pays autre que le Canada si des raisons portent à croire que la sécurité, la confidentialité ou l’intégrité des données peuvent être menacées. Le gouvernement du Canada peut également exiger que les données devant être transmises ou traitées à l’extérieur du Canada soient chiffrées au moyen d’une cryptographie approuvée par le gouvernement du Canada et que la clé privée requise pour déchiffrer les données soit gardée au Canada, conformément aux processus de gestion et de conservation des clés approuvés par le gouvernement du Canada.
- Le cabinet de recherche doit veiller à ce que tous les serveurs, y compris les serveurs de sauvegarde, contenant des données relatives à l’enquête soient physiquement et logiquement indépendants (c-à-d. sans connexion directe ou indirecte d’aucune sorte) de toute autre base de données, sauf si ces bases de données sont situées au Canada (ou dans un pays approuvé par le client conformément au paragraphe 2) a)) et qu’elles satisfassent aux autres exigences du présent article.
- Le cabinet de recherche doit s’assurer que toutes les données relatives à l’enquête sont traitées uniquement au Canada ou dans un autre pays approuvé par le client conformément au paragraphe 2) a).
- Le cabinet de recherche doit s’assurer que tout le trafic sur le réseau national (c-à-d. le trafic ou les transmissions partant d’une partie du Canada vers une destination ou une personne située dans une autre partie du Canada) s’effectue exclusivement au Canada, sauf si le client a approuvé au préalable, par écrit, une autre route. Le client envisagera les demandes d’acheminement du trafic par un autre pays uniquement si ce pays satisfait aux exigences décrites au paragraphe 2) a).
Le comité a examiné si d’autres normes sont requises concernant le stockage infonuagique, soit sur l’emplacement des serveurs ou des serveurs de sauvegarde, soit sur tout autre aspect de la sécurité des données propre au stockage infonuagique.
Dans l’ensemble, le comité n’a suggéré aucun changement aux normes actuelles. Cet aspect est complexe : il nécessite des connaissances d’expert sur le cadre juridique et réglementaire influant sur l’accès aux données et sur leur utilisation, non seulement au Canada, mais également dans les autres pays où les serveurs peuvent se trouver, et nécessite une compréhension des politiques du GC à cet égard. Les membres du comité ne se considéraient pas comme des experts en la matière.
Les membres du comité ont discuté de l’autorisation du stockage infonuagique dans des pays dont les normes sont équivalentes. Les normes actuelles l’autorisent, pourvu que certaines conditions, décrites aux points 2a et 2b, soient respectées. Cependant, il a été avancé que l’application du point 2b au cas par cas est fastidieuse et prend du temps. Il serait plus judicieux que le GC établisse une liste de pays préapprouvés qui satisfont aux conditions stipulées au point 2a et qui sont acceptables pour le stockage infonuagique des données de ROP du GC. Il a été souligné qu’il s’agit d’une approche adoptée par la Commission européenne en ce qui concerne la protection des renseignements personnels dans les pays qui n’appartiennent pas à l’UENote de bas de page 28.
D’autres points doivent être notés :
L’annexe C : Guide sur les médias sociaux de l’ARIM est un document pertinent pour ce sujet. Il convient toutefois de noter que le comité s’est limité à l’utilisation des médias sociaux en rapport avec des sondages téléphoniques ou des sondages en ligne, et qui répondent également à la définition de la recherche sur l’opinion publique de la DROPNote de bas de page 29. Selon cette définition, (1) il doit y avoir des questions d’attitude et d’opinion dans la recherche, et (2) la recherche doit être fondée sur des questions à poser. Le document de l’ARIM traite de la recherche par les médias sociaux, pas seulement de la recherche par sondage.
L’introduction de l’annexe C : Guide sur les médias sociaux de l’ARIM mentionne ce qui suit :
Le concept des consommateurs générant leur propre contenu sur Internet est devenu omniprésent. Cela a créé de nouvelles possibilités pour les chercheurs d’observer, d’interagir et de recueillir des renseignements. De nombreuses techniques ont été élaborées pour tirer parti des médias sociaux tels que des comités communautaires, l’externalisation ouverte, la co création, la netnographie, la recherche sur les blogues et le moissonnage du Web. Il est probable que bien d’autres techniques évolueront au cours des prochaines années alors qu’Internet poursuit sa progression. [Traduction]
Bon nombre des possibilités de recherche mentionnées ci-dessus n’entrent pas dans les normes pour les sondages téléphoniques et en ligne de la DROP, car les activités ne sont pas considérées comme des sondages de recherche sur l’opinion publique. Cependant, il est possible de faire un sondage en ligne et peut-être même un sondage téléphonique dans le cas de communautés de recherche en ligne (MROC). Et il est possible que d’autres types de sites de médias sociaux puissent être des plateformes pour l’échantillonnage et l’utilisation de sondages.
Si un sondage téléphonique ou en ligne se fait à l’aide d’un site de médias sociaux comme source de l’échantillon, et peut-être en tant que véhicule pour administrer un sondage en ligne, le projet de recherche devrait être conforme à toutes les normes pertinentes, c’est-à-dire, les normes sur les sondages en ligne ou téléphoniques.
La question est de savoir si des éléments doivent être ajoutés aux normes pour inclure des sondages téléphoniques ou en ligne qui utilisent des médias sociaux (cela signifie que l’échantillon provient d’un média social, et que le sondage pourrait être transmis au moyen des médias sociaux).
Certains sont d’avis qu’il n’y a aucun élément qui devrait être ajouté aux normes pour les sondages utilisant les médias sociaux. Les normes énoncent des exigences relatives aux documents de propositions, à la conception du questionnaire, à l’échantillonnage, à la conservation de la confiance du public, à la collecte des données, à la sécurité des données, etc. Le fait d’adhérer à ces normes pourrait être considéré comme suffisant pour qu’un sondage qui utilise les médias sociaux soit acceptable pour le gouvernement du Canada.
D’autres croient que certaines questions propres aux sondages sur les médias sociaux ne sont pas clairement abordées dans les normes.
L’annexe C : Guide sur les médias sociaux de l’ARIM traite de la recherche sur les médias sociaux en général, pas seulement dans le cadre des sondages. Le document décrit des « principes fondamentaux » pour les chercheurs. Ces principes sont compatibles avec les normes pour les sondages en ligne et pour les sondages téléphoniques, mais ils sont expliqués précisément en ce qui concerne l’application pour les médias sociaux :
L’article 3, Recommandations pour les médias sociaux particuliers, est également intéressant pour les normes qui concernent les sondages, de même que l’article 3.2, Questions relatives au domaine des médias sociaux privés et l’article 3.3, Questions relatives au domaine des médias sociaux pour les études de marché. Ces aspects traitent de l’autorisation, du consentement éclairé et de la confidentialité propres à ces types de médias sociaux utilisés pour la recherche.
Le comité a examiné si des normes supplémentaires sont requises concernant les sondages qui utilisent les médias sociaux, soit comme source d’échantillons, soit pour mener un sondage.
Aucune norme supplémentaire n’est requise concernant les sondages qui utilisent les médias sociaux, soit comme source d’échantillons, soit pour mener un sondage. Les normes actuelles, ainsi que les divers changements recommandés ailleurs par le comité, suffisent à faire en sorte que de tels sondages répondent aux exigences de qualité des sondages de POR du GC.
L’annexe C : Guide sur les médias sociaux de l’ARIM énonce les principes suivants, qui sont déjà abordés dans les normes actuelles.
S’il fallait ajouter quoi que ce soit concernant les médias sociaux dans les normes pour les sondages, il s’agirait plutôt de rappels encourageant le respect des normes concernant les sujets pour lesquels on craint que l’utilisation des médias sociaux soit problématique. Par exemple, selon le type de médias sociaux utilisé, on pourrait se demander si on a affaire à de « vraies personnes » (c-à-d. pas des robots) ou s’inquiéter de la légitimité de l’identité des gens. Dans ce cas, on pourrait ajouter à la section 4, procédures d’échantillonnage, un texte de ce genre : Si la recherche implique l’obtention d’un échantillon dans une plateforme de médias sociaux, le chercheur devrait décrire les mesures supplémentaires prises pour confirmer l’admissibilité et l’authenticité des répondants.
Les normes sur les sondages en ligne et par téléphone ne contiennent aucune norme ni ligne directrice concernant l’accessibilité.
La page d’accueil de la Web Accessibility Initiative (WAI) Home (WAI, Initiative d’accessibilité au Web), en anglais, donne des définitions de l’accessibilité, de la convivialité et de l’inclusion :
Selon la DROP, le Secrétariat du Conseil du Trésor (SCT) travaille à une proposition de politique sur les normes d’accessibilité propres à tous les appareils utilisés pour accéder aux sondages en ligne. Les résultats de ces travaux d’élaboration devraient être disponibles dans un an environ. Lorsque la politique du SCT sera finalisée, elle aura préséance.
Il convient de noter que le comité a formulé des recommandations de normes et de lignes directrices concernant les questionnaires adaptés aux appareils mobiles, et qu’elles sont dans une certaine mesure pertinentes pour l’accessibilité des sondages en ligne.
Aux pages 31 à 33 de l’examen de la documentation commandé par la DROP, une section sur l’accessibilité est présentée. Dans cette section, il y a 3 listes de lignes directrices provenant de diverses sources. Dans l’examen de la documentation, elles sont associées aux sondages mobiles accessibles, mais bon nombre de ces articles se rapportent aux sondages en ligne en général. Voici les 3 listes :
Il n’y a actuellement aucune norme d’accessibilité dans les normes pour les sondages téléphoniques. Il existe des façons de rendre les sondages téléphoniques plus accessibles, comme les options ATS ou les méthodes de rechange telles que les questionnaires remplis en ligne ou envoyés par courrier, et l’autorisation du recours à des substituts pour les répondants.
Le comité a examiné s’il convient d’ajouter aux normes un énoncé sur l’importance des principes de l’accessibilité, y compris des considérations liées à l’alphabétisme, à la convivialité et à l’inclusion, et s’est demandé quelles lignes directrices précises pourraient être fournies, le cas échéant, pour les sondages en ligne et par téléphone.
La majorité des membres du comité ont appuyé l’énoncé d’une ligne directrice générale encourageant l’accessibilité, suivie par quelques exemples de mesures qui pourraient être prises pour améliorer l’accessibilité des sondages en ligne ou par téléphone. Ces exemples seraient des lignes directrices et non des exigences. La ligne directrice générale pourrait être la suivante :
Tous les sondages en ligne et les sondages téléphoniques du gouvernement du Canada devraient tendre à être aussi accessibles que possible pour tous les répondants. Les fournisseurs de services de recherche sont censés travailler en collaboration étroite avec l’équipe du client pour répondre aux besoins d’un répondant à qui les pratiques standard de collecte de données ne permettent pas une participation équivalente ou adéquate à une étude de recherche à laquelle il serait sinon admissible.
Des exemples tels que les suivants pourraient être utiles pour les clients et les fournisseurs :
[Après l’énoncé général :] L’accessibilité des sondages comprend de nombreux aspects. Voici quelques exemples à prendre en compte :
Sondages en ligne
Sondages téléphoniques
Plusieurs membres du comité ont formulé des recommandations quelque peu différentes :
Les renseignements ci-après comprennent une mise en contexte et les questions à des fins de discussions de groupe. D’autres questions pourront être formulées pour le babillard au fur et à mesure de l’évolution des discussions ou selon les points de vue et les suggestions des membres du comité consultatif.
Vous devrez consulter la présente mise en contexte pour obtenir les commentaires détaillés sur les questions affichées au babillard. Le babillard affiche seulement les questions. La mise en contexte donne aussi les renseignements suivants, par exemple :
Ces renseignements ne sont pas compris dans les questions affichées au babillard.
Veuillez répondre à toutes les questions pertinentes. Il est essentiel d’obtenir le point de vue de chaque membre du comité consultatif.
Dans la mesure du possible, veuillez fournir des réponses aussi détaillées que possible, en particulier lorsqu’une question peut être source de désaccord entre les membres du comité consultatif, que ce soit à l’égard d’un principe énoncé ou du vocabulaire utilisé pour décrire le principe.
Nous demandons à tous les membres du comité consultatif de commencer à afficher leurs réponses aux questions dès que possible, une fois que le babillard sera en place. Autrement, nous manquerons de temps pour débattre des questions, obtenir des précisions ou des détails auprès des membres du comité consultatif ou chercher à parvenir à une entente sur des questions sur lesquelles les membres ont des points de vue divergents.
Le comité consultatif a le mandat de parvenir à un consensus, dans la mesure du possible, même s’il ne s’agit pas d’un résultat essentiel des délibérations. En cas de divergence d’opinions, veuillez discuter dans le but de déterminer s’il est possible de parvenir à un consensus. Gardez à l’esprit que l’absence d’un consensus ne doit être acceptée qu’en dernier recours.
Voici un rappel de la terminologie employée :
Dans la mesure du possible et par souci de simplicité, les normes ou les lignes directrices devraient être les mêmes pour la recherche sur l’opinion publique (ROP) du gouvernement du Canada effectuée au moyen de sondages téléphoniques et en ligne.
La Direction de la recherche en opinion publique (DROP) demande à ce que les critères suivants soient appliqués à l’élaboration des normes et des lignes directrices.
De façon générale, nous voulons respecter les critères suivants en révisant ou en élaborant des normes :
Différentes citations se trouvent dans les notes de bas de page de la présente mise en contexte. Nous avons essayé de faire en sorte que la mise en contexte soit « autosuffisante » afin que vous n’ayez pas à lire les articles les cités. Par contre, si vous souhaitez obtenir un de ces documents, dites-nous lesquels vous souhaitez obtenir et nous vous les enverrons par courriel.
Voici d’autres documents que les membres du comité consultatif devront consulter. Par conséquent, nous les envoyons aux membres :
La section 4, procédures d’échantillonnage, des normes comprend les normes relatives à l’échantillonnage probabiliste et à l’échantillonnage non probabiliste. Cependant, la section 4 ne donne aucune définition de ces 2 types d’échantillonnage. Elle peut être révisée de façon à y inclure des définitions et quelques exemples afin d’aider les utilisateurs à déterminer si un échantillon est un échantillon probabiliste ou non probabiliste. Les objectifs consistent à concevoir des définitions et des exemples adéquats qui pourraient être intégrés aux normes.
L’échantillonnage probabiliste est une méthode qui permet de formuler des inférences sur la population, compte tenu des observations tirées de l’échantillon. Celui-ci devrait être libre de tout biais de sélection pour formuler les inférences. L’échantillonnage probabiliste évite ce biais par la sélection aléatoire d’unités de la population (à l’aide d’un ordinateur ou d’un tableau de nombres aléatoires). Il ne faut pas oublier que le terme aléatoire ne signifie pas arbitraire. En particulier, les intervieweurs ne choisissent pas arbitrairement les répondants parce que leur biais personnel aurait des répercussions sur l’échantillonnage. Le terme aléatoire signifie que la sélection n’est pas biaisée, c’est un tirage au sort. L’échantillonnage probabiliste ne permet pas à l’intervieweur de décider subjectivement qui doit être choisi.
Voici les 2 principaux critères de l’échantillonnage probabiliste : la sélection des unités est aléatoire, toutes les unités de la population de l’enquête ont une probabilité d’inclusion différente de zéro dans l’échantillon et il est possible de calculer ces probabilités. Il n’est pas nécessaire que toutes les unités aient la même probabilité d’inclusion et, en fait, dans les enquêtes les plus complexes, la probabilité d’inclusion varie d’une unité à l’autre. (p. 101)
L’échantillonnage non probabiliste est un moyen de sélectionner des unités d’une population à l’aide d’une méthode subjective (c-à-d. non aléatoire). Il n’est pas nécessaire d’avoir une base de sondage complète pour l’échantillonnage non probabiliste qui est donc un moyen rapide, facile et bon marché d’obtenir des données. L’échantillonnage non probabiliste pose un problème : il n’est pas évident qu’il est possible de généraliser et d’appliquer les résultats de l’échantillon à toute la population. La raison de cette constatation est que la sélection d’unités dans une population pour un échantillon non probabiliste peut donner des biais d’importance.
Étant donné le biais de sélection et (habituellement) l’absence de base de sondage, la probabilité d’inclusion d’une personne ne peut être calculée pour les échantillons non probabilistes et il est donc impossible de faire des estimations fiables ou des estimations de leur erreur d’échantillonnage. Il faut supposer que l’échantillon est représentatif de la population pour faire des inférences sur celle-ci. Il faut habituellement supposer que les caractéristiques de la population correspondent à un certain modèle ou qu’elles sont également ou aléatoirement réparties dans la population. C’est souvent dangereux à cause de la difficulté d’évaluer si oui ou non ces suppositions sont fondées.
Tous les cabinets de recherche doivent :
- énoncer clairement la définition du groupe cible (univers) utilisée pour la recherche; dans le cas des sondages en ligne, cela comprend une décision explicite à savoir si les utilisateurs qui ne sont pas des internautes font partie de la définition du groupe cible
- énoncer clairement la ou les méthodes employées pour obtenir un échantillon de ce groupe cible, en indiquant s'il s'agit d'un sondage probabiliste, non probabiliste ou d'un recensement.
- échantillon probabiliste : les répondants sont sélectionnés aléatoirement à partir de la population cible du sondage, et il est possible de calculer la probabilité d'inclusion de chacun d'eux. L'échantillonnage probabiliste est une méthode visant à obtenir un échantillon extrapolable à la population cible.
Voici quelques exemples :
- sondage téléphonique auprès des Canadiens réalisé au moyen de la composition aléatoire (CA)
- échantillonnage aléatoire à partir d’une liste de tous les membres de la population cible
- échantillonnage aléatoire à partir d’un groupe étant lui-même un échantillon probabiliste de la population cible
- interrogation au passage sur des sites Web que visite la population cible; les visiteurs sont aléatoirement choisis pour répondre au sondage
- échantillon non probabiliste : un échantillon qui ne répond pas aux exigences d'un échantillon probabiliste, c'est-à-dire, les répondants ne sont pas choisis de façon aléatoire à partir de la population cible du sondage, ou la probabilité d'inclusion de chaque répondant ne peut pas être calculée. Des mesures supplémentaires doivent être prises pour faire en sorte que les résultats d'un échantillon non probabiliste soient représentatifs de la population cible.
Voici quelques exemples :
- un échantillon sélectionné à partir d'un groupe de recherche composé de personnes se portant volontaire à se joindre au groupe et à répondre à des sondages. Veuillez noter qu'un échantillon choisi au moyen de méthodes probabilistes provenant de bases d'échantillonnage ayant été compilées au moyen d'une méthode non probabiliste est considéré comme un échantillon non probabiliste
- échantillonnage par quotas, dans le cadre duquel la sélection des répondants est fondée sur le jugement, la commodité ou un autre processus non aléatoire.
- Recensement : une tentative de recueillir des données auprès de tous les membres de la population cible. Veuillez noter qu'un recensement peut être sujet à d'autres types d'erreurs de sondage, à savoir des erreurs de couverture et des cas de non-réponse. Il est donc possible que l'ensemble de données final ne comprenne pas tous les membres de la population cible.
A1. Avez-vous des suggestions à formuler au sujet de la révision proposée de point 2 de la section 4.1?
Les enquêtes fondées sur un échantillonnage non probabiliste sont devenues plus répandues dans la recherche en marketing, surtout en raison de la croissance des panels à participation volontaire en ligne qui offrent des économies de coûts considérables par rapport aux échantillons d’un sondage téléphonique probabiliste. Les enquêtes de recherche sur l’opinion publique pour le gouvernement du Canada ont toujours généralement utilisé des échantillonnages probabilistes, mais l’utilisation des enquêtes non probabilistes pourrait augmenter si on a confiance qu’elles peuvent produire des résultats représentatifs de la population cible sondée.
L’objectif consiste à réviser les normes pour insister sur l’importance de viser la représentativité des enquêtes non probabilistes, et à expliquer dans la proposition la façon d’y arriver.
Les normes actuelles abordent cet objectif dans une certaine mesure, mais l’intention consiste à accroître le caractère explicite et détaillé de l’exigence.
La norme no. 1 Documents de propositions ne comprend aucun vocabulaire explicite sur l’importance d’augmenter au maximum la représentativité.
La norme 1.2.2 Échantillon et échantillonnage précise uniquement ce qui suit :
La norme 4.3.2 Échantillonnage non probabiliste
La norme 4.4 Échantillonnage par quotas
Les méthodes d’échantillonnage par quotas sont généralement utilisées pour les enquêtes par panel et les interrogations au passage afin d’assurer la représentativité des échantillons. Les quotas sont aussi employés pour contrôler la représentativité d’autres méthodes de collecte de données.
Le Pew Research a récemment publié 2 études Note de bas de page 31 portant sur les facteurs influençant la mesure dans laquelle les résultats d'une enquête non probabiliste peuvent être représentatifs Note de bas de page 32. Voici certaines observations au sujet de ses résultats :
Voici un extrait traduit du résumé du rapport de 2018 de Pew Research, For Weighting Online Opt-In Samples, What Matters Most? (Qu’est-ce qui compte le plus dans la pondération des échantillons à participation volontaire en ligne?)
Qu'est-ce qui compte le plus dans la pondération des échantillons à participation volontaire en ligne? Les bonnes variables font une différence considérable dans l'exactitude. Les méthodes statistiques complexes, pas tellement.
Une part croissante des sondages sont effectués au moyen d’échantillons à participation volontaire en ligne. Cette tendance a soulevé quelques préoccupations dans l’industrie parce que bien que les faibles taux de participation représentent un défi pour tous les sondages, la variété des sondages à participation volontaire en ligne rencontre d’autres obstacles. Par définition, ils ne tiennent pas compte de plus de 10 % des Étatsuniens qui n’utilisent pas l’Internet. Le fait que des répondants potentiels se portent volontaires signifie que le risque considérable que ces échantillons ne reflètent pas l’ensemble de la population subsiste. Pour contrebalancer ces difficultés, les chercheurs ont mis en pratique une variété de techniques statistiques, telles que le classement, la pondération de la propension et la correspondance, pour adapter les échantillons de façon à ce qu’ils correspondent davantage à la population relativement à l’ensemble des dimensions choisies. Les chercheurs travaillant avec des échantillons à participation volontaire en ligne doivent prendre un grand nombre de décisions quant à la pondération. Quels facteurs doivent orienter ces décisions? Lesquels ont le plus d’incidences sur la qualité des données?
Une nouvelle étude du Pew Research Center accroît les efforts plus généraux du domaine des enquêtes à éclairer ces questions. L’étude était fondée sur plus de 30 000 entrevues individuelles à participation volontaire en ligne réalisées en juin et en juillet 2016, avec l’aide de 3 fournisseurs, et ciblait les estimations nationales (plutôt qu’au niveau de l’état ou local). Nous avons évalué 3 techniques de pondération différentes, soit le classement, la pondération de la propension et la correspondance, individuellement ou de façon combinée. Chaque méthode a été appliquée au moyen de 2 ensembles de variables de correction, à savoir les données démographiques fondamentales (âge, sexe, race et origine ethnique, éducation et région géographique), et un ensemble plus détaillé comprenant à la fois des données démographiques et un ensemble de variables associées aux attitudes et à la participation politiques (inscription électorale, allégeance politique, idéologie et identification en tant que chrétien évangélique). Chaque procédure a été réalisée sur des échantillons simulés dont la taille variait de n=2 000 à n=8 000.
Les procédures ont d’abord été évaluées en fonction de la mesure dans laquelle elles réduisaient les biais concernant les estimations à partir de 24 questions de référence puisées dans des enquêtes fédérales de haute qualité. On a aussi comparé les procédures sur les plans de la variation des estimations pondérées, de l’exactitude parmi les sous-groupes démographiques, et de leurs effets sur un certain nombre de mesures des attitudes de l’opinion publique.
Voici certaines des constatations principales :
- même les procédures de correction les plus efficaces n'ont pas éliminé la majorité des biais
- L’étude mettait à l’essai une variété de corrections de la pondération élaborées aux enquêtes à participation volontaire en ligne dont la taille de l’échantillon pouvait atteindre 8 000 entrevues. Dans l’ensemble de ces scénarios, aucune des procédures évaluées n’a réduit le biais moyen estimé pour l’ensemble des 24 points de référence de plus de 6 points de pourcentage (en baisse par rapport à 8,4 points sans pondération). Ce résultat signifie que même les stratégies de correction les plus efficaces ont pu n’éliminer qu’environ 30 % des biais initiaux.
- en ce qui a trait à l'exactitude, le fait de choisir les bonnes variables à pondérer est plus important que de choisir la bonne méthode statistique
- Le fait d’avoir ajouté un ensemble de variables axées sur la politique à la correction de la pondération a réduit les biais moyens estimés de 1,4 point de pourcentage supplémentaire relativement à la correction des données démographiques fondamentales uniquement (p. ex., âge, éducation, ethnie). Bien que ce chiffre semble faible, une différence de 1,4 point dans la moyenne signifie qu’environ 36 points de pourcentage de biais ont été éliminés dans l’ensemble, mais répartis sur les 24 variables. Les points de référence les plus étroitement liés aux variables de correction en matière de politique ont connu les améliorations les plus importantes. Par opposition, l’utilisation de méthodes statistiques plus complexes n’a jamais permis de réduire le biais estimé moyen de plus de 0,3 point au-delà de ce qui a été atteint au moyen du classement, la méthode statistique la plus élémentaire évaluée.
- les avantages de l'ajout de variables politiques à la correction varient selon le sujet de l'enquête Note de bas de page 33
- On ne s’étonnera peut-être pas que les points de référence relatifs à la participation politique aient connu l’amélioration la plus importante avec l’ajout des variables de correction politique. Sans pondération, ces points de référence comportaient un biais moyen estimé de 22,3 points de pourcentage, plus que n’importe quel autre sujet. Bien que la pondération des données démographiques a réduit le biais moyen de 2,9 points en moyenne, les conséquences de l’ajout de variables de correction politique étaient 4 fois plus importantes, réduisant le biais de 11,7 points, et diminuant le biais moyen estimé de près de la moitié (à 10,6 points de pourcentage). Les points de référence se rapportant à la participation civile et à l’utilisation de la technologie ont aussi bénéficié des variables de correction politique de façon disproportionnée, quoique dans une plus faible mesure. Quant aux points de référence relatifs à la composition des familles et à d’autres caractéristiques personnelles, le choix des variables a eu peu de conséquences et s’est avéré quelque peu néfaste aux questions relatives aux finances personnelles.
- la méthode de pondération la plus élémentaire (classement) offre un rendement presque aussi élevé que des techniques plus élaborées fondées sur la correspondance
- Lorsque les variables autant démographiques que politiques sont pondérées, les méthodes fondées sur la correspondance ont donné lieu au biais moyen le plus faible dans l’ensemble des 24 points de référence, peu importe si elles étaient combinées au classement pour des tailles d’échantillon plus faible (n = moins de 4 000) ou individuelles lorsque la taille de l’échantillon était plus élevée. Malgré tout, les procédures qui n’ont employé que le classement (la méthode la moins complexe évaluée) ont offert un rendement presque qu’aussi élevé, arrivant entre 0,1 et 0,3 point derrière la méthode la plus efficace, selon la taille de l’échantillon. Quant aux points de référence relatifs à la participation politique, les avantages d’une approche plus complexe sont un peu plus importants que pour d’autres sujets, marquant entre 0,5 et 1,2 point de plus que le classement selon la taille de l’échantillon, mais loin de l’ampleur de l’amélioration provenant de la pondération fondée sur les variables politiques en plus des données démographiques. Si les données essentielles à la correspondance sont facilement accessibles et que le processus devient courant, il est possible qu’une combinaison de correspondance et d’autres méthodes comme le classement s’avère valable, apportant des améliorations graduelles, mais réelles. Dans d’autres cas, les travaux statistiques supplémentaires requis pour obtenir de telles améliorations marginales pourraient ne pas valoir la peine.
- les échantillons de taille considérable ne comblent pas les lacunes relatives aux échantillons à participation volontaire en ligne
- Même si une enquête à participation volontaire en ligne de 8 000 entrevues peut sembler plus remarquable qu’une enquête qui en compte 2 000, cette étude ne révèle presque aucune différence en matière d’exactitude. Lorsque les variables démographiques et politiques sont corrigées, la procédure la plus efficace à n=8 000 n’a obtenu que 0,2 point de plus que la procédure la plus efficace à n=2 000. Bien qu’une taille d’échantillon imposante puisse réduire la variation des estimations (c-à-d., la marge d’erreur modélisée), elle est très peu utile d’un point de vue d’« erreur d’enquête totale ». Par exemple, pour le classement des variables démographiques et politiques, la marge d’erreur modélisée moyenne dans l’ensemble des 24 variables de référence s’élève à ±1,8 point de pourcentage lorsque n=2 000 et à ±0,5 point lorsque n=8 000, mais le biais moyen se maintient à 6,3 points. À mesure que s’accroît la taille de l’échantillon, les estimations deviennent moins dispersées et plus étroitement groupées. Elles sont par contre souvent plus étroitement groupées autour de la mauvaise valeur (biaisée).
Les procédures de pondération mises à l’essai dans le présent rapport ne représentent qu’une infime partie des nombreuses approches de la pondération des données d’enquête à participation volontaire. Il existe une multitude de façons d’appliquer la pondération relative à la correspondance et à la propension, ainsi qu’une variété d’options de rechange semblables au classement (collectivement connues sous le nom de méthodes de calibration). De plus, nous n’avons pas évalué de méthodes comme la régression multiniveaux et la stratification a posteriori, qui nécessitent un modèle statistique distinct pour chaque variable des résultats. Si nous ajoutons à ces méthodes les combinaisons innombrables de variables qu’il est possible d’utiliser plutôt que celles étudiées ici, il est évident qu’il ne manque de protocoles de rechange qui auraient pu produire différents résultats.
Toutefois, peu importe la méthode retenue, il faut utiliser les bonnes variables de correction pour corriger avec succès les biais dans les échantillons à participation volontaire. De plus, en ce qui a trait à bon nombre des domaines examinés ici, les « bonnes » variables de correction comprennent plus que l’ensemble de données démographiques fondamentales standard. Bien qu’il puisse y avoir des avantages réels, mais graduels, découlant de l’utilisation de méthodes plus sophistiquées pour produire des estimations d’enquête, le fait qu’il n’y avait presque aucune différence entre les méthodes lorsque seules les données démographiques étaient utilisées signifie que l’utilisation de telles méthodes ne doit pas servir d’indicateur d’exactitude de l’enquête en soi. Un examen minutieux des facteurs qui différencient l’échantillon de la population et de leur lien au domaine de l’enquête est beaucoup plus important.
On propose de réviser la section 1 documents de propositions et la section 4 procédures d’échantillonnage. Le texte en brun constitue les éléments nouveaux ou révisés.
- Fournir des détails sur la population cible :
- la description de la population cible, c’est-à-dire ses caractéristiques particulières et son étendue géographique, y compris l’incidence supposée de la population et de tout sous-groupe principal, et comment l’incidence en a été déterminée/obtenue (p. ex., fournie par le client)
- la taille de l’échantillon total et la taille de tout sous-groupe principal
- Décrire les procédures d'échantillonnage, notamment :
- la source de l’échantillon
- le cadre d’échantillonnage
- le fait qu’un sondage par échantillonnage ou une enquête exhaustive sera réalisé et, dans le cas d’un sondage par échantillonnage, si on aura recours à un échantillonnage probabiliste ou non probabiliste (voir la section 4
- Décrire la procédure de sélection des répondants
- Indiquer le nombre de rappels et décrire les procédures utilisées
- Définir les critères d’admissibilité ou de présélection des répondants, y compris les contrôles de quotas
- Pour ce qui est des échantillons non probabilistes, fournir les raisons de ce choix.
Remarque : cette proposition comprend l’élimination de la section 4.4 échantillonnage par quotas, et le déplacement du contenu pertinent à la section 4.3 échantillonnage non probabiliste :
À titre de référence, la section 4.4 échantillonnage par quotas est la suivante :
Les méthodes d’échantillonnage par quotas sont généralement utilisées pour les enquêtes par panel et les interrogations au passage afin d’assurer la représentativité des échantillons. Les quotas sont aussi employés pour contrôler la représentativité d’autres méthodes de collecte de données.
4.3. Échantillonnage non probabiliste
4.3.1. Justification du recours à des échantillons non probabilistes
1) Lorsqu'on a recours à un échantillon non probabiliste, ce choix doit être justifié dans la proposition de projet et le rapport de recherche. La justification doit tenir compte des limites statistiques imposées par des données tirées d'un échantillon non probabiliste et des limites quant à la généralisation des résultats à la population cible.
4.3.2. Échantillonnage non probabiliste
- Comme pour l’échantillonnage probabiliste, il faut faire état de la liste ou de la source de l’échantillon, y compris ses limites dans la couverture de l’univers de l’échantillon cible.
- contrôles de la composition des échantillons dans le but de maximiser la représentativité, comme l’échantillonnage par quotas
- pondération
- Il faut donner une description complète des variables régionales, démographiques et autres variables discriminantes utilisées pour maximiser la représentativité de l'échantillon et des résultats de l'enquête. Au moment de choisir les variables, il faut également tenir compte de leur corrélation possible avec les mesures principales du sondage (les variables de correction qui ne sont pas corrélées avec les mesures du sondage n'aideront pas à améliorer la représentativité). Les variables sur les attitudes et les comportements peuvent aussi accroître la représentativité, pourvu qu'il existe des points de référence pertinents et de haute qualité liés à la population cible.
- Les cibles précises des contrôles de quotas et les critères de sélection doivent également être indiqués, y compris la source de ces cibles (p. ex., les données du recensement ou d’autres sources de données de
- Le rapport doit faire état des écarts par rapport aux cibles (c-à-d. les chiffres réels comparés aux cibles).
La question qui se pose vise à savoir ce qui peut et doit être fait concernant le traitement statistique des enquêtes non probabilistes.
Les normes actuelles se trouvent à la section 4.3.3 traitement statistique des échantillons non probabilistes. Veuillez noter que cette section vient après les normes se rapportant à la justification du recours à un échantillon non probabiliste (4.3.1), et des obligations de divulgation de renseignements et de l’optimisation de la représentativité (section 4.3.2, qui était l’objet de la question précédente adressée au comité).
- On ne peut parler de marges d’erreur d’échantillonnage sur les estimations de la population dans le cas d’échantillons non probabilistes.
- Le rapport d’enquête doit contenir un énoncé portant sur les raisons pour lesquelles l’absence de marge d’erreur d’échantillonnage est rapportée en se fondant sur l’énoncé suivant : « Les répondants à ce sondage ont été recensés parmi ceux [qui se sont portés volontaires ou se sont inscrits pour participer] au sondage en ligne. Les résultats de tels sondages ne peuvent être décrits comme statistiquement extrapolables à la population cible. [S’il y a eu pondération, ajouter l’énoncé suivant :] Les données ont fait l’objet d’une pondération afin de représenter la composition démographique de (la population cible). Étant donné que l’échantillon est basé sur les personnes qui se sont d’abord portées volontaires pour participer [au panel], on ne peut donner d’estimation des erreurs d’échantillonnage ». Cet énoncé doit être mis en évidence dans les descriptions de la méthode qui se trouvent dans le rapport d'enquête, y compris le sommaire.
- En général, dans le cas de sondages non probabilistes, il n'est pas pertinent d'avoir recours à des tests de signification statistique. Cependant, les tests de signification statistique avec des échantillons non probabilistes sont appropriés lorsque l'objectif est d'établir l'étendue de la relation entre les variables. Si des tests de signification statistique sont utilisés avec des échantillons non probabilistes, il importe de noter que les conclusions tirées de ces tests ne peuvent être appliquées de façon générale à aucune population. Dans toute utilisation de statistiques descriptives, on doit indiquer clairement qu’elles ne sont applicables qu’à l’échantillon faisant l’objet de l’étude et qu’elles ne peuvent être généralisées, et que l’échantillon ne peut en aucun cas représenter, par inférence, une population plus importante. Dans le cas des sondages non probabilistes comportant un aspect expérimental où des répondants sont aléatoirement affectés à des cellules différentes, on peut faire appel à des tests de signification statistique pour comparer les résultats obtenus des différentes cellules.
Les normes de la section 4.3.3 concordent avec les normes ARIM, quoique plus détaillées que ces dernières (veuillez noter qu'elles s'appliquent aux résultats de recherche en général, et non uniquement aux échantillons non probabilistes) Note de bas de page 34
Code de déontologie de l'ARIM
« Les chercheurs ne doivent pas présenter de résultats de recherche avec une plus grande confiance que ce que les données indiquent. Plutôt, comme professionnels responsables, les membres doivent indiquer les limites pertinentes de la recherche, ce qui comprend, sans toutefois s’y limiter, les lignes directrices suivantes :
- dévoiler les sources d’erreurs pertinentes possibles, d’échantillonnage ou non (p. ex., réponse, absence de réponse, mesure, couverture, et ainsi de suite)
- énoncer clairement les hypothèses avancées au sujet de l’exactitude des données au moment d’avoir recours à des méthodes par quotas ou par stratification comportant des échantillons probabilistes
- s’abstenir de faire des déclarations sans réserve concernant les intervalles de confiance ou les marges d’erreur d’échantillonnage des estimations de population lorsque des échantillons probabilistes ne sont pas utilisés. Par exemple, les groupes de volontaires récurrents ne seront généralement pas admissibles comme sources d’échantillons probabilistes de la population générale. » [Traduction]
Jusqu’en 2015, l’American Association for Public Opinion Research (AAPOR) a adopté une position semblable. Toutefois, en 2015, l’AAPOR a révisé son Code of Professional Ethics and Practices (Code d’éthique et de pratiques professionnelles) pour permettre la production de rapports sur les mesures de précision des échantillons non probabilistes.
Le changement a apparemment été motivé en partie par le rapport de l’AAPOR de 2013 Task Force on Non-probability Sampling (Groupe de travail sur l’échantillonnage non probabiliste) qui indiquait ce qui suit :
Nous croyons qu’il faut encourager ceux qui ont recours à des échantillons non probabilistes à faire état des mesures de précision de leurs estimations, mais suggérons qu’afin d’éviter toute confusion, l’ensemble des conditions doit se distinguer de celles actuellement employées dans le cadre de sondage d’échantillons probabilistes. La précision des estimations provenant d’échantillons non probabilistes ne constitue pas l’écart moyen de tous les échantillons possibles, mais plutôt une mesure de l’écart fondé sur un modèle provenant de la valeur de la population. Par exemple, Ipsos a proposé l’intervalle de crédibilité (Ipsos, 2012) pour ses estimations découlant d’une enquête par panel à participation volontaire. Comme indiqué à la section 6, l’intervalle de crédibilité est la mesure de l’incertitude employée dans les méthodes de Bayes, et Ipsos a décrit ses procédures comme étant des procédures bayésiennes. D’autres approches fondées sur un modèle produisent des estimations telles que les erreurs types qu’il est possible d’utiliser et ne renvoient pas à la moyenne de tous les échantillons possibles (la terminologie admise pour les conclusions fondées sur la conception utilisée dans les échantillons probabilistes).
Bien que la base de recherche n’existe pas dans le but d’appuyer cette mesure particulière ni d’insister sur son adoption dans l’ensemble de l’industrie, nous croyons que l’industrie nécessite des tentatives constructives d’élaboration de mesures qui comblent les écarts créés par l’inadéquation du calcul des marges d’erreur types au moyen d’échantillons non probabilistes. Le fait de traiter les estimations comme si elles ne comportaient aucune erreur du tout ne constitue pas une option raisonnable. À ce stade, il appartient aux chercheurs individuels de juger de l’utilité de cette mesure particulière. De tels jugements ne sont possibles que lorsque les organisations qui les utilisent divulguent l’intégralité des renseignements indiqués dans le Code of Professional Ethics and Practice de l’AAPOR accompagnés d’une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées, et les mesures calculées.
La section concernée du Code of Professional Ethics and Practice de l'AAPOR va désormais comme suit :
III. Standards for disclosure
A. Points à divulguer des enquêtes
10. Taille des échantillons (par cadre d'échantillonnage si plus d'un a été employé) et discussion concernant la précision des constatations.
En ce qui concerne les échantillons probabilistes, les estimations des erreurs d'échantillonnage seront déclarées et la discussion indiquera si les marges d'erreur d'échantillonnages ou les analyses statistiques déclarées ont été corrigées ou non en vue de l'effet du plan de sondage en raison de la pondération, du regroupement ou d'autres facteurs.
Les exigences de divulgation des échantillons non probabilistes sont différentes puisque la précision des estimations découlant de tels échantillons constitue une mesure fondée sur un modèle (plutôt que l'écart moyen de la valeur de la population de tous les échantillons possibles). Les rapports d'échantillons non probabilistes n'offriront que les mesures de précision si elles sont accompagnées d'une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées et les mesures calculées. Pour éviter la confusion, il vaut mieux employer le terme « marge d'erreur » ou « marge d'erreur d'échantillonnage » en association avec les échantillons non probabilistes. [Traduction]
L’AAPOR a publié des directives détaillées dans AAPOR Guidance on Reporting Precision for Nonprobability Samples (Directives de l’AAPOR sur la déclaration de la précision des échantillons non probabiliste, dont une copie a été transmise au comité consultatif) :
Veuillez noter que la norme 4.3.3 actuelle peut être interprétée comme n’autorisant pas de méthodes d’inférence statistiques de rechange comme les intervalles de crédibilité bayésiens. Cette norme est fondée sur la phrase au point 3 de la section 4.3.3 qui dit : Dans toute utilisation de statistiques descriptives, on doit indiquer clairement qu'elles ne sont applicables qu'à l'échantillon faisant l'objet de l'étude et qu'elles ne peuvent être généralisées, et que l'échantillon ne peut en aucun cas représenter, par inférence, une population plus importante.
Veuillez noter que les lignes directrices de l’ARIM n’interdisent pas le recours aux intervalles de crédibilité bayésiens, puisque la formulation employée renvoie seulement à la marge d’erreur d’échantillonnage. Les intervalles de crédibilité bayésiens ne constituent pas une marge d’erreur d’échantillonnage. Les lignes directrices de l’ARIM n’abordent pas l’utilisation des intervalles de crédibilité bayésiens.
L'objectif consiste à mettre à jour et à préciser la section 4.3.3 concernant le recours à des mesures statistiques pour des échantillons non probabilistes.
Veuillez noter que la section 4.3.3 doit être examinée en fonction du contexte de la discussion en 4.1 et 4.3.2, où les révisions associées à l’échantillonnage non probabiliste font l’objet d’une discussion.
Il existe 2 options de révision de la section 4.3.3 :
La proposition détaillée ci-dessous est rédigée pour l'option 2. Veuillez par contre noter que certaines des révisions s'appliqueraient tout autant à l'option 1. La différence principale se trouve au point 3 de la section 4.3.3.
- On ne peut pas parler de marges d'erreur d'échantillonnage sur les estimations de la population dans le cas d'échantillons non probabilistes.
- Le rapport d'enquête doit contenir un énoncé portant sur les raisons pour lesquelles l'absence de marge d'erreur d'échantillonnage est rapportée en se fondant sur l'énoncé suivant : « Les répondants à ce sondage ont été recensés
- Pour certaines enquêtes (p. ex., exploratoires, recherche interne), l'estimation de la précision peut ne pas être essentielle aux objectifs de recherche. Pour d'autres, les mesures de précision peuvent être pertinentes, mais le chercheur peut ne pas avoir les ressources statistiques pour les calculer. Il est acceptable pour les chercheurs travaillant avec des échantillons non probabilistes de refuser de déclarer une estimation de la précision. Dans de tels cas, le rapport doit indiquer que les estimations de l'enquête varient, mais qu'on n'a pas tenté de quantifier la taille.
- Si on a recours à une autre mesure statistique de précision telle que les intervalles de crédibilité bayésiens :
- facultatif : Les mesures de rechange suivantes sont acceptées :
- intervalles de crédibilité bayésiens
- approches de ré-échantillonnage
- linéarisation par série de Taylor
- la mesure statistique de précision qui sera employée doit être énoncée dans le projet de recherche, et accompagnée d'une justification et d'une brève description
- le rapport d'enquête doit fournir les renseignements suivants :
- une description détaillée de la façon dont le modèle sous-jacent a été précisé, ses hypothèses confirmées et les mesures calculées. Consulter le document de l'AAPOR Guidance on Reporting Precision for Nonprobability Samples pour connaître les renseignements à fournir, ainsi qu'un exemple de type d'énoncé à formuler dans le rapport.
- une hypothèse clé est que les résultats de l'enquête ne sont pas biaisés. Cette hypothèse doit être clairement indiquée et accompagnée de toutes ses limites (voir la section 4.3.1).
- une explication de la façon de comprendre la mesure de précision
- le cas échéant, la façon dont les tests de signification statistique des différences ou des relations fondées sur la méthode de rechange doivent être compris
La DROP a reçu une rétroaction de l’industrie concernant la partie des normes indiquant que le traitement statistique des résultats d’un recensement peut ne pas être exact.
Le passage s’y rapportant se trouve à la section 4.6 enquêtes exhaustives ou recensements. Le passage suivant est une version abrogée de la section 4.6 :
Dans le cas d’un recensement, on tente de recueillir des données auprès de l’ensemble des membres d’une population. Par exemple, une organisation peut vouloir effectuer un sondage auprès de l’ensemble de ses employés. Dans ce cas, la population est formée de « tous les employés de l’organisation », ce qui peut passer pour une enquête exhaustive, ou recensement, si tous les employés sont invités à participer.
La liste utilisée pour contacter tous les membres de la population cible et les inviter à participer à l'enquête doit être clairement décrite, y compris toute limitation ou exclusion dans la représentation de l'échantillon cible. Lorsque c'est possible, une estimation du pourcentage de la population qui est exclue de la liste doit être fournie, tout comme les répercussions potentielles de cette exclusion sur les résultats de l'enquête qui seront pris en considération […]
- Le nombre de tentatives de relance et les procédures s’y rattachant doivent être énoncés.
- Ne pas énoncer de marge d’erreur d’échantillonnage, puisque cela ne s’applique pas à un recensement parce qu’aucun échantillon n’est sélectionné. Le rapport d'enquête doit contenir un énoncé expliquant pourquoi aucune marge d'erreur d'échantillonnage n'est signalée, selon le modèle suivant : « Étant donné que tous les membres de la [population cible] ont été invités à prendre part à cette enquête, aucune marge d'erreur d'échantillonnage ne doit être évaluée ou signalée. L'incidence potentielle des erreurs de non-échantillonnage découlant de la non-réponse est énoncée dans la portion du rapport traitant des résultats. [Si une pondération a été effectuée, inclure la phrase suivante au sujet de la pondération :] Les données ont été pondérées de façon à représenter la composition [de la population cible (si elle est connue) ou du cadre d'échantillonnage (p. ex., liste fournie par le client)] à l'égard des principales caractéristiques connues »
La rétroaction indiquait que l'énoncé no 2 ne concorde pas avec l'énoncé no 1 : « En reprenant le raisonnement, un sous-groupe du recensement constituerait tout de même un recensement du sous-groupe. Les tests de signification statistique ne seraient appropriés que pour les échantillons aléatoires du recensement ».
D1.1 Les 2 énoncés à la section 4.6 enquêtes exhaustives ou recensements concernant le traitement statistique des résultats sont-ils incohérents? C’est-à-dire :
D2.1 Dans un recensement, une tentative est faite pour communiquer avec chaque individu dans la population (assujettie à une erreur de couverture). Cependant, il est rare qu’une entrevue ait lieu lors de chaque tentative de contact, c’est-à-dire que le taux de réponse sera généralement inférieur à 100 %.
Est-ce qu’une enquête exhaustive cesse d’être un recensement ou une tentative de recensement si le taux de réponse est inférieur à un certain niveau?
Si c’est le cas, quel est le seuil du taux de réponse numérique à inscrire dans les normes? Et si le taux de réponse est inférieur au seuil, est-ce que la « marge d’erreur d’échantillonnage » est prise en compte dans le calcul des intervalles de confiance et des tests de signification statistique? Ou, est-ce qu’une autre mesure de précision statistique est utilisée?
La DROP aimerait que le comité consultatif examine les points soulevés dans un court article de Robert Peterson au titre provocateur It’s time for pollsters to report margins of error more honestly (Il est temps que les enquêteurs déclarent les marges d’erreur de façon plus honnête). Une copie a été envoyée aux membres du comité.
L’article énumère les problèmes suivants concernant les pratiques actuelles :
L'article énumère les types suivants de solutions à ces problèmes :
La norme 14.7 (en ligne) et 15.7 (par téléphone) aborde un des points de l'article, soit celui selon lequel la marge d'erreur d'échantillonnage varie selon le pourcentage observé :
14.7 et 15.7. Exigences obligatoires relatives au rapport d'enquête; résultats
2) Dans le cas d'échantillons probabilistes, indiquer le niveau de précision, y compris la marge d'erreur et l'intervalle de confiance pour l'échantillon total et tout sous-groupe principal.
La révision proposée du point 2 des sections 14.7 et 15.7 ajoute une exigence selon laquelle il faut indiquer la façon dont la marge d'erreur d'échantillonnage varie entre différents pourcentages observés. Elle ne tient pas compte de tous les problèmes soulevés dans l'article de Peterson et n'accueille pas non plus les solutions recommandées (comme nous les comprenons).
Sections 14.7 et 15.7 modifiées. Exigences obligatoires relatives au rapport d'enquête; résultats
1) Dans le cas des échantillons probabilistes, indiquer le niveau de précision, y compris la marge d'erreur et l'intervalle de confiance pour l'échantillon total et tout sous-groupe principal, ainsi que pour le choix de différentes valeurs de pourcentage couvrant la gamme de pourcentages apparaissant dans le rapport.
E1. Croyez-vous que les normes doivent être révisées de façon à aborder les problèmes soulevés dans l’article It’s time for pollsters to report margins of error more honestly de Peterson? Si tel est le cas, quels problèmes vaudrait-il mieux aborder dans les normes? Que pensez-vous des révisions proposées aux sections 14.7 (en ligne) et 15.7 (par téléphone), qui nécessiteraient désormais un niveau de déclaration des précisions tant pour une gamme de tailles d’échantillon que pour les pourcentages observés?
Les normes actuelles comprennent les obligations suivantes concernant les documents de propositions lorsqu'on a recours à un fournisseur d'échantillons en ligne :
3) Dans le cas des panels élargis, il faut fournir la description des éléments suivants, à tout le moins (lorsque plusieurs panels sont utilisés, l'information doit être fournie pour chacun d'eux) :
- la taille du panel actif (fournir une définition du terme « actif »)
- le recrutement des membres du panel
- la supervision du panel
- la gestion de la composition du panel
- la mise à jour de la composition du panel
L'objectif consiste à mettre à jour et à réviser cette norme, y compris :
Veuillez noter que les normes comprennent d'autres sections pertinentes, notamment la :
L’intention n’est pas de dupliquer les normes dans ces domaines. Par conséquent, l’attention ici est dirigée particulièrement sur d’autres exigences en matière de documents de propositions lorsqu’on a recours à un fournisseur d’échantillons en ligne qui fournira les échantillons au moyen d’un panel élargi ou de l’interrogation au passage.
En 2008, le comité consultatif sur la qualité des sondages d’opinion publique en ligne a recommandé un certain nombre de normes et de directives se rapportant aux panels élargis. Dans la plupart des cas, elles n’ont pas été intégrées aux normes de sondages en ligne. Toutefois, la DROP a demandé à ce que le comité actuel examine si certains éléments des recommandations précédentes devraient être intégrés aux normes de sondages en ligne mises à jour. La section pertinente du rapport du comité précédent est fournie.
Voici certaines références que nous pouvons envoyer sur demande :
Veuillez noter que la révision proposée ci-dessous divise le point 3 actuel en 2 sections, désormais numérotées 3 et 4, afin d'aborder les panels probabilistes et les sources non probabilistes.
- la façon dont le panel est composé et conservé afin qu’il constitue un échantillon probabiliste
- la façon dont un échantillon probabiliste de la population cible de l’enquête sera tiré du panel
- si les répondants sont choisis ou non à partir de plus d’un panel. Si on a recours à plus d’un panel, fournir les renseignements suivants :
- l'identité des autres panels
- si chacun des autres panels est ou non un panel fondé sur un échantillon probabiliste. Si l'échantillon comprend des répondants provenant d'échantillons non probabilistes, alors l'échantillon dans son ensemble est non probabiliste.
- les raisons pour lesquelles l'échantillon a été puisé dans plus d'un panel (p. ex., obtenir la taille souhaitée de l'échantillon de l'enquête, assurer une meilleure couverture de la population cible)
- les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d'un des panels ne reçoivent pas le sondage plus d'une fois
- Les incitatifs ou les récompenses qu'on offre aux répondants participant à l'enquête. Ceux-ci doivent faire l'objet d'un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d'y participer, ce qui pourrait biaiser l'échantillon
4)
- si on a recours à un panel, il faut indiquer la taille du panel actif (fournir une définition du terme « actif »), et, dans la mesure du possible, la taille du panel actif correspondant à la population cible de l'enquête. La taille du panel doit être suffisante pour garantir une forte probabilité que la cible de la taille de l'échantillon des questionnaires remplis viables puisse être atteinte, en prenant en considération des facteurs comme le taux de réponse probable, les règles d'exclusion relatives à la participation à des enquêtes antérieures et la réduction de l'échantillon découlant de l'élimination de données
- si on a recours à un panel, il faut indiquer si les répondants seront sélectionnés à partir de plus d'un panel. Si plus d'un panel est utilisé, veuillez fournir les renseignements suivants :
- l’identité des autres panels
- les raisons pour lesquelles l’échantillon a été puisé dans plus d’un panel (p. ex., obtenir la taille souhaitée de l’échantillon de l’enquête, assurer une meilleure couverture de la population cible, réduire le risque de biais)
- les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d’un des panels ne reçoivent pas le sondage plus d’une fois
- si on a recours à un panel, décrire les sources de recrutement utilisées pour constituer le panel sur une base permanente, et, dans la mesure du possible, les renseignements sur la proportion de participants provenant de chaque source. L'objectif consiste à s'assurer de représenter la diversité de la population de l'enquête, non seulement sur le plan démographique, mais aussi sur le plan des attitudes et des comportements pertinents. À cet égard, il vaut peut-être mieux d'avoir recours à un grand nombre de sources variées pour réduire le risque de biais
- si on a recours à un routeur pour sélectionner les répondants, les mesures prises pour éviter ou limiter tout biais pouvant découler de l'utilisation d'un routeur. n routeur est un système en ligne qui filtre les répondants éventuels et assigne à chaque personne l'un des multiples sondages menés simultanément. Les routeurs sont importants pour mener efficacement de multiples sondages.Toutefois, le fait de diriger de façon systématique des personnes possédant certaines caractéristiques vers d'autres sondages risque de biaiser le profil des personnes dirigées vers votre sondage.
- si des données de profils d'un panel sont utilisées pour organiser l'échantillon ou mener des analyses clés, et que ces mesures ne sont pas confirmées en réévaluant les caractéristiques dans le questionnaire, fournir des renseignements sur les processus de validation du panel pour veiller à ce que les renseignements soient exacts et à jour. Les données du profil des participants au panel peuvent être très utiles à l'organisation d'un échantillon. Toutefois, une bonne pratique consiste à vérifier ces données en réévaluant les caractéristiques dans le questionnaire de sondage
- les incitatifs ou les récompenses qu'on offre aux répondants pour avoir participé au sondage. Ceux-ci doivent faire l'objet d'un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d'y participer, ce qui pourrait biaiser l'échantillon.
Comme indiqué au début de la présente section, l'objectif consiste à mettre à jour et à réviser le point 3 de la norme 1.2.4 des Documents de propositions en mettant l'accent sur les échantillons non probabilistes obtenus auprès d'un fournisseur d'échantillons en ligne. Voici certains des critères qui s'appliquent :
À cette liste de critères, nous ajoutons aussi le terme « simplicité »; des formulations plus simples et plus concises sont préférables pourvu qu’elles respectent les objectifs visant à être clairs et utiles.
La DROP a demandé au comité de s’appuyer sur 3 listes distinctes relatives aux documents de propositions requis au moment de suggérer des exigences concernant les échantillons non probabilistes obtenus auprès d’un fournisseur d’échantillons en ligne :
Les pages suivantes indiquent les directives des 3 sources. Comme vous le voyez, leur longueur et leur complexité diffèrent.
Comme indiqué ci-dessus, la DROP a aussi demandé au comité de tenir compte des suggestions du comité consultatif sur la qualité des sondages d’opinion publique ci-dessus. L’extrait concerné a été envoyé de façon distincte au comité.
F3. Si vous portez une attention particulière aux échantillons non probabilistes obtenus auprès d’un fournisseur d’échantillons en ligne : ceci est compliqué, mais nous vous demandons d’essayer. Veuillez recommander des révisions au point 3 de la section 1.2.4 concernant les échantillons non probabilistes. La mise en contexte soulève quelques options de rechange à partir desquelles choisir (norme actuelle, ESOMAR, révision proposée du point 4 de la section 1.2.4, suggestions du comité consultatif sur la qualité des sondages d’opinion publique de 2008). Voici les critères qu’il faut appliquer :
- 3) Dans le cas des panels élargis, il faut fournir la description des éléments suivants, à tout le moins (lorsque plusieurs panels sont utilisés, l'information doit être fournie pour chacun d'eux) :
Formulation actuelle de la section 1.2.4
Online Research d'ESOMAR (pages 18 à 19)
- des détails sur la sélection de l’échantillon et la description du cadre d’échantillonnage ainsi que la mesure dans laquelle l’échantillon tient compte de la population cible qu’il est censé représenter
- les mesures prises pour valider les sources d’échantillon
- les procédures utilisées pour « intégrer » les participants éventuels aux panels
- les procédures de nettoyage et de mise à jour
- toute surveillance de la réalisation du sondage ou des contrôles de la qualité pour réduire au minimum la suffisance ou la fraude, et les mesures prises si l’on découvre un tel comportement (La section 7.8 des normes aborde la suffisance
- La question consiste à déterminer si elle doit également être adressée à la Section 1, Documents de propositions.)
- l’intégration de nouvelles sources
- toutes les procédures en place pour maximiser l’uniformité des échantillons à des fins de suivi des projets
Révision proposée au point 4 de la section (non probabiliste)
- si on a recours à un panel, il faut la taille du panel actif (fournir une définition du terme « actif »), et, dans la mesure du possible, la taille du panel actif correspondant à la population cible de l'enquête. La taille du panel doit être suffisante pour garantir la forte probabilité que la cible de la taille de l'échantillon des questionnaires remplis viables puisse être atteinte, en considérant comme probables le taux de réponse, les règles d'exclusion faisant intervenir la participation à d'anciennes enquêtes et la réduction de l'échantillon découlant de l'élimination de données.
- si on a recours à un panel, il faut indiquer si les répondants seront sélectionnés à partir de plus d'un panel. Si plus d'un panel est utilisé, veuillez fournir les renseignements suivants :
- l’identité des autres panels
- les raisons pour lesquelles l’échantillon a été puisé dans plus d’un panel (p. ex., obtenir la taille souhaitée de l’échantillon de l’enquête, assurer une meilleure couverture de la population cible, réduire le risque de biais)
- les mesures à prendre pour veiller à ce que les personnes faisant partie de plus d’un des panels ne reçoivent pas le sondage plus d’une fois
- si on a recours à un panel, décrire les sources de recrutement utilisées pour constituer le panel sur une base permanente, et, dans la mesure du possible, les renseignements sur la proportion de participants provenant de chaque source. L'objectif consiste à s'assurer de représenter la diversité de la population de l'enquête, non seulement sur le plan démographique, mais aussi sur le plan des attitudes et des comportements pertinents. À cet égard, il vaut peut-être mieux d'avoir recours à un grand nombre de sources variées pour réduire le risque de biais.
- si on a recours à un routeur pour sélectionner les répondants, les mesures prises pour éviter ou limiter tout biais pouvant découler de l'utilisation d'un routeur. Un routeur est un système en ligne qui filtre les répondants éventuels et assigne à chaque personne l'un des multiples sondages menés simultanément. Les routeurs sont importants pour mener efficacement de multiples sondages. Toutefois, le fait de diriger de façon systématique des personnes possédant certaines caractéristiques vers d'autres sondages risque de biaiser le profil des personnes dirigées vers votre sondage.
- si des données de profils d'un panel sont utilisées pour organiser l'échantillon ou mener des analyses clés, et que ces mesures ne sont pas confirmées en réévaluant les caractéristiques dans le questionnaire, fournir des renseignements sur les processus de validation du panel pour veiller à ce que les renseignements soient exacts et à jour. Les données du profil des participants au panel peuvent être très utiles à l'organisation d'un échantillon. Toutefois, une bonne pratique consiste à vérifier ces données en réévaluant les caractéristiques dans le questionnaire de sondage.
- si le sondage est une étude de suivi, les mesures qui seront prises pour assurer la comparabilité de l'échantillon avec des vagues précédentes de l'étude de suivi
- les incitatifs ou les récompenses qu'on offre aux répondants pour avoir participé au sondage. Ceux-ci doivent faire l'objet d'un examen pour éviter le risque que certains types de personnes participent au sondage ou évitent d'y participer, ce qui pourrait biaiser l'échantillon.
- 1) Le fournisseur du groupe de discussion devra, en collaboration avec le client, mettre en œuvre des procédures afin de déceler et d'exclure les membres du panel ou les répondants qui commettent de la fraude ou qui ne sont pas attentifs, en ayant soin de consigner les procédures et les mesures qui ont été adoptées.
Au point 3 de la section 2.1 des normes sur les sondages en ligne et téléphoniques fournit les questions requises qui doivent être posées dans tous les sondages réalisés auprès de personnes, « à moins que de bonnes raisons soient présentées selon lesquelles les objectifs de recherche sont mieux servis par l'exclusion d'une ou de plusieurs de ces questions » (il y a également une exclusion pour la recherche interentreprises lorsque l'unité d'analyse correspond à l'organisation).
Au point 3 de la section 2.3 stipule ce qui suit :
Le libellé de chaque question doit être tel qu'il est fourni ci-dessous, sauf si de bonnes raisons sont présentées selon lesquelles certains objectifs de recherche en justifient la modification. Même dans ces circonstances exceptionnelles, les termes utilisés ou les catégories appliquées pour recueillir des réponses (p. ex., pour le revenu familial) doivent être ceux qui sont fournis ci-dessous.
Au point 3 de la section 2.3 stipule la justification suivante pour ces questions requises :
Les données découlant des questions sur l'âge, l'éducation et la langue (ainsi que l'enregistrement de l'information sur l'emplacement géographique et le sexe des répondants) permettent d'établir des comparaisons avec les données de recensement de Statistique Canada, aux fins de l'analyse en cas de non-réponse. Les données, y compris celles qui proviennent des questions sur l'emploi et le revenu, facilitent également la comparaison des résultats entre les différentes études de recherche sur l'opinion publique réalisées par le gouvernement du Canada. (Voir la section 8. pour obtenir de plus amples renseignements sur le biais de non-réponse.)
Veuillez noter que la comparabilité avec les questions et les choix de réponse de Statistique Canada est une exigence essentielle. Cela est nécessaire pour les analyses en cas de non-réponse et lorsque les variables sont utilisées pour pondérer les données de sondage en vue d’établir une correspondance avec la population.
En raison des différences entre les méthodes en ligne (réponse libre) et téléphoniques (administrée par un intervieweur), les questions et les choix de réponse peuvent être quelque peu différents pour les 2 méthodes.
Par conséquent, un enjeu que le panel doit garder à l’esprit dans toute la section F lorsqu’il existe des différences dans la formulation entre les méthodes en ligne et téléphoniques est ce qui constitue la comparabilité avec les questions et les choix de réponse de Statistique Canada. Voici un exemple clé : on peut accéder à la version à réponse libre du questionnaire de Recensement de 2016, mais il n’est pas toujours clair à savoir ce que Statistique Canada considérerait comme une question comparable dans un sondage téléphonique.
Il s’agit d’une exigence générale (point 2 de la section 2.1) d’informer les répondants au début d’un sondage de la confidentialité de leurs réponses au questionnaire, mais les normes actuelles n’indiquent aucune formulation précise sur la façon d’introduire les questions démographiques requises (celles qui sont souvent posées vers la fin du sondage).
À titre de référence, voici les parties pertinentes du point 2 de la section 2.1 :
2.1. 2. Les éléments suivants sont nécessaires dans toute introduction d'un questionnaire de sondage en ligne mené par le gouvernement du Canada :
Le commissaire à la protection de la vie privée a demandé l'ajout d'un énoncé sur la protection de la vie privée avant la section sur les données démographiques des questionnaires, comme celui précisé ci-après.
Ces quelques dernières questions sont uniquement à des fins statistiques et demeureront confidentielles. Votre identité ne sera jamais révélée.
La proposition consiste à insérer une nouvelle norme juste avant le point 3 actuel de la section 2.1, comme suit (le point 3 actuel de la section 2.1 deviendrait le point 4 de la section 2.1) :
2.1.#3 L’énoncé suivant est obligatoire pour tous les sondages téléphoniques ou en ligne du gouvernement du Canada avant d’administrer la section du questionnaire portant sur les données démographiques :
Ces quelques dernières questions sont uniquement à des fins statistiques. Vos réponses demeureront strictement confidentielles et seront combinées avec celles des autres répondants au présent sondage.
G1.1 La première phrase de l’ajout proposé d’un nouveau point 3 de la section 2.1 est la suivante : « ces quelques dernières questions sont uniquement à des fins statistiques. » La formulation « à des fins statistiques » est-elle la meilleure à utiliser, ou existe-t-il une formulation différente qui serait plus claire ou efficace? Par exemple, « à des fins analytiques », ou « aux fins d’analyse »?
G1.2 Avez-vous des suggestions pour réviser le point 3 proposé de la section 2.1?
La question requise actuelle figurant au point 3 de la section 2.1 pour les sondages téléphoniques et en ligne est la suivante :
Sondages téléphoniques
Sexe : [Ne posez pas la question. Réponse basée sur l’observation de l’intervieweur.]
Sondages en ligne
Sexe : Quel est votre sexe?
Remarque : Le fait que les choix de réponse soient différents selon la méthode employée peut être problématique en ce qui a trait aux sondages avec méthode mixte et à la pondération (c'est-à-dire, le sondage téléphonique est fondé sur l'opinion de l'intervieweur et offre 2 choix de réponse, alors que le sondage en ligne est fondé sur l'auto-classification du répondant et offre 3 choix de réponse). Il s'agit également d'un enjeu à part entière s'il y a un intérêt à comparer divers sondages à l'aide des 2 méthodes différentes ou s'il est nécessaire de le faire.
Il existe plusieurs enjeux liés à la question actuelle sur le « sexe » dont le comité doit tenir en compte :
MRS souligne également les points clés suivants :
MRS a fourni les exemples suivants de questions et une liste de vérification concernant les questions que les chercheurs doivent se poser avant de décider quelle question poser :
Quel est votre sexe?
Quel est votre sexe? OU Quel est votre genre?
Liste de vérification : questions à poser
MRS poursuit en indiquant ce qui suit concernant les questions sur l’identité de genre en particulier :
L'établissement d'une pratique exemplaire dans l'élaboration et la présentation des questions sur l'identité de genre devra prendre appui sur la position et la pratique de l'ONS [Office of National Statistics qui est l'équivalent du R.-U. de Statistique Canada] et la recherche effectuée par l'EHRC [Equality and Human Rights Commission]. Cela permettra à la collectivité de recherche de concevoir et d'utiliser une question uniforme et normalisée sur l'identité de genre que toutes les personnes vivant au R.-U. peuvent comprendre et à laquelle elles peuvent répondre.
dans son article How Should Market Researchers Ask About Gender in Surveys? (en anglais), Uptal Dholakia, dans un blogue en ligne pour Psychology Today (septembre 2016), souligne que : Tout sondage de recherche sur le marché bien conçu est fondé sur 2 principes fondamentaux : le principe d'exactitude et le principe d'inclusion. Un questionnaire doit être conçu pour recueillir des renseignements de façon exacte, à l'aide des pratiques exemplaires de conception de sondage que les psychométriciens ont formulées au fil de plusieurs décennies. Mais c'est insuffisant. Un sondage doit aussi être inclusif. Lorsqu'un répondant a fini de répondre à un sondage, il doit sentir que l'opinion qu'il a fournie sera valorisée autant que celle fournie par les autres répondants.
Nous proposons au comité consultatif d'envisager 2 options de rechange comme point de départ, que les membres du comité peuvent effectivement réviser comme ils le jugent nécessaire :
Option 1 : statu quo (laisser les normes inchangées). Le statu quo consiste à aborder le « genre » comme suit :
Voici les avantages de l’option 1 elle est plus inclusive dans la version en ligne, où la question est clairement posée, en raison de l'option « autre ». Voici les inconvénients de l'option 1 :
Option 2 : Correspond plus étroitement aux questions de Statistique Canada
Voici les avantages de l'option 2 (voir le texte proposé ci-dessous) :
Ni la question par téléphone ni la question en ligne ne correspondent exactement à celle de Statistique Canada en raison de la possibilité d'une réponse « préfère ne pas répondre ».
Sondages téléphoniques (sexe) :
[Ne posez pas la question. Réponse basée sur l'observation de l'intervieweur.]
En cas d'incertitude en raison de la voix, demandez :
Quel est votre sexe? [lire la liste]
Sondages en ligne (sexe) :
Quel est votre sexe?
Les 2 questions requises suivantes figurant au point 3 de la section 2.1 des sondages téléphoniques et en ligne portent sur la langue. Le chercheur peut choisir d'utiliser les 2 questions ou 1 des 2 questions, en fonction des objectifs du sondage :
Sondages téléphoniques
Langue maternelle :
Quelle langue avez-vous apprise en premier à la maison lorsque vous étiez enfant et que vous comprenez encore? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Langue parlée à la maison :
Quelle langue parlez-vous le plus souvent à la maison? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Sondages en ligne
Langue maternelle :
Quelle langue avez-vous apprise en premier à la maison lorsque vous étiez enfant et que vous comprenez encore? [ACCEPTER TOUS LES CHOIX PERTINENTS]
Langue parlée à la maison :
Quelle langue parlez-vous le plus souvent à la maison? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
La Direction de la recherche en opinion publique (DROP) a demandé des commentaires sur la ou les questions qu’il faut poser pour mieux en arriver à la langue officielle des répondants.
Les points à prendre en compte sont les suivants :
Voici les 3 options que le comité doit prendre en compte :
Sondages téléphoniques
Langue maternelle :
Quelle langue avez-vous apprise en premier à la maison pendant votre enfance et que vous comprenez encore? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Ou préférez-vous ne pas répondre Langue parlée à la maison :
Langue parlée à la maison :
Ou préférez-vous ne pas répondre Sondages en ligne
Langue maternelle :
Quelle langue avez-vous apprise en premier à la maison pendant votre enfance et que vous comprenez encore? [ACCEPTER TOUS LES CHOIX PERTINENTS]
Langue parlée à la maison :
Quelle langue parlez-vous le plus souvent à la maison? [ACCEPTER TOUS LES CHOIX PERTINENTS]
option 3 : faire en sorte que la question sur la langue parlée à la maison soit la seule question requise et supprimer des normes la question sur la langue maternelle.
Sondages téléphoniques
Langue parlée à la maison :
Quelle langue parlez-vous le plus souvent à la maison? [LIRE LA LISTE; ACCEPTER TOUS LES CHOIX PERTINENTS]
Ou préférez-vous ne pas répondre Sondages en ligne
Langue parlée à la maison :
Quelle langue parlez-vous le plus souvent à la maison? [ACCEPTER TOUS LES CHOIX PERTINENTS]
Voici la question requises sur l'âge :
Sondages téléphoniques :
Quelle est votre année de naissance? [Noter l’année – XXXX]
[SI LE RÉPONDANT PRÉFÈRE NE PAS FOURNIR D’ANNÉE DE NAISSANCE PRÉCISE, POSER LA QUESTION SUIVANTE :]
Seriez-vous alors disposé à me dire à quelle catégorie d’âge vous appartenez?
Sondages en ligne
Quelle est votre année de naissance?
[SI LE RÉPONDANT PRÉFÈRE NE PAS FOURNIR D’ANNÉE DE NAISSANCE PRÉCISE, POSER LA QUESTION SUIVANTE :]
Seriez-vous alors disposé à indiquer à quelle catégorie d’âge vous appartenez?
Veuillez noter que nous supposons qu’un sondage pourrait comprendre des plages plus détaillées dans la mesure où elles peuvent être regroupées en fonction des catégories ci-dessus (même si les normes n’indiquent pas clairement ce fait).
Dans le recensement, Statistique Canada détermine l’âge à partir de la date de naissance.
À titre de référence, le Profil du recensement de 2016 pour le Canada affiche la répartition suivante selon l’âge :
| Groupe d'âge | % de la population |
|---|---|
| 0 à 17 ans | 20,0 % |
| 18 à 24 ans | 8,8 % |
| 25 à 29 ans | 6,5 % |
| 30 à 34 ans | 6,6 % |
| 40 à 44 ans | 6,4 % |
| 45 à 49 ans | 6,7 % |
| 50 à 54 ans | 7,6 % |
| 55 à 59 ans | 7,5 % |
| 60 à 64 ans | 6,5 % |
| 65 à 69 ans | 5,6 % |
| 70 à 74 ans | 4,0 % |
| 75 à 79 ans | 2,9 % |
| 80 ans et plus | 4,3 % |
| Groupe d'âge | % de la population âgée de 18 ans et plus |
|---|---|
| 18 à 24 ans | 10,9 % |
| 25 à 29 ans | 8,1 % |
| 30 à 34 ans | 8,3 % |
| 35 à 39 ans | 8,1 % |
| 40 à 44 ans | 8,0 % |
| 45 à 49 ans | 8,4 % |
| 50 à 54 ans | 9,5 % |
| 55 à 59 ans | 9,3 % |
| 60 à 64 ans | 8,1 % |
| 65 à 69 ans | 7,0 % |
| 70 à 74 ans | 5,1 % |
| 75 à 79 ans | 3,6 % |
| 80 ans et plus | 5,4 % |
| Groupe d'âge | % de la population âgée de 18 ans et plus |
|---|---|
| 18 à 24 ans | 10,9 % |
| 25 à 34 ans | 16,4 % |
| 35 à 44 ans | 16,2 % |
| 45 à 54 ans | 17,9 % |
| 55 à 64 ans | 17,5 % |
| 65 ans et plus | 21,1 % |
G4.1 Doit-on laisser les catégories d’âge telles quelles au point 3 de la section 2.1, ou suggérez-vous de les réviser? Les révisions pourraient inclure des révisions des points de rupture et des révisions du nombre total de catégories d’âge.
La DROP souhaite particulièrement savoir si un plus petit nombre de catégories pourrait être utilisé et quelles seraient ces catégories. Selon vous, quelle serait la composition de ce plus petit nombre de catégories?Voici la question requises sur les études :
Sondages téléphoniques
Quel est le niveau de scolarité le plus élevé que vous ayez atteint? [LIRE LA LISTE]
Sondages en ligne
Quel est le niveau de scolarité le plus élevé que vous ayez atteint?
À titre de référence, le Profil du recensement de 2016 pour le Canada affiche les catégories d'études suivantes :
| Niveau de scolarité | % de la population |
|---|---|
| Aucun certificat, diplôme ou grade | 18,3 % |
| Diplôme d’études secondaires ou attestation d’équivalence | 26,5 % |
| Certificat, diplôme ou grade d’études postsecondaires | 55,3 % |
| Certificat ou diplôme d’apprenti ou d’une école de métiers | 9,8 % |
| Certificat ou diplôme d’un collège, d’un cégep ou d’un autre autre établissement non universitaire | 19,4 % |
| Certificat ou diplôme universitaire inférieur au baccalauréat | 2,8 % |
| Certificat, diplôme ou grade universitaire au niveau du baccalauréat ou supérieur | 23,3 % |
| Baccalauréat | 15,5 % |
| Certificat ou diplôme universitaire supérieur au baccalauréat | 1,6 % |
| Diplôme en médecine, en médecine dentaire, en médecine vétérinaire ou en optométrie | 0,7 % |
| Maîtrise | 4,6 % |
| Doctorat acquis | 0,8 % |
On a signalé que les 2 premières catégories dans la question requise actuelle sur les études ne sont pas bien harmonisées avec le système d'éducation québécois. La DROP a fourni l'énoncé suivant tiré de Wikipédia :
L'enseignement primaire obligatoire (école primaire) commence à la première année, et se poursuit jusqu'à la 6e année. L'école secondaire comprend 5 années, appelées secondaires I à V (sec I à V, version abrégée) ou simplement les années 7 à 11. Les élèves sont âgés de 12 à 16 ans (âge au 30 septembre), sauf en cas de redoublement. À la fin de la onzième année, les élèves reçoivent un diplôme d'études secondaires du gouvernement provincial. [Traduction]
Par conséquent, au Québec, la 8e année correspond au début de l'école secondaire, alors qu'en dehors du Québec, la neuvième année correspond au début de l'école secondaire. L'opinion est que les 2 premières catégories existantes (8e année ou moins et Études secondaires non terminées) portent à confusion au Québec. En outre, ces catégories se chevauchent, puisque la 8e année correspond également à « une partie de l'école secondaire » au Québec.
Une approche consiste simplement à éviter, dans la question requise, de faire la distinction entre les sous-catégories inférieures à un diplôme d’études secondaires (ces distinctions pouvant toujours être ajoutées de façon ponctuelle pour un sondage en particulier).
Dans cette optique, les 2 premiers choix de réponse pourraient être comme suit :
G5.1 Dans le contexte des différences entre les systèmes d’éducation du Québec et du reste du Canada, les 2 premiers choix de réponse sur les études à la section 2.1 sont-ils corrects comme ils sont présentés ou doivent-ils être révisés?
S’ils doivent être révisés, que suggérez-vous comme choix de réponse? Que pensez-vous de la proposition d’éliminer les sous-catégories liées au choix « Sans diplôme d’études secondaires »?
Voici la question requise sur le revenu familial :
Sondages téléphoniques :
Dans quelle échelle salariale se trouve votre revenu familial total, c’est-à-dire le total des revenus avant impôts de toutes les personnes habitant avec vous? [LIRE LA LISTE]
Sondages en ligne
Dans quelle échelle salariale se trouve votre revenu familial total, c'est-à-dire le total des revenus avant impôts de toutes les personnes habitant avec vous?
Veuillez noter que nous supposons qu’un sondage pourrait comprendre des plages plus détaillées dans la mesure où elles peuvent être regroupées en fonction des catégories ci-dessus (même si les normes n’indiquent pas clairement ce fait).
Statistique Canada obtient maintenant des données sur le revenu à partir des dossiers administratifs; par conséquent, il n’y a aucune question de Statistique Canada à utiliser comme modèle.
Statistique Canada indique différentes situations de revenu, dont le « revenu total des ménages privés avant impôt », qui semble équivaloir au « revenu familial total » dans les questions ci-dessus.
À titre de référence, selon les données de 2015, le Profil de recensement du Canada affiche les données suivantes pour le revenu total des ménages privés :
| Revenu total des ménages privés | % de la population |
|---|---|
| Moins de 5 000 $ | 1,6 % |
| De 5 000 $ à 9 999 $ | 1,4 % |
| 10 000 $ à 14 999 $ | 2,7 % |
| 15 000 $ à 19 999 $ | 4,0 % |
| 20 000 $ à 24 999 $ | 4,3 % |
| 25 000 $ à 29 999 $ | 3,8 % |
| 30 000 $ à 34 999 $ | 4,3 % |
| 35 000 $ à 39 999 $ | 4,3 % |
| 40 000 $ à 44 999 $ | 4,2 % |
| 45 000 $ à 49 999 $ | 4,1 % |
| 50 000 $ à 59 999 $ | 7,8 % |
| 60 000 $ à 69 999 $ | 7,2 % |
| 70 000 $ à 79 999 $ | 6,6 % |
| 80 000 $ à 89 999 $ | 5,9 % |
| 90 000 $ à 99 999 $ | 5,3 % |
| 100 000 $ à 124 999 $ | 10,4 % |
| 125 000 $ à 149 999 $ | 7,2 % |
| 150 000 $ à 199 999 $ | 7,9 % |
| 200 000 $ et plus | 6,8 % |
| Revenu des ménages privés : tranches requises actuelles | % de la population |
|---|---|
| Moins de 20 000 $ | 9.7 % |
| De 20 000 $ à moins de 40 000 $ | 16.7 % |
| De 40 000 $ à moins de 60 000 $ | 16.1 % |
| De 60 000 $ à moins de 80 000 $ | 13.7 % |
| De 80 000 $ à moins de 100 000 $ | 11.2 % |
| De 100 000 $ à moins de 150 000 $ | 17.7 % |
| De 150 000 $ et plus | 14.7 % |
D'autres statistiques fondées sur les données de 2015 :
Le seuil de faible revenu varie selon la taille de ménage. Le tableau suivant de Statistique Canada illustre les seuils de faible revenu selon la taille de ménage Note de bas de page 36 :
| Taille de ménage | Revenu après impôt | Revenu avant impôt |
|---|---|---|
| 1 personne | 22 133 $ | 25 516 $ |
| 2 personnes | 31 301 $ | 36 084 $ |
| 3 personnes | 38 335 $ | 44 194 $ |
| 4 personnes | 44 266 $ | 51 031 $ |
| 5 personnes | 49 491 $ | 57 054 $ |
| 6 personnes | 54 215 $ | 62 500 $ |
| 7 personnes | 58 558 $ | 67 508 $ |
G6.1 Doit-on laisser les catégories de revenu familial telles qu’elles figurent au point 3 de la section 2.1, ou suggérez-vous de les réviser? Les révisions pourraient toucher les points de rupture et le nombre total de catégories de revenu.
La DROP a consulté l’ARIM concernant la valeur d’ajouter une question dans les sondages téléphoniques au sujet des types de téléphones auxquels un répondant a accès à domicile :
On peut également intégrer les renseignements sur l’utilisation du téléphone dans la méthode de pondération des sondages téléphoniques. La recherche documentaire commandée par la DROP révèle cette possibilité (voir la page 16). L’examen indique que, « Au moment de la rédaction du présent rapport, il n’y a pas de consensus quant à la meilleure approche à adopter pour effectuer la pondération des échantillons à base de sondage double. » Un exemple est ensuite donné d’une approche dont la pondération est effectuée selon la situation d’usage du téléphone (utilisateur d’un téléphone cellulaire uniquement, utilisateur d’un téléphone à ligne fixe uniquement ou utilisateur mixte), et d’une autre qui ne l’est pas.
La classification de la situation d’usage du téléphone du ménage peut être assez compliquée selon l’approche de pondération choisie ou en ce qui a trait à la sélection des répondants à l’entrevue dans un ménage Note de bas de page 37.
Voici des exemples de facteurs compliquant la classification :
La proposition ci-dessous vise à garder les choses simples et à classifier, dans 3 catégories de base, la situation d’usage du téléphone du ménage de répondants dans un sondage auprès de personnes (non pas dans des sondages auprès d’entreprises ou d’organisations : utilisation d’un téléphone à ligne fixe uniquement, utilisation d’un téléphone cellulaire uniquement ou utilisation mixte (le ménage comprend des utilisateurs de téléphone cellulaire et dispose d’un téléphone à ligne fixe). Veuillez noter qu’il s’agit d’une classification du ménage et non du répondant de façon individuelle. Elle n’essaie pas de faire la distinction entre l’utilisation personnelle et l’utilisation professionnelle d’un téléphone cellulaire.
Un problème terminologique dont il faut tenir compte est la façon de désigner un téléphone à ligne fixe. Est-ce que tout le monde sait à quoi fait référence le terme « ligne fixe »? Si un ménage possède un téléphone VoIP et aucune ligne de télécommunication terrestre, indiquerait-il avoir un « téléphone à ligne fixe »? Les personnes savent-elles ce qu’est un téléphone « VoIP » ou « IP »? Les personnes interpréteraient-elles un « téléphone normal » comme tout ce qui est différent d’un téléphone cellulaire?
Voici une question possible que l’on pourrait ajouter au point 3 de la section 2.1
Type de téléphone(s) résidentiel(s) : Ces 2 questions ont pour but de classifier le ménage du répondant dans 1 des 3 catégories mutuellement exclusives : utilisation d'un téléphone cellulaire uniquement, utilisation d'un téléphone à ligne fixe uniquement ou utilisation mixte.
G7.1 Au point 3 de la section 2.1, doit-on ajouter comme exigence pour tous les sondages téléphoniques auprès de personnes, une question sur le type de service téléphonique résidentiel?
G7.2 Avez-vous des suggestions de changements liés l’approche suggérée pour déterminer le type de service téléphonique du ménage?
Dans un sondage en ligne, il est probable qu’un pourcentage considérable des répondants utilisent, ou tentent d’utiliser, un appareil mobile (téléphone intelligent ou tablette) pour remplir le questionnaire.
Dans un rapport de 2014 sur les technologies mobiles, l’American Association for Public Opinion Research concluait ceci :
[Traduction] Reconnaissez que si vous réalisez des sondages en ligne, vous les réalisez sur des appareils mobiles : Un pourcentage de répondants non négligeable et croissant accèdent maintenant aux sondages en ligne sur le fureteur de leur appareil mobile (le pourcentage estimé allant de 8 à 23 %, selon l'étude), ce qui entraîne des taux d'abandon plus élevés et un taux d'erreur des mesures potentiellement plus élevé parmi ces répondants sur appareil mobile. Note de bas de page 38
Compte tenu de l’augmentation du nombre de propriétaires de téléphones intelligents et vu la croissance liée à l’utilisation de ces derniers, le pourcentage des personnes qui répondent aux sondages en ligne sur un appareil mobile a fort probablement augmenté depuis 2014.
Dans un résumé des résultats de l'Enquête sociale générale (ESG), Statistique Canada a déclaré dans Le Quotidien Note de bas de page 39 que les 3 quarts des Canadiens âgés de 15 ans et plus possèdent un téléphone intelligent, bien qu'il y ait une variation substantielle selon l'âge (nous n'avons pas trouvé de tableaux détaillés sur le site Web de Statistique Canada, alors nous nous en sommes tenus aux écarts selon l'âge ci-dessous) :
| Groupe d'âge | % de la population |
|---|---|
| Canadiens âgés de 15 ans ou plus | 76 % |
| 15 à 34 ans | 94 % |
| 55 à 64 ans | 69 % |
| 75 ans ou plus | 18 % |
Dans le rapport de 2015 de Sage Research, Pratiques exemplaires visant à améliorer la participation aux sondages en ligne Note de bas de page 40, voici certaines des conclusions qui sont tirées d'un examen d'ouvrages de recherche :
Certaines sociétés de sondage mettent en œuvre des technologies visant à tenir compte de l'utilisation d'appareils mobiles dans les sondages en ligne. En voici des exemples :
L’argument principal est que la conception du questionnaire adaptée aux utilisateurs d’appareils mobiles peut potentiellement améliorer les données de sondage en ce qui concerne la couverture, le taux de réponse, la réduction du biais de non réponse et la qualité des réponses.
Un sondage en ligne peut adopter des approches différentes vis à vis la possibilité que des appareils mobiles soient utilisésNote de bas de page 41 :
Les normes actuelles n’abordent pas la possibilité et les conséquences qu’un sondage en ligne soit rempli sur un appareil mobile. L’objectif du groupe d’experts est de réviser les normes afin d’aborder ces questions.
À nos yeux, les questions à aborder dans les normes en ce qui concerne l’utilisation d’appareils mobiles pour remplir les sondages en ligne sont les suivantes :
Des révisions sont proposées à 2 sections de la documentation relative à la proposition en ce qui concerne l’utilisation d’appareils mobiles dans les sondages en ligne :
La proposition consiste à ajouter un autre élément numéroté à la section 1.2.2. Pour l’instant, le numéro est appelé « x ».
1.2.2. Détails de l’échantillon ou de l’échantillonnage, dans les normes en ligne (dans les normes en ligne)
- x) Indiquez si les répondants sont en mesure de remplir le questionnaire sur a) un ordinateur ou un appareil mobile (téléphone intelligent ou tablette), b) un ordinateur seulement ou c) un appareil mobile seulement.
- Si l'objectif est de limiter le remplissage du sondage à un seul ordinateur ou à un seul appareil mobile, décrivez en les raisons. Il est probable que sans intervention, certaines personnes répondent au sondage sur un ordinateur et d'autres, sur un appareil mobile. Cela a des conséquences pour la conception du questionnaire, puisque les appareils mobiles ont un plus petit écran. La restriction de l'utilisation des appareils peut potentiellement toucher la couverture de la population cible du sondage.
Veuillez noter que l'élément no 2 de la section 1.2.2 (décrire les procédures d'échantillonnage) comprend une mention de la section 4, procédures d'échantillonnage, où il est exigé de régler toute question avec représentativité; ainsi, il serait redondant de signaler également ces questions ici à l'élément « x » ci-dessus.
La proposition consiste à ajouter un autre élément numéroté à la section 1.2.5. Pour l’instant, le numéro est appelé « x ».
1.2.5. Conception du questionnaire (dans les normes en ligne)
x) S'il est possible que le sondage soit rempli sur un appareil mobile par certains répondants à tout le moins, indiquez alors si l'on a l'intention de fournir une version du questionnaire qui est adaptée aux appareils mobiles. Un questionnaire adapté aux appareils mobiles peut augmenter les taux de réponse et améliorer la qualité des données.
a) Si l'on n'a pas l'intention d'offrir une version du questionnaire qui est adaptée aux appareils mobiles, décrivez en la raison.
Commentaire : nous nous attendons à ce que les gens aient habituellement l'intention d'utiliser un questionnaire adapté aux appareils mobiles; ainsi, la raison d'être principale de cette norme consiste simplement à rappeler aux gens qu'il s'agit d'une chose à prendre en considération lorsqu'ils en sont au stade de conception de questionnaire du projet.
Il y a 3 révisions et ajouts à la section 2 des normes à prendre en considération en ce qui concerne la conception des questionnaires dans les sondages en ligne où des appareils mobiles peuvent être utilisés :
Dans le rapport de 2015 de Sage Research, Pratiques exemplaires visant à améliorer la participation aux sondages en ligne, on a examiné les ouvrages de recherche et on a conclu ceci :
Il y a 2 approches vis à vis l'intégration de la conception de question adaptée aux appareils mobiles dans un sondage en ligne :
[Traduction] Ces résultats pourraient avoir des conséquences pratiques pour les chercheurs réalisant des sondages sur le Web. Notre constatation de quasi comparabilité de la qualité des réponses entre les utilisateurs de téléphone intelligent et les utilisateurs d’ordinateur personnel, même dans le cas des questions sensibles et fastidieuses, indique que non seulement les utilisateurs de téléphone intelligent devraient être intégrés aux sondages Web, mais aussi que l’instrument de sondage devrait être optimisé pour les petits écrans. Il existe un raisonnement, fondé sur les principes de conception du mode universel, ou unimode (Dillman, 2000), selon lequel on devrait chercher à afficher les mêmes formats de question sur tous les appareils dans le but de réduire au maximum les effets de méthode. Nos résultats semblent indiquer autre chose, puisque nous n’avons trouvé aucune preuve que les formats de question restructurés (optimisés) utilisés dans la version pour téléphones intelligents avaient introduit des effets propres à l’appareil ou avaient eu un effet négatif sur la qualité des données.
La notion de comparabilité que nous soutiendrions plutôt est une approche conforme aux pratiques exemplaires […] L’accent est mis non pas sur la présentation des mêmes caractéristiques superficielles, mais sur l’application des pratiques exemplaires à chaque mode ou appareil dans le but d’empêcher le même stimulus pour le répondant et de réduire au maximum l’erreur dans chaque mode ou appareil. Pour appliquer ces principes à la recherche sur les appareils Web, il faut tirer parti des forces des téléphones intelligents en cernant et en utilisant des outils de saisie qui sont conviviaux et en évitant tout format qui ne l’est pas (p. ex. les carrousels, les boîtes de dépôt qui se transforment en sélecteurs). Cela peut aussi nécessiter d’utiliser la conception Web réceptive pour adapter un questionnaire à un continuum de tailles d’écran différentes plutôt que l’optimisation binaire.
Notamment, le même auteur principal, Antoun, a été plus prudent au moment de recommander une approche dans un autre article où l’on examinait des ouvrages de recherche de 2007 à 2016 sur l’optimisation des téléphones intelligents :
[Traduction] Une autre question s’appliquant aux sondages OTI (optimisés pour les téléphones intelligents) se rapporte à la conception et à la publication de dispositions différentes en réaction à la taille de l’écran du répondant ou au fureteur Web de ce dernier. Jusqu’à présent, la discussion a été centrée sur l’adaptation d’un questionnaire conçu pour les ordinateurs personnels à une seule version optimisée pour les téléphones intelligents; il est important toutefois de noter que plusieurs études utilisaient une conception réceptive selon laquelle plusieurs versions des questionnaires étaient affichées, l’objectif implicite étant d’améliorer la qualité des réponses dans chaque version (voir, p. ex., Amin, 2016). Cette pratique a été adoptée de la conception Web, où un grand nombre de conceptions visuelles et de dispositions différentes sont déployées pour un seul site Web (p. ex. pour les petits téléphones intelligents, les grands téléphones intelligents, les petites tablettes, les grandes tablettes, les ordinateurs de bureau à petit écran, et ainsi de suite). Ce qui reste à établir, c’est si cette approche est efficace aussi dans le cas des sondages où la normalisation dans l’ensemble des dispositions constitue une priorité plus élevée. Une préoccupation est que la variation d’une disposition en particulier peut avoir un effet sur les réponses (voir, p. ex., Dillman, Christian et Stern, 2006). Ainsi, la conception réceptive attire l’attention sur la nécessité de promouvoir la comparabilité entre les versions, d’un côté, et de réduire au maximum les erreurs dans chaque version, d’un autre côté.
Que l’optimisation soit binaire ou réceptive à un continuum de tailles d’écran, une autre question est de savoir si la conception doit privilégier l’écran le plus grand ou le plus petit. Presque toutes les études examinées commençaient du point de vue d’un sondage existant qui est conçu pour les ordinateurs personnels, puis adapté aux téléphones intelligents. Même si cette approche peut prévenir d’importants problèmes d’utilisabilité dans les sondages remplis sur un téléphone intelligent, elle ne produit pas forcément une approche optimale pour les téléphones intelligents (comme le sous-entend le mot « optimisé »). Puisque les plus petits écrans semblent présenter un plus grand défi sur le plan de la conception, l’approche de l’« appareil mobile d’abord » peut être souhaitable dans la mesure où elle n’a pas d’effets négatifs sur la version du questionnaire qui est affichée sur les fureteurs plus grands (voir, p. ex. de Bruijne et Wijnant, 2013a; Tharp, 2015). Une recherche future sur l’effet de la conception réceptive, avec et sans philosophie de la conception privilégiant les appareils mobiles, est nécessaire avant de tirer toute conclusion ferme sur ces approches différentes. Note de bas de page 45
L'élément à retenir se trouve dans la dernière phrase : il ne semble pas encore y avoir de conclusion définitive quant à l'approche qui est la meilleure.
Questions affichées au babillard
A2.1 Devrait-il y avoir une norme encourageant une approche particulière en matière de conception ou de disposition des questions pour l’ensemble des appareils (ordinateurs et appareils mobiles)? Dans l’affirmative, quelle devrait-elle être?
Voici quelques possibilités :
Puisque les délais de remplissage ont tendance à être plus longs sur un appareil mobile que sur un ordinateur, une recommandation fréquente est qu’un questionnaire adapté aux appareils mobiles soit « court ». Cependant, il n’y a pas de consensus quant à ce que l’on entend par le nombre de minutes.
La norme actuelle pour la durée des questionnaires en ligne est de 20 minutes, mais une durée moyenne de 15 minutes ou moins est « fortement encouragée » :
2.1. Normes
- Les questionnaires de sondage doivent être conçus pour :
- c) être remplis en 20 minutes au maximum, sans inclure les pauses et les interruptions. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu'il faudra plus de 20 minutes pour répondre au questionnaire d'enquête. On encourage fortement l'utilisation de questionnaires d'une durée moyenne de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
Questions affichées au babillard
Une possibilité des normes est de communiquer ni norme ni ligne directrice sur la conception adaptée aux appareils mobiles. L’idée est que dans la documentation relative à la proposition, il y aura une déclaration de l’intention d’offrir un sondage adapté aux appareils mobiles. Autrement, il reviendra au chercheur de décider de la manière d’en effectuer la mise en œuvre pour son sondage. Et, selon ce point de vue, des lignes directrices n’ont pas leur place dans un document de normes.
L’autre possibilité consiste à communiquer des lignes directrices (c-à-d. des pratiques ou des principes recommandés, mais non exigés). Il est certainement possible de le faire, d’après les ouvrages de recherche. L’idée est qu’il serait utile, pour les chercheurs de ROP du GC, que cette orientation soit énoncée dans le document des normes.
À titre de référence, 2 approches pour l’orientation sont montrées ici.
Questions affichées au babillard
A2.3 Dans la section 2 des normes, conception du questionnaire, devrait il y avoir des lignes directrices (des recommandations, mais non des exigences) indiquant ce qui rend un questionnaire adapté aux appareils mobiles, ou bien n’est-il pas nécessaire ou indiqué d’y en avoir dans les normes?
Dans l’éventualité où des lignes directrices figuraient dans les normes, quelles sont celles que vous suggéreriez? Des possibilités ont été décrites dans le document d’information. Il serait en outre utile que vous essayiez de les rédiger comme vous voudriez qu’elles figurent dans les normes.
Il existe 2 types de prétest qui devraient être effectués pour un questionnaire de sondage en ligne où certains répondants peuvent utiliser un appareil mobile :
Les normes actuelles ne précisent pas d’exigences s’appliquant aux sondages en ligne où l’on peut utiliser des appareils mobiles.
Dans la section 3 des normes en ligne, les 2 normes actuelles les plus pertinentes sont les suivantes :
3. Prétests
3.1. Normes
- 1) Tous les éléments d'un nouveau questionnaire ou d'un questionnaire révisé utilisé dans un sondage antérieur, lesquels sont susceptibles d'influer sur la qualité des données et le comportement des répondants doivent faire l'objet d'un prétest. Cela comprend l'apparence et le fonctionnement en ligne du questionnaire.
- 5) On doit faire au moins 10 sondages de prétest dans chaque langue dans laquelle le sondage final sera mené. Les projets qui visent de petits groupes cibles pourraient constituer une exception, comme des sondages sur la satisfaction des clients auprès d'un petit bassin de clients. Dans de tels cas, le cabinet de recherche doit, en collaboration avec le client, prendre les mesures nécessaires pour s'assurer que les quelques prétests réalisés sont suffisants pour garantir la qualité du questionnaire. Par exemple, un prétest cognitif peut s'avérer nécessaire.
Devrait-on ajouter des normes propres au remplissage des sondages en ligne sur les appareils mobiles?
Quelle révision devrait-on apporter, s'il y a lieu, à la norme 3.1.1?
Par exemple, une révision pourrait consister en ce qui suit :
Quelle révision devrait-on apporter, s'il y a lieu, à la norme 3.1.5?
Par exemple, une révision pourrait consister en ce qui suit :
Dans un sondage qui peut être rempli sur les appareils mobiles et les ordinateurs, et notamment un sondage utilisant une approche de « conception réceptive » qui peut conduire à des conceptions et des dispositions de question différentes pour des tailles d’écran différentes, il y a un potentiel d’effet de « méthode ». Autrement dit, les conceptions et dispositions différentes pour une question donnée pourraient causer des répartitions différentes des réponses. Si cette possibilité doit être envisagée, il faut recueillir des données sur le type d’appareil pendant le sondage.
De plus, il y a une possibilité d’effet lié au type d’appareil en raison des différences des caractéristiques des personnes qui utilisent un appareil mobile pour répondre à un sondage par opposition à celles qui utilisent un ordinateur. Par exemple, un fournisseur en recherche a fait remarquer ce qui suit dans un article de promotion de l’échantillonnage neutre par rapport à l’appareil pour les sondages en ligne :
[Traduction] Des poches précises de la population gravitent vers les appareils mobiles, et nous nous attendons à constater une hausse du niveau de biais systématique non lié à la couverture dans les conceptions de recherche non destinées aux appareils mobiles. Certains de nos essais démontrent qu'entre 20 et 25 % des membres de la génération du millénaire (les personnes nées entre 1981 et 2000) préfèrent accéder aux sondages sur un appareil mobile. Ainsi, nos sondages non destinés aux appareils mobiles manquent les opinions d'une partie substantielle de ce public. Étant donné que ce groupe est plus susceptible doué pour les technologies et connecté avec ses pairs, nous nous attendons au fil du temps à des résultats biaisés et inexacts lorsque ces personnes seront exclues de notre cadre d'échantillonnage. Note de bas de page 47
Cela illustre l’importance d’un sondage adapté aux appareils mobiles pour veiller à une bonne couverture de la population. Cela veut toutefois aussi dire qu’une exploration des effets possibles de la conception et de la disposition des questions devrait être réalisée soigneusement afin d’éviter la question ou la disposition déroutante des questions avec des covariables comme l’âge.
Tel qu’il a été indiqué précédemment, les conclusions tirées des ouvrages de recherche sont les suivantes :
A5.1 Pour résumer, voici les révisions possibles des normes se rapportant à l’utilisation d’appareils mobiles pour les sondages en ligne dont il a été question :
Y a-t-il d’autres domaines où l’on devrait ajouter ou réviser des normes ou des lignes directrices concernant l’utilisation d’appareils mobiles pour les sondages en ligne? Veuillez noter que la section B du forum de discussion portera sur le fait d’assumer les coûts, pour les répondants, de l’utilisation d’un appareil mobile.
Les utilisateurs d’appareils mobiles peuvent engager des coûts pour participer à un sondage de recherche.
Les normes actuelles ne comportent aucune exigence quant à la façon dont de tels coûts devraient être gérés.
Voici une norme ou ligne directrice de la ligne directrice d’ESOMAR/GBRN sur la recherche sur les appareils mobiles :
[Traduction] 3.1.3 Coûts
Contrairement à la plupart des autres méthodes de recherche, les sujets des données peuvent engager des coûts en raison de leur participation à la recherche sur appareil mobile. Ces coûts peuvent comprendre des frais pour les téléchargements de données, la messagerie par texte, l'excédent des données du forfait, l'itinérance, la récupération des messages vocaux et le téléphone standard. Les chercheurs devraient concevoir leur recherche de sorte que les sujets de données n'engagent aucun coût sans y avoir consenti expressément. Si cela n'est pas possible, les chercheurs doivent être prêts à offrir une indemnité. Une telle indemnité peut être offerte sous forme d'espèces, d'argent mobile, de temps d'antenne ou d'autres formes de valeur.
Veuillez noter qu'ESOMAR/GBRN explique comme suit son usage des mots « doit » (must) et « devrait » (should) :
[Traduction] Dans tout ce document, le mot « doit » sert à indiquer des exigences obligatoires. Nous employons le mot « doit » au moment de décrire un principe ou une pratique que les chercheurs sont obligés de suivre. Le mot « devrait » est employé au moment de décrire la mise en œuvre. Cet usage est censé reconnaître le fait que les chercheurs peuvent choisir de mettre en œuvre un principe ou une pratique de façons différentes, selon la conception de leur recherche.
Le groupe d’experts a pour objectif de déterminer si un élément comme la norme 3.1.3 d’ESOMAR/GBRN ci-dessus devrait faire partie des normes en ligne et téléphoniques.
Voici une légère reformulation de la norme d’ESOMAR/GBRN (nous vous suggérons de l’utiliser comme point de départ pour formuler des suggestions) :
Proposition : Les répondants qui utilisent un appareil mobile peuvent engager des coûts en raison de leur participation à la recherche sur appareil mobile. Ces coûts peuvent comprendre des frais pour les téléchargements de données, la messagerie par texte, l'excédent des données du forfait, l'itinérance, la récupération des messages vocaux et le téléphone standard. Les chercheurs devraient concevoir leur recherche de sorte que les sujets de données n'engagent aucun coût sans y avoir consenti expressément. Si cela n'est pas possible, les chercheurs doivent être prêts à offrir une indemnité. Une telle indemnité peut être offerte sous forme d'espèces, d'argent mobile, de temps d'antenne ou d'autres formes de valeur.
B1. Les normes en ligne et téléphoniques devraient-elles comporter une section portant sur le fait d’assumer les coûts d’utilisation d’un appareil mobile? Dans l’affirmative, quel pensez-vous du texte qui est proposé dans le document d’information selon une norme ESOMAR/GBRN? Veuillez y apporter les changements que vous jugez nécessaires.
Une question importante au cours de l’échantillonnage pour les sondages par téléphone est l’inclusion des utilisateurs de téléphone cellulaire et des utilisateurs de téléphone filaire. Cela peut avoir un effet sur la couverture de la population du sondage, le(s) cadre(s) d’échantillonnage utilisé(s) pour le sondage et, possiblement, la pondération. L’objectif du groupe d’experts consiste à cerner toute révision des normes qui se rapportent à cette question. Ce qui est particulièrement intéressant, c’est ce qu’il faut dire, s’il y a lieu, à propos de la proportion des entrevues réalisées par téléphone cellulaire par rapport à celles réalisées par téléphone filaire au cours d’un sondage probabiliste auprès de la population canadienne.
Voici des statistiques tirées du Rapport de surveillance des communications 2017 du CRTC :
Le rapport du CRTC ne rend pas compte du type de téléphone par âge; toutefois, en 2010, les auteurs du rapport du groupe de travail de l'AAPOR sur le téléphone cellulaire avaient conclu ceci : [traduction] « les jeunes adultes des États Unis âgés de 18 à 34 ans ne peuvent plus être joints avec succès à l'aide de la base des téléphones filaires Note de bas de page 48
Ces données indiquent qu’un échantillon probabiliste téléphonique de la population générale des adultes canadiens doit comprendre un échantillon relié aux téléphones cellulaires.
Pour cette section, veuillez passer en revue la section 3, enquêtes téléphoniques à base de sondage double, dans l’examen des ouvrages commandé par la DROP (p. 12 à 14 et la recommandation figurant aux p. 31 et 32 pour les 31-32 concernant les proportions de bases d’échantillons pour les enquêtes à base double). Voici certains des arguments qui sont avancés dans l’examen des ouvrages :
[Traduction] Proportions de base d’échantillon pour les enquêtes à base double : La proportion des données relatives au téléphone filaire et au téléphone cellulaire faisant partie des échantillons à base double varie alors que les chercheurs tentent de trouver l’équilibre optimal et alors qu’augmente l’incidence de l’utilisation exclusive du téléphone cellulaire. Pour cette raison, il est recommandé que la DROP ne mette pas en place de normes prescriptives pour les proportions des échantillons à base double. Pour les échantillons, aucun ratio unique de ratio de téléphone filaire à téléphone cellulaire ne s’appliquera à toutes les études de la recherche sur l’opinion publique. D’autres facteurs, comme le budget, le public cible et la période de recherche sur le terrain, influenceront les proportions. Une ligne directrice utile serait centrée sur le résultat de la collecte de données. Autrement dit, les ratios des échantillons choisis devraient garantir que la proportion des ménages utilisant seulement des téléphones cellulaires dans l’échantillon de sondage final reflète celle de la population des ménages utilisant seulement des téléphones cellulaires au moment du sondage.
Le groupe de travail de 2010 de l’AAPOR sur le téléphone cellulaire a relevé diverses autres questions qui entrent en jeu au moment de sonder les utilisateurs de téléphone cellulaire, en soulignant qu’il n’existe typiquement aucune résolution définitive « optimale ». En voici des exemples.
Voici les normes actuelles des normes téléphoniques qui concernent les téléphones cellulaires
1. Documentation relative à la proposition
1.2. Caractéristiques techniques de la recherche
1.2.3. Taux de réponse / taux de participation et taux d'erreur
- Indiquer le taux de réponse ou le taux de participation prévu pour les échantillons. Indiquer le taux de réponse ou le taux de participation attendu pour chaque mode lorsque plus d'un mode est proposé (c-à-d. séparément des composantes en ligne et téléphoniques). De plus, si une composante de l'enquête comprend le recrutement de répondants sur téléphone cellulaire, le taux de réponse ou le taux de participation pour cette composante doit aussi être indiqué séparément. Le taux de réponse ou le taux de participation prévu est une évaluation basée sur divers facteurs tels que des taux de réponse ou des taux de participation précédents, des tendances, etc. La proposition doit comprendre un bref survol des facteurs qui pourraient nuire à l'atteinte des objectifs relatifs au taux de réponse ou au taux de participation attendus
1.2.4. Description de la méthode de collecte des données
- 1) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique. Lorsqu'on propose de recruter au moins une portion des répondants sur téléphone cellulaire, justifier le recours à cette démarche à la place ou en plus du recrutement sur téléphone conventionnel.
4. Procédures d'échantillonnage
4.2. Échantillonnage probabiliste
- 3) On doit donner une description complète du plan de sondage et de la procédure de sélection, dont :
- c) à chaque étape de l’échantillonnage, la méthode suivie pour obtenir un échantillon probabiliste (p. ex., sélection aléatoire) devra être expliquée, et tous les sous-ensembles de l’univers qui ont été exclus ou sont sous-représentés (p. ex. les ménages n’utilisant que le cellulaire) devront être identifiés; toutefois, lorsque c’est possible, la proportion estimative de l’univers ayant été exclu ou sous-représenté doit être fournie;
Veuillez noter que la norme 1.2.4 est répétée dans la norme 15.5, Collecte de données (téléphone), dans la section 15, exigences obligatoires relatives au rapport d'enquête.
Un tel degré de précision peut ne pas être nécessaire, puisque les exigences générales sont suffisantes pour déclencher la divulgation des renseignements (c-à-d. que les chercheurs traduiront les exigences générales en renseignements qui doivent être énoncés à propos des téléphones cellulaires ou filaires pour l’étude en question). Sinon, les normes devraient peut-être aborder de manière plus précise le sujet des téléphones cellulaires et des téléphones filaires.
Y a-t-il d’autres questions liées à la conception ou exigences en matière de divulgation de renseignements s’appliquant au sujet des téléphones cellulaires et filaires qui, selon vous, devraient être ajoutées à la section 1, documentation relative à la proposition, ou à la section 4, procédures d’échantillonnage? Dans l’affirmative, veuillez indiquer s’il devrait s’agir de normes (exigences) ou de lignes directrices (suggestions).
Les normes téléphoniques s’appliquant aux rappels se trouvent dans la section 7, collecte de données :
7.2. Rappels
- Un nombre minimal de 8 rappels devront être faits avant de supprimer un numéro de téléphone et de le remplacer par un autre. On doit varier le jour et l’heure de chaque rappel au cours d’une période minimale de 7 jours. Une exception pourrait être faite lorsque la période de recherche sur le terrain est écourtée parce qu’il faut évaluer la capacité des répondants de se souvenir d’événements ou d’activités précis.
- Tous les efforts doivent être déployés afin de s’assurer de rappeler le répondant à la date et à l’heure prévues si un rendez-vous a été convenu.
- On ne tentera pas de rappeler les répondants qui ont refusé de participer.
On demande l’avis du groupe d’experts sur ce qui suit :
La DROP a posé cette question à l’ARIM, étant donné que des préoccupations avaient été exprimées quant à savoir si 8 rappels sont un nombre trop élevé et pourraient être perçus comme du harcèlement.
Le Guide sur les sondages de l'ARIM pour le marché canadien Note de bas de page 50 indique qu'un nombre de 8 rappels est le maximum, comparativement à la section 7.2, rappels, qui indique qu'il s'agit du minimum. Les normes présentent aussi une définition des rappels (aucune définition n'est donnée dans la section 7.2 des normes téléphoniques).
[Traduction] Ne faites pas plus de 8 appels au même numéro de téléphone. Ce nombre comprend :
L'ARIM a posé la question suivante à ses membres : [Traduction] L'ARIM a adopté la politique du maximum de 8 appels à chaque répondant potentiel. Voir l'annexe « L » 8.4.2. Si le nombre d'appels permis était réduit, cela aurait-il une incidence sur vos études de recherche? Quelle est la fréquence de rappels de votre entreprise (au cours de quelle période faites-vous les 8 appels)? Voici la réponse qui a été transmise à la DROP :
[Traduction] Les membres sont très sensibles à la lassitude des répondants et cherchent à régulariser la fréquence des appels des mêmes répondants.
Les appels supplémentaires des répondants ont habituellement lieu après avoir épuisé la liste de répondants potentiels, et des appels sont faits aux personnes avec qui le chercheur n’a pas pu communiquer lors de l’appel initial.
Il est extrêmement important de reconnaître la différence entre les dispositions d’appel dans le cas des tentatives d’appel. Ce n’est pas chaque tentative d’appel qui doit être considérée comme un rappel. Par exemple, 8 rappels qui produisent tous une tonalité d’occupation sont très différents de 8 rappels qui produisent tous une réponse et une demande de rappel. En parallèle, le nombre de rappels doit être suffisamment élevé pour donner une attente raisonnable de probabilité de sélection égale pour toutes les unités d’échantillonnage principales. Nous avons un maximum de 7 rappels, mais nous considérons effectivement certaines dispositions d’appel comme des rappels partiels (p. ex. une tonalité d’occupation compte comme le tiers d’un rappel). Ainsi, en théorie, nous pourrions composer un numéro de téléphone jusqu’à 21 fois (21 tonalités d’occupation). Les numéros de téléphone sont habituellement résolus après 6 à 10 tentatives.
Il faut aussi tenir compte de la numérotation visant à changer les refus en acceptations et se demander si ces tentatives de changement sont considérées comme faisant partie de la limite des rappels.
La DROP aimerait aussi que le groupe d'experts commente la question de savoir si les exigences en matière de rappels devraient être les mêmes pour les répondants utilisant un téléphone cellulaire.
Les exigences en matière de rappel prévues dans la section 7.2, rappels, ne font pas la distinction entre les sondages réalisés par un intervieweur et les sondages réalisés par RVI.
7.2. Rappels
- 1) Un nombre minimal de 8 rappels devront être faits avant de supprimer un numéro de téléphone et de le remplacer par un autre. On doit varier le jour et l'heure de chaque rappel au cours d'une période minimale de 7 jours. Une exception pourrait être faite lorsque la période de recherche sur le terrain est écourtée parce qu'il faut évaluer la capacité des répondants de se souvenir d'événements ou d'activités précis.
Dans l'examen des ouvrages commandé par la DROP, sous l'entête portant sur les inconvénients de l'utilisation de la RVI, on indique ceci :
[Traduction] En plus des limites imposées à la durée et à la complexité du questionnaire de sondage, la qualité de l’échantillon peut être discutable. Ce fait n’est toutefois pas propre à la RVI. Toutes les recherches d’enquête nécessitent des bases d’échantillonnage (avec peu d’erreurs de couverture, voire aucune), des stratégies d’échantillonnage rigoureuses (échantillonnage aléatoire simple ou échantillonnage aléatoire stratifié) et un contrôle approprié des échantillons (un nombre suffisant de rappels qui varie selon l’heure de la journée ou le jour de la semaine afin de maximiser le taux de réponse). Étant donné que la rapidité constitue un des principaux avantages de l’utilisation de la RVI, les mesures de contrôle des échantillons ne sont pas aussi strictes (l’échantillon ne prévoit pas d’heure de recomposition d’un numéro à plusieurs reprises). L’échantillon d’enquête englobera toutes les personnes que l’on a pu joindre le soir de la collecte de données, ce qui introduit la possibilité d’un biais de non réponse. Même si des facteurs de pondération d’enquête seront appliqués à l’échantillon d’enquête après la collecte de données pour veiller à ce que celui-ci reflète le profil démographique de la population cible, cela n’abordera pas les différences en matière d’attitude entre les répondants et les non répondants aux sondages. (p. 18)
L’examen des ouvrages donne à penser qu’il peut souvent d’avérer que peu de rappels, voire aucun rappel, ne sont faits au cours d’un sondage par RVI. On attribue ce fait à l’utilisation de la RVI pour son avantage de la vitesse, et on souligne que la norme 7.2 no 1 comprend une exception de l’exigence des 8 rappels lorsque la vitesse du travail sur le terrain est importante : [Traduction] « Une exception pourrait être faite lorsque la période de recherche sur le terrain est écourtée parce qu’il faut évaluer la capacité des répondants de se souvenir d’événements ou d’activités précis. »
D2.1 Devrait-il y avoir des changements à la section 7.2, rappels, en ce qui concerne les sondages par RVI?
Pendant un sondage téléphonique par réponse vocale interactive (RVI), un questionnaire est programmé dans un ordinateur, les appels sont faits automatiquement et les questions enregistrées sont lues par l’ordinateur. Il n’y a pas d’intervieweurs en direct.
Voici les objectifs du groupe d’experts :
Pour ce sujet, veuillez passer en revue la section portant sur les sondages par réponse vocale interactive de l’examen des ouvrages commandé par la DROP (p. 17 à 19). Pour résumer, l’examen des ouvrages relève les éléments suivants :
La section 5.3, recours à la réponse vocale interactive, des normes téléphoniques décourage, mais n’interdit pas, le recours aux sondages par RVI pour la ROP. Elle présente aussi des circonstances où la RVI peut constituer une méthode adéquate. La norme indique que les sondages par RVI ont les mêmes exigences que les sondages menés par un intervieweur quant à l’introduction du sondage, l’option d’abstention par le répondant, le nombre de fois que des appels peuvent être faits et le retard de l’acquittement d’un appel auquel on a répondu. La norme n’indique pas explicitement que les exigences en matière de relance d’appel s’appliquent aux sondages par RVI (voir D3 pour une question à ce sujet).
5. Maintien de la confiance du public
5.3. Recours à la Réponse Vocale Interactive
- 1) Les enquêtes menées à l'aide la technologie de réponse vocale interactive (RVI), qui sont caractérisées par l'approche impersonnelle de la technologie d'automatisation, vont à l'encontre de la façon dont le gouvernement du Canada souhaite interagir avec les Canadiens. La RVI peut donc uniquement être utilisée lorsque des arguments probants démontrent que l'information particulière qu'il faut recueillir est essentielle à la prise de décisions importantes et ne peut pas être obtenue par d'autres moyens. Par exemple, il peut être jugé acceptable d'avoir recours à la RVI lorsqu'il est primordial d'obtenir le point de vue d'un groupe difficile à atteindre (à faible incidence) dans le contexte de la question à l'étude et que le faible coût et le volume très élevé des appels réalisés par RVI sont susceptibles d'accroître la participation des membres de ce groupe dans le cadre de l'enquête. (La RVI peut également être utilisée lorsque les répondants ont convenu d'avance de l'utilisation de cette méthode.)
- 2) Quand on emploie la RVI, l'information nécessaire aux entrevues faites par des intervieweurs en direct (parrain, cabinet de recherche, participation volontaire, assurance de la confidentialité, etc.) doit être comprise dans l'introduction à l'enquête en RVI. Les répondants doivent également être informés, tôt dans l'introduction, d'une méthode facile d'interrompre leur participation à l'enquête (p. ex., en appuyant sur une touche particulière) pour que l'appel puisse être interrompu correctement et qu'aucun autre appel ne soit effectué à ce numéro de téléphone. Les mêmes exigences à l'égard du moment des appels et du délai pour reconnaître qu'un répondant a répondu au téléphone (voir la section 5.2) s'appliquent à l'utilisation de la RVI.
Veuillez noter que les parties pertinentes de la section 5.2 dont il est question ci-dessus sont les suivantes. Veuillez aussi noter qu’à l’occasion du prochain babillard, nous examinerons de nouveau l’élément no 2 (les heures d’appel) en ce qui concerne les sondages par téléphone en général. Ainsi, nous ne nous intéressons ici qu’aux questions propres aux sondages par RVI.
5.2. Évitement du harcèlement
- 2) Les entrevues ne peuvent se dérouler qu'aux heures suivantes dans le fuseau horaire du répondant : de 9 heures à 21 heures du lundi au vendredi, de 10 heures à 21 heures le samedi et de midi à 21 heures le dimanche et les jours fériés sauf si le répondant demande une entrevue à une autre heure.
- 3) Il ne doit pas y avoir de pause (ou une pause ne dépassant pas une seconde) avant que l'intervieweur se manifeste quand un éventuel répondant a répondu au téléphone.
E1.1 Avez-vous des révisions à suggérer à la section 5.3, recours à la réponse vocale interactive? Parmi les éléments à prendre en considération, mentionnons les suivants :
La norme en matière de durée des sondages par téléphone indique que ceux-ci doivent être achevés en l’espace de 20 minutes. On y encourage fortement une durée de 15 minutes ou moins.
2. Conception du questionnaire
2.1. Normes
- 1) Les questionnaires de sondage doivent être conçus pour :
- c) être terminés en 20 minutes au maximum. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu'il faudra plus de 20 minutes pour répondre au questionnaire d'enquête. On encourage fortement l'utilisation de questionnaires d'une durée moyenne de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
L’examen des ouvrages commandé par la DROP donne à penser que les sondages par RVI conviennent mieux aux sondages de courte durée :
[Traduction] L’un des principaux inconvénients du recours à la méthode par RVI est la nécessité d’un questionnaire court et conçu avec simplicité. Il s’agit d’une des raisons pour lesquelles cette méthode convient bien aux sondages électoraux et à la mesure de l’intention des électeurs. 1 ou 2 questions claires et concises peuvent être posées au moment de recourir à la RVI, et ces questions seront assorties d’options de réponse simples (et peu nombreuses) parmi lesquelles choisir. Par exemple, « appuyez sur 1 si vous savez pour qui vous avez l’intention de voter le jour des élections et sur 2 si vous ne le savez pas ».
Pour un projet de recherche qui cherche à examiner plusieurs sujets avec les répondants et/ou des sujets de manière plus approfondie (p. ex. afin de découvrir les motifs de l’intention des électeurs ou pour avoir une idée des enjeux électoraux les plus importants auprès des électeurs), un sondage par RVI ne constituerait pas la méthode adéquate. (p. 18)
La DROP a constaté que typiquement, les sondages par RVI durent moins de 20 minutes. La DROP a aussi noté avoir constaté que l’on a eu plus souvent recours à la RVI au cours de l’année écoulée aux fins de recrutement. Dans le contexte, la DROP a posé la question de savoir si les éléments requis pour les introductions des sondages par téléphone devraient être révisés ou raccourcis dans le cas des sondages par RVI. Veuillez noter que le fait d’exempter les sondages par RVI d’un de ces éléments serait important et nécessiterait une forte justification. Voici la norme actuelle :
2. Conception du questionnaire
2.1. Normes
- 2) Les items suivants sont des éléments obligatoires dans toutes introductions d'un questionnaire pour un sondage téléphonique mené par le gouvernement du Canada.
- respecter les dispositions de la Loi sur les langues officielles et des politiques sur les langues officielles; plus précisément, les introductions doivent comprendre une offre active des 2 langues officielles (français et anglais); la langue utilisée en premier lieu dépendra de la province de résidence du répondant (p. ex., au Québec, « Bonjour/Hello »; dans le reste du Canada, « Hello/Bonjour »)
- nommer le gouvernement du Canada ou le ministère ou l’organisme qui parraine le sondage
- informer les répondants du sujet général et de l’objet de l’enquête. Le sujet et l'objet de l'enquête peuvent être définis en termes très généraux, pourvu que ces termes ne soient pas perçus comme une tentative de fournir de faux renseignements aux répondants. Par contre, si le cabinet de recherche peut démontrer que le fait d'énoncer le sujet et l'objet de l'enquête avant le début de l'enquête pourrait dissuader d'éventuels répondants de participer, il pourrait être acceptable de reporter cette action à la fin de l'enquête.
- informer les répondants de la durée prévue de l’entrevue
- nommer le cabinet de recherche et l’intervieweur (l’intervieweur peut utiliser un pseudonyme, pourvu qu’il puisse être identifié par ses gestionnaires internes aux fins du contrôle de la qualité)
- assurer les répondants que leur participation au sondage est tout à fait volontaire et confidentielle
- indiquer aux répondants que leurs réponses demeureront anonymes. Dans des circonstances exceptionnelles, lorsque les objectifs de l'enquête exigent que l'identité des répondants soit divulguée, il faut obtenir le consentement éclairé des répondants en question.
- indiquer aux répondants que l'enquête sera enregistrée dans le Système d'enregistrement des sondages de l'ARIM, et leur fournir suffisamment de renseignements pour leur permettre d'accéder au Service de vérification des sondages (c'est-à-dire le numéro d'enregistrement du sondage et l'URL du site Web, l'adresse de courriel ou le numéro de téléphone pour accéder au service), sur demande
Exemples d’exceptions : dans certains cas, le nom de l’organisme qui demande le sondage ne serait pas dévoilé avant la fin de celui-ci (p. ex., post-tests publicitaires); les autres langues seraient mentionnées lorsque le sondage est disponible dans des langues non officielles; l’information concernant la disponibilité des rapports pourrait être divulguée aux répondants spécialisés lorsque l’incitatif à participer l’emporte sur une introduction plus longue.
Nota : Si le répondant le demande, l’intervieweur doit être prêt à répéter les instructions. Les intervieweurs devraient avoir en main des renseignements utiles pour informer les répondants sur la façon de choisir des répondants, la protection de la vie privée et où les résultats du sondage seront publiés.
La norme actuelle s’appliquant aux sondages par RVI précise que tous ces éléments doivent faire partie d’un sondage par RVI :
5.3. Recours à la Réponse Vocale Interactive (RVI)
- 2) Quand on emploie la RVI, l'information nécessaire aux entrevues faites par des intervieweurs en direct (parrain, cabinet de recherche, participation volontaire, assurance de la confidentialité, etc.) doit être comprise dans l'introduction à l'enquête en RVI. […]
E2.1 La DROP a soulevé la question de savoir si les éléments requis pour les introductions des sondages par téléphone devraient être révisés ou raccourcis dans le cas des sondages par RVI (voir le document d’information pour une liste). Veuillez noter que le fait d’exempter les sondages par RVI d’un de ces éléments serait important et nécessiterait une forte justification. Devrait-on omettre ou réviser certains des éléments requis pour les sondages par RVI?
E2.2 La DROP a demandé que le groupe d’experts commente le type d’introduction suivant pour un sondage par RVI. Cette approche fait en sorte de déplacer certaines des divulgations de renseignements requises à la « fin du sondage », où l’on peut ensuite accéder aux renseignements en composant un numéro ou en consultant un site Web :
Introduction d’un sondage par RVI : Bonjour/hello, ici (société de sondage) qui vous appelle au nom du gouvernement du Canada/ministère. To continue in English, please press (numéro). Nous réalisons un sondage de recherche de (nombre) minutes sur SUJET. Votre participation est volontaire et entièrement confidentielle et anonyme. Le nom, le numéro de téléphone et l’adresse de la personne avec qui communiquer pour en savoir plus sur ce projet de recherche sont donnés à la fin du sondage. Pour continuer, appuyez sur (numéro). Pour mettre fin à cet appel maintenant, raccrochez ou appuyez sur (numéro).
(À la fin de l’appel) Pour obtenir d’autres renseignements sur cette étude, veuillez communiquer avec (nom et numéro de téléphone) ou consulter le (site Web). Pour répéter ces renseignements, appuyez sur (numéro).
D’autres renseignements pourraient comprendre :
La DROP aimerait préciser et renforcer les normes s’appliquant aux sondages avec méthode mixte.
À titre de référence, voici les normes actuelles qui font référence aux sondages avec méthode mixte :
1. Documentation relative à la proposition
1.2.4. Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.
4. Procédures d'échantillonnage
4.5. Sondages avec méthode mixte
On parle de « méthode mixte » quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires. Dans bien des cas, les sondages par méthode mixte combinent le téléphone et Internet, mais d’autres combinaisons sont aussi possibles (p. ex., en personne, courrier, télécopieur).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Lorsqu’il s’agit de combiner des données obtenues au moyen de différentes méthodes, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
Sections 14 (en ligne) et 15 (par téléphone). Exigences obligatoires relatives au rapport d'enquête
14.5/15.5 Collecte de données
- 2) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.
14.6/15.6 Contrôles de la qualité
- 3) Dans le cas des sondages par méthode mixte, une description détaillée de toute incidence que peut avoir, sur la qualité des données, la combinaison des données obtenues au moyen de différents modes et instruments de cueillette.
Les révisions proposées que l'on demandera au groupe d'experts de commenter comprennent les sujets suivants :
- clarifier ce qui doit être énoncé dans la proposition
- intégrer des questions de référence de haute qualité afin de faciliter la détection du biais de mode
- encourager l’utilisation de modes d’administration semblables, c-à-d. auto-administré et administré par l’intervieweur, afin de réduire les effets de méthode
- les exigences en matière de prétest s’appliquant aux sondages par méthode mixte
- clarifier les exigences en matière de production de rapports en ce qui concerne a) tout ajustement apporté pour atténuer les biais de mode et b) la décision de combiner les données dans l’ensemble des méthodes ou de ne pas les combiner
- clarifier le calcul des taux relatifs aux résultats en ce qui concerne la méthode mixte
La question finale posée au groupe d'experts sera la question de savoir s'il y a d'autres révisions ou ajouts suggérés aux normes en ce qui concerne les sondages par méthode mixte.
Dans la section 1, documentation relative à la proposition, voici en quoi consistent les exigences propres aux sondages avec méthode mixte :
1. Documentation relative à la proposition
1.2.4. Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.
D’autres éléments de la section 1 garantiront que la méthode employée pour chaque mode sera décrite, et ce, même si l’on n’y fait pas explicitement référence aux conceptions de sondage par méthode mixte (p. ex. 1.2.2 Détails de l’échantillon ou de l’échantillonnage, et d’autres éléments de la section 1.2.4).
La principale préoccupation associée aux sondages par méthode mixte est le potentiel de biais de mode (c-à-d. le potentiel d’obtenir des répartitions de réponses différentes pour la même question en raison, tout particulièrement, des caractéristiques du mode). Par exemple, on a constaté que les effets de désirabilité sociale ont tendance à être plus puissants pendant les sondages administrés par un intervieweur (p. ex. par téléphone) que pendant les sondages que l’on remplit soi-même (p. ex. en ligne). Les différences entre les méthodes quant à la façon dont les questions et les réponses possibles sont présentées pourraient potentiellement causer des répartitions de réponses différentes. Les biais liés aux méthodes peuvent varier d’une question à l’autre (p. ex. certaines questions peuvent être plus sujettes aux effets de désirabilité sociale que d’autres, et certaines questions peuvent être d’une conception plus semblable entre méthodes que d’autres questions). Ces types d’effets de méthode présentent des défis au moment de combiner ou de comparer des données entre méthodes.
Veuillez noter que les différences de réponses attribuables au fait que des types différents de personnes utilisent les différentes méthodes ne posent pas de problème, et qu’effectivement, l’augmentation de la couverture de la population est une raison d’envisager de réaliser des sondages par méthode mixte dans certaines circonstances.
La question est de savoir si, et comment, les exigences en matière de documentation relative à la proposition doivent être élaborées de façon à indiquer plus clairement, dans la proposition, que la question du biais potentiel lié aux méthodes est reconnue et que des mesures seront prises en conséquence. L’exigence existante ne mentionne qu’indirectement le fait d’aborder le potentiel de biais lié aux méthodes. Veuillez noter que la section 4, échantillonnage, est plus explicite, mais peut être qu’on peut en faire davantage dans la section 1 des normes.
1. Documentation relative à la proposition
1.2.4. Description de la méthode de collecte des données
- 7) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique, ainsi qu'une justification des modes en particulier qui seront employés. Décrire les étapes qui seront franchies pour a) réduire la probabilité de biais de mode et b) faciliter la détection de tout biais lié aux méthodes.
1.2.7. Analyse des données
- 1) Décrire brièvement la méthode qui sera utilisée pour l'analyse des données afin de tenir compte des objectifs et des questions de la recherche, y compris les analyses spéciales s'il y a lieu (p. ex. segmentation).
- a) Dans le cas des sondages avec méthode multiple, indiquer si l'on a l'intention de présenter les résultats en combinant les données de l'ensemble des modes, ou encore de présenter les résultats de façon distincte, par mode.
La norme existante s’appliquant aux sondages avec méthode mixte dans les procédures d’échantillonnage est la suivante :
4. Procédures d'échantillonnage
4.5. Sondages avec méthode mixte
On parle de « méthode mixte » quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires. Dans bien des cas, les sondages par méthode mixte combinent le téléphone et Internet, mais d’autres combinaisons sont aussi possibles (p. ex., en personne, courrier, télécopieur).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Lorsqu’il s’agit de combiner des données obtenues au moyen de différentes méthodes, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
Il n’y a pas actuellement de norme relative à la conception des questionnaires qui est propre aux sondages par méthode mixte.
Les changements proposés ci-dessous ont pour but a) de faire la distinction entre les sujets liés à l’échantillonnage et les sujets liés au questionnaire, b) d’augmenter l’utilité d’employer des méthodes semblables d’administration des sondages, c) de préciser qu’il faut s’intéresser aux biais de mode au moment de comparer les résultats par méthode ainsi qu’au moment de combiner des données entre méthodes, et d) de souligner l’utilité que peuvent avoir les questions de référence pour détecter les biais de mode.
Voici les révisions qui sont proposées aux procédures d’échantillonnage :
4. Procédures d'échantillonnage
4.5. Sondages avec méthode mixte
On parle de « méthode mixte » quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires (p. ex. une combinaison de contact par téléphone, en ligne, en personne ou par courrier).
Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu’une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d’enquête.
- Il faut énoncer la justification des méthodes en particulier, à la fois dans la proposition de recherche et le rapport d’enquête.
- a) Le risque de biais liés à la méthode peut être diminué si les méthodes d'administration sont semblables (c-à-d. que dans les 2 cas, le sondage est administré par l'intervieweur [p. ex. par téléphone ou en personne] ou est auto-administré [p. ex. en ligne ou par courrier]).
- Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.
Les révisions proposées de la section 2, conception du questionnaire, sont les suivantes (il s’agirait d’un élément portant un numéro distinct dans la section 2, et pour l’instant, le numéro affiché est « x »; nous utilisons pour l’instant la même explication introductive des sondages par méthode mixte que celle donnée dans la section 4.5) :
2. Conception du questionnaire
2.1. Normes
- x) On parle de « méthode mixte » quand les cabinets de recherche utilisent différentes façons de faire remplir les questionnaires (p. ex. une combinaison de contact par téléphone, en ligne, en personne ou par courrier). Quand on utilise une méthode de réponse mixte pour réaliser un sondage :
- Lorsqu’il s’agit de combiner ou de comparer des données obtenues au moyen de différentes méthodes, il faut prendre les mesures nécessaires afin d’optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
- Il faut inclure les questions pour lesquelles on dispose de données de haute qualité sur la population et qui peuvent donc servir de points de référence pour examiner la possibilité de biais liés aux méthodes. Les questions d’ordre démographique requises peuvent contribuer à cette fin (voir la section 1.2.4). Il faut aussi tenter de relever tout autre point de référence de haute qualité qui est disponible (qu’il soit d’ordre démographique, comportemental ou relatif à l’attitude) qui pourrait être en corrélation avec des mesures clés du sondage. Ce dernier élément peut contribuer à mieux relever les biais liés aux méthodes dans les mesures clés des sondages.
La version actuelle de la norme figurant à la section 3 pour le prétest ne mentionne pas précisément les sondages par méthode mixte.
À titre de référence, la section 3, prétests (version en ligne), est la suivante :
3. Prétests
3.1. Normes
- Tous les éléments d’un nouveau questionnaire ou d’un questionnaire révisé utilisé dans un sondage antérieur, lesquels sont susceptibles d’influer sur la qualité des données et le comportement des répondants doivent faire l’objet d’un prétest. Cela comprend l’apparence et le fonctionnement en ligne du questionnaire.
- Le client doit avoir l’occasion d’effectuer un prétest du questionnaire en ligne et de l’approuver avant le lancement.
- Le prétest doit comprendre l’approfondissement qui sert à inviter les participants recrutés pour le sondage à formuler des commentaires sur leur compréhension des questions et à réagir à ces dernières. Par exemple, une courte série de questions pourrait être intégrée à la fin du sondage de mise à l’essai. Les cabinets de recherche et les clients doivent convenir au préalable si l’approfondissement aura lieu pendant ou après le sondage. À la demande du client, un prétest cognitif doit être réalisé.
- Afin d’assurer l’efficacité des questionnaires auprès de sous-groupes particuliers lorsque leur efficacité est mise en question (p. ex., en raison de la formulation, de l’âge, du niveau d’études, etc.), les caractéristiques sociodémographiques des participants visés doivent être approuvées par le client avant le début du recrutement.
- On doit faire au moins 10 sondages de prétest dans chaque langue dans laquelle le sondage final sera mené. Les projets qui visent de petits groupes cibles pourraient constituer une exception, comme des sondages sur la satisfaction des clients auprès d’un petit bassin de clients. Dans de tels cas, le cabinet de recherche doit, en collaboration avec le client, prendre les mesures nécessaires pour s’assurer que les quelques prétests réalisés sont suffisants pour garantir la qualité du questionnaire. Par exemple, un prétest cognitif peut s’avérer nécessaire.
- Les mises à l’essai terminées ne seront pas intégrées à l’ensemble final des données. Des exceptions pourraient toutefois être applicables aux projets :
- qui visent des groupes cibles difficiles à rejoindre, ou
- pour lesquels aucun changement n’est apporté au questionnaire.
- La documentation des prétests doit être fournie au client avant que le questionnaire ne soit finalisé. La documentation doit comprendre (à tout le moins) :
- une description de la démarche de prétest suivie et du nombre d’entrevues menées
- les résultats ou toute modification qui en résulte
- le délai moyen pour répondre au sondage
- une déclaration indiquant si les dossiers de prétests seront conservés dans l’ensemble des données finales. Le rapport d'enquête final doit également contenir cette information.
F3.1 La section 3.1.3, prétests, précise un minimum de 10 entrevues de prétest en français et de 10 en anglais, et aucune mention n’est faite des sondages par méthode mixte. Dans le cas d’un sondage par méthode mixte, devrait-on exiger un nombre minimum d’entrevues de prétest en français et en anglais pour chaque méthode? Dans l’affirmative, devrait il y avoir un nombre minimum d’entrevues par méthode en français et en anglais?
À l’heure actuelle, dans la section 8, taux relatifs aux résultats, il n’y a pas de norme sur la façon de présenter les taux relatifs aux résultats pour un sondage par méthode mixte.
La proposition suivante est fondée sur les recommandations générales figurant dans le document de l'AAPOR intitulé Standard Definitions : Final dispositions of case codes and outcome rates for surveys Note de bas de page 51. Une analyse plus détaillée se trouve dans le rapport de Sage Research, Pratiques exemplaires visant à améliorer la participation aux sondages en ligne Note de bas de page 52.
Le texte qui est proposé ci-dessous ferait partie de la rubrique des « définitions » de la partie 8 (8.1 à 8.4) et figurera avant la partie des « exigences obligatoires » (8.5). Pour l'instant, il est désigné comme la partie « 8.x ».
8. Taux relatifs aux résultats
8.x. Sondages avec méthode mixte
- 1) Les principes généraux pour le calcul du taux de réponse aux sondages par méthode mixte sont les suivants : a) calculer le taux de réponse pour chaque méthode ou étape d'échantillonnage, b) utiliser la même formule générale de calcul du taux de réponse pour chaque mode ou étape d'échantillonnage et c) calculer un taux de réponse unique total. Les détails de la façon dont on le fera seront adaptés à la conception particulière de l'enquête par méthode mixte.
F4.1 À l’heure actuelle, dans la section 8, taux relatifs aux résultats, il n’y a pas de norme sur la façon de présenter les taux de résultat pour un sondage par méthode mixte. Le document d’information propose une norme constituée de 3 principes : a) calculer le taux de réponse pour chaque méthode ou étape d’échantillonnage, b) utiliser la même formule générale de calcul du taux de réponse pour chaque mode ou étape d’échantillonnage et c) calculer un taux de réponse unique total. Avez-vous des changements à suggérer à la norme proposée?
Voici les normes existantes qui font référence aux sondages avec méthode mixte :
Sections 14 (en ligne) et 15 (par téléphone). Exigences obligatoires relatives au rapport d'enquête
14.5/15.5 Collecte de données
- 2) Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.
14.6/15.6 Contrôles de la qualité
- 3) Dans le cas des sondages par méthode mixte, une description détaillée de toute incidence que peut avoir, sur la qualité des données, la combinaison des données obtenues au moyen de différents modes et instruments de cueillette.
Les sections 14.5 et 15.5 no 2 seront mises à jour en fonction d’une discussion du groupe d’experts dans la concernant la section 1.2.4 dans la documentation relative à la proposition, où ce même libellé a été utilisé.
Les révisions proposées des sections 14.6 et 15.6 visent a) à garantir la clarté des décisions prises quant à la combinaison ou la non-combinaison de données entre méthodes et b) à exiger des descriptions de tout ajustement apporté aux données pour atténuer les effets de méthode.
Révision proposée des sections 14.6 et 15.6, contrôles de la qualité
14.6/15.6 Contrôles de la qualité
- 3) Dans le cas des sondages par méthode mixte, une description détaillée de toute incidence que peut avoir, sur la qualité des données. la combinaison des données obtenues au moyen de différents modes et instruments de cueillette. La discussion doit aussi comprendre les éléments suivants :
- une justification de la décision de combiner ou non les données de méthodes différentes au moment de présenter les résultats
- une description de toute étape franchie pour atténuer les effets de méthode sur les résultats du sondage
F5.1 La norme existante de la section contrôles de la qualité des exigences obligatoires relatives au rapport d’enquête porte sur la « description de toute incidence que peut avoir, sur la qualité des données, la combinaison des données obtenues au moyen de différents modes de cueillette ». Le document d’information propose une exigence de plus : description de toute étape franchie pour atténuer les effets de méthode sur les résultats du sondage.
Cet ajout est-il nécessaire ou utile? Avez-vous des changements à suggérer à la formulation?
F6.1 Avez-vous des révisions à suggérer aux normes afin d’aborder les questions associées aux sondages avec méthode mixte?
La section 6, collecte de données auprès d’enfants, de jeunes ou de répondants vulnérables, ne fait pas référence à la question de savoir si, ou comment, des incitatifs sont utilisés pour cette population d’enquête.
Les sections 7.5 (téléphone et 7.6 (en ligne) ne font pas référence à cette population non plus :
7.5/6. Incitatifs et honoraires
- 1) Fournir, dans les documents du projet et de l'enquête, des renseignements sur tout incitatif ou honoraires qui seront utilisés dans le cadre d'un sondage par téléphone ou en ligne, notamment :
- le type d’incitatifs ou d’honoraires (p. ex., monétaires, non monétaires)
- la nature de l’incitatif (p. ex., argent, prix, points, dons, paiement direct, etc.)
- la valeur financière prévue de l’incitatif
Les normes du GC sur la recherche qualitative comportent une norme qui se rapporte aux incitatifs pour cette population cible :
5. Recrutement de participants
5.4. Incitatifs
- 7) Les éléments d'ordre éthique devraient être pris en considération, surtout au moment d'offrir des incitatifs à des jeunes ou à des groupes vulnérables (p. ex. le paiement n'est pas coercitif ou expose les jeunes ou les personnes vulnérables à un risque qu'ils auraient autrement évité).
La DROP a reçu des avis de l’ARIM. L’ARIM a posé la question suivante à certains membres (il est à noter que l’on ne sait pas clairement si le contexte de la question était la recherche d’enquête, ou s’il visait également la recherche qualitative) : [Traduction] « Les renseignements recueillis auprès de membres du Sceau d’or de l’ARIM, et en s’entretenant avec d’autres membres, montrent que le contact avec les enfants et les jeunes est établi par l’entremise de leurs parents et gardiens. Veuillez fournir vos commentaires sur la façon dont votre entreprise offre des incitatifs aux enfants et aux jeunes. » La DROP a transmis la réponse suivante de l’ARIM :
[Traduction] Effectuer de la recherche au niveau des ménages, de sorte que les incitatifs soient offerts à tous les membres du ménage, indépendamment de leur âge.
L’incitatif est toujours en espèces; il faut reconnaître que les jeunes peuvent ne pas être en mesure d’encaisser eux-mêmes un chèque.
Certains membres offrent les incitatifs au parent ou au gardien au nom de l’enfant.
Des cartes cadeaux liées à des jeux vidéo sont offertes par certains membres.
La DROP aimerait que le groupe d'experts se demande si les normes téléphoniques et en ligne devraient comporter une orientation sur les incitatifs aux enfants, aux jeunes et aux répondants vulnérables.
Les normes définissent comme suit les enfants et les jeunes :
Si les membres du groupe d’experts croient qu’il devrait y avoir une orientation pour cette population de sondage, voici un ajout aux sections 7.5 et 7.6, incitatifs et honoraires, qui constitue un point de départ pour l’étude du groupe d’experts :
7.5/6. Incitatifs et honoraires
- Fournir, dans les documents du projet et de l'enquête, des renseignements sur tout incitatif ou honoraires qui seront utilisés dans le cadre d'un sondage par téléphone ou en ligne, notamment :
- le type d’incitatifs ou d’honoraires (p. ex., monétaires, non monétaires)
- la nature de l’incitatif (p. ex., argent, prix, points, dons, paiement direct, etc.)
- la valeur financière prévue de l’incitatif
- déterminer à l’avance qui recevra l’incitatif (le parent ou l’adulte responsable [gardien, etc.], le répondant ou les 2)
- le parent ou l’adulte responsable doit consentir à l’incitatif, indépendamment de la personne qui le reçoit
- les éléments d’ordre éthique devraient être pris en considération au moment d’offrir des incitatifs à des enfants, des jeunes ou des groupes vulnérables (p. ex. le paiement n’est pas coercitif ou expose les jeunes ou les personnes vulnérables à un risque qu’ils auraient autrement évité)
G1. À l’heure actuelle, aucune norme ne se rapporte précisément aux incitatifs offerts lorsque les répondants sont des enfants, des jeunes ou des personnes vulnérables. Devrait-il y avoir des normes ou des lignes directrices à ce sujet? Dans l’affirmative, quelles devraient être celles-ci? Le document d’information présente une norme possible que vous voudrez peut-être modifier.
Une atteinte à la sécurité des données se définit comme la perte ou la communication de renseignements personnels, ou l’accès non autorisé à ceux-ci.
Des révisions ou des ajouts aux normes actuelles doivent être effectués pour répondre aux atteintes à la sécurité des données. L’objectif du comité est de cibler les modifications ou ajouts aux normes, et toutes les lignes directrices qui doivent être incluses.
Les normes actuelles sont les suivantes :
- 1) Protection contre l'accès non autorisé ou illégal : les chercheurs doivent avoir recours à des technologies de pointe pour protéger les données d'enquête recueillies et stockées dans des sites Web ou des serveurs contre un accès illégal ou non autorisé par des tiers (piratage). Les cabinets de recherche doivent également contrôler l'accès à toutes les bases de données contenant des données relatives à l'enquête, de façon à ce que seules les personnes disposant d'une autorisation de sécurité pertinente soient en mesure d'accéder à la base de données, que ce soit à l'aide d'un mot de passe ou par d'autres mécanismes de contrôle de l'accès (comme des mécanismes de contrôle biométrique).
- 3) Le chercheur ne peut confier à un sous-traitant (y compris à une société affiliée) une fonction qui permet d'accéder aux données de l'enquête sans le consentement écrit préalable du client.
- 5) Protection contre les dommages physiques aux serveurs : Les chercheurs doivent également mettre en place des mesures visant à assurer la sécurité « physique » des données et des serveurs.
1) Si les données sont stockées temporairement sur un serveur exploité par un autre fournisseur, le chercheur doit s'assurer que le fournisseur prenne les mesures nécessaires pour respecter les exigences décrites au paragraphe 13.2. Le stockage temporaire des données recueillies doit être d'une durée très limitée.
1) En cas d'atteinte à la protection des données, le client doit être aussitôt informé de la nature et de l'étendue de l'infraction.
L'examen de la documentation demandée par la DROP (voir pp. 33-36) cite ce qui suit comme cadre pour l'examen de la protection des données :
La DROP aimerait savoir si ce cadre suggère une révision de la version actuelle des normes citées ci-dessus.
A1.1 Le contexte dresse la liste des normes actuelles en matière de protection contre les atteintes à la sécurité des données et cite un cadre de protection des données dans l’analyse documentaire commandée par la DROP.
Le cadre de l’analyse documentaire suggère-t-il des révisions ou des ajouts aux normes actuelles ou aux lignes directrices en ce qui concerne la prévention des atteintes à la sécurité des données? Ou les normes actuelles sont-elles suffisantes? Par exemple, est-ce qu’il y a autre chose à déclarer en ce qui concerne ce qui suit : la destruction de l’information
Remarque : Les sections 13.1.1 à 14.1.1 portent sur la conservation des données techniques, mais elles ne portent pas sur [a] la destruction des données en général ni sur [b] la destruction de renseignements en cas d’atteinte à la sécurité des données.
le chiffrement
Les méthodologies mobiles et en ligne rendent possible la collecte « passive » de différents types de renseignements personnels, c’est-à-dire sans interaction directe avec les répondants. Les normes actuelles énoncées dans le contexte traitent-elles adéquatement de la collecte passive de données sur les renseignements personnels et dans quelles circonstances cela est permis?
Les Lignes directrices d'ESOMAR/GBRN sur la recherche à l'aide d'appareils mobiles Note de bas de page 53 indiquent :
Les applications mobiles sont capables de recueillir un large éventail de données à caractère personnel sans une interaction directe avec les personnes concernées. Des exemples incluent l’utilisation de l’historique Web et de navigation, l’utilisation de statistiques d’application, des données de carte de fidélité, la géolocalisation, des données de médias sociaux, les données d’ordinateur prêt-à-porter et IdO et autres données générées ou obtenues à partir d’appareils mobiles.
Certaines de ces capacités peuvent également s’appliquer à des sondages en ligne où le dispositif utilisé par la personne est un ordinateur.
Le document des Ligne directrices mentionne une exception importante à ce qui constitue des données « personnelles » à l’aide de certaines caractéristiques de l’appareil :
Bien qu'il soit possible de détecter passivement le type d'appareil utilisé par la personne concernée, cela n'est pas considéré comme une donnée personnelle tant et aussi longtemps que l'objectif de cette information est d'optimiser les performances de l'application et les résultats du sondage.
Les normes existantes traitent des principes généraux de protection de l'anonymat et de la confidentialité du répondant, et traitent de la collecte passive de données dans une certaine mesure.
5.1.4 Protection de l'anonymat et de la confidentialité des répondants
5.3. Protection des renseignements personnels dans le cadre de la recherche en ligne
7.2. Cueillette de données et techniques de recrutement
Il se peut que les normes ci-dessus soient suffisantes pour régler les problèmes associés à la collecte passive de données dans les enquêtes, et le comité sera interrogé à ce sujet si cela est le cas.
Par ailleurs, il est possible que les normes existantes ne soient pas considérées comme suffisamment explicites. Pour aider le comité à examiner cette question, nous avons procédé à la reformulation de la norme 7.2 :
- 1) La collecte passive de données fait référence à la collecte de renseignements personnels sur les répondants sans interaction directe avec eux.
Les chercheurs ne doivent pas utiliser des techniques de collecte de données ou de recrutement ayant recours à des méthodes passives de collecte de données, à moins que les répondants au sondage ou les répondants potentiels aient d'abord donné leur consentement éclairé, ou à moins qu'une telle collecte de renseignements soit permise sur le plan légal ou en vertu des conditions d'utilisation du site Web, du service ou de l'application d'où proviennent les données.
Des exemples de collecte passive de renseignements personnels comprennent notamment : l'utilisation du Web et l'historique de navigation, les statistiques d'utilisation des applications, la géolocalisation, les données biométriques permettant d'identifier une personne, les données sur les réseaux sociaux, les données provenant d'accessoires à porter sur soi et de l'IdO (Internet des objets) et d'autres données générées par les appareils mobiles ou les ordinateurs des répondants ou obtenues à partir de ceux-ci.
La détection passive du type d'appareil utilisé par le répondant ne constitue pas un renseignement personnel tant que l'objectif est d'optimiser la performance de l'application et les résultats du sondage.
Certains éléments pour la reformulation possible de l’article 7.2 incluent ce qui suit :
Est-ce que l’expression « site Web, application ou service » inclut clairement les comités ou communautés, ou cela doit être révisé?
Remarque : en incluant les comités (et peut-être les communautés) dans la portée de « collecte passive de données sur les renseignements personnels », la norme proposée devrait-elle également être incorporée dans la norme sur l’utilisation par téléphone? La plupart des possibilités de collecte passive de données s’appliquent à des sondages en ligne. Y a-t-il des questions de collecte passive de données avec des sondages par téléphone?
le codage du visage consiste à enregistrer les données du visage d'un sujet alors qu'il effectue un sondage ou une démarche semblable. Un suiveur oculaire, des casques de réalité virtuelle et d'autres appareils portables peuvent être utilisés d'une manière comparable. (p. 10)Pour y remédier, la proposition de révision de l'article 7.2 inclut les « données biométriques personnelles » (ce ne sont pas toutes les données biométriques qui permettent une identification individuelle; par exemple, un modèle de suivi du regard superposé sur un objet à l'étude ne permet pas d'identifier la personne).
A2.1 Les méthodologies en ligne et mobiles créent des possibilités de collecte « passive » de Les méthodologies mobiles et en ligne rendent possible la collecte « passive » de différents types de renseignements personnels, c’est à dire sans interaction directe avec les répondants.
Les normes actuelles énoncées dans le contexte traitent-elles adéquatement de la collecte passive de données sur les renseignements personnels dans le cadre d’un sondage?
Pour faciliter la discussion, le contexte donne une autre option à la norme 7.2 Cueillette de données et techniques de recrutement, qui traite de la collecte de données de manière différente. Que pensez-vous de cette option? Si vous pensez qu’une telle option est nécessaire, veuillez apporter les modifications que vous jugez nécessaires.
Par souci de commodité, cette option est la suivante :
Révision possible de la norme 7.2 Cueillette de données et techniques de recrutement
Les chercheurs ne doivent pas utiliser des techniques de collecte de données ou de recrutement ayant recours à des méthodes passives de collecte de données, à moins que les répondants au sondage ou les répondants potentiels aient d’abord donné leur consentement éclairé, ou à moins qu’une telle collecte de renseignements soit permise sur le plan légal ou en vertu des conditions d’utilisation du site Web, du service ou de l’application d’où proviennent les données.
Des exemples de collecte passive de renseignements personnels comprennent notamment : l’utilisation du Web et l’historique de navigation, les statistiques d’utilisation des applications, la géolocalisation, les données biométriques permettant d’identifier une personne, les données sur les réseaux sociaux, les données provenant d’accessoires à porter sur soi et de l’IdO (Internet des objets) et d’autres données générées par les appareils mobiles ou les ordinateurs des répondants ou obtenues à partir de ceux-ci.
La détection passive du type d’appareil utilisé par le répondant ne constitue pas un renseignement personnel tant que l’objectif est d’optimiser la performance de l’application et les résultats du sondage.
Les normes relatives aux sondages téléphoniques et en ligne ne contiennent actuellement pas de normes ayant particulièrement trait aux photographies, aux vidéos et aux enregistrements audio des répondants.
L’article 3.4.2 des lignes directrices de l’ESOMAR et du GBRN concernant les photographies, les vidéos et les enregistrements mentionne ce qui suit :
Les photographies, enregistrements vidéo et audio sont considérés comme des données à caractère personnel et, par conséquent, doivent être recueillis, traités et stockés en tant que tel. Ils peuvent uniquement être communiqués avec un client si la personne concernée donne son consentement préalable en connaissant l’objectif précis pour lequel ils seront utilisés. Lorsque des renseignements qui permettraient d’identifier personnellement les répondants sont supprimés (par exemple à l’aide de pixellisation ou en utilisant une technologie de modification de la voix) de sorte qu’ils ne sont plus considérés comme des données à caractère personnel, ils peuvent être communiqués à un client à condition que le client s’engage à ne faire aucune tentative pour identifier la personne.
Les chercheurs ne doivent pas demander aux personnes concernées (ou à celles qui peuvent agir en tant que collecteurs de données) de se livrer à des activités de surveillance des personnes ou des lieux publics. Les personnes concernées devraient recevoir des tâches limitées (p. ex., la saisie d’interactions avec leurs amis avec leur consentement, ou l’affichage d’images ou d’objets) qui ne supposent pas la surveillance d’une zone particulière où des données personnelles seraient saisies sans le consentement des personnes présentes. Lorsqu’une observation enregistrée d’un lieu est entreprise, des signes clairs et lisibles indiquant que la zone est en observation ainsi que les coordonnées du chercheur ou de l’organisme de recherche effectuant l’étude devraient être affichés, puis les images des personnes doivent être pixélisées ou supprimées dès que possible. Les caméras doivent être orientées de façon à surveiller uniquement les zones destinées à l’observation. (p. 10-11)
Le texte qui suit est une version légèrement modifiée des lignes directrices de l'ESOMAR et du GBRN qui met l'accent sur le contexte des sondages (étant donné que le comité n'étudie que la révision des sondages par téléphone et en ligne) :
Les chercheurs ne doivent pas demander
A3.1 Le contexte comprend une norme relative aux photographies, aux vidéos et aux enregistrements étroitement fondée sur une norme de l’ESOMAR et du GBRN.
Les normes relatives aux sondages téléphoniques et en ligne ne contiennent actuellement pas de normes ayant particulièrement trait aux photographies, aux vidéos et aux enregistrements audio des répondants. Les normes relatives aux sondages téléphoniques et en ligne devraient-elles contenir une telle norme ?
Si l’ajout d’une norme est nécessaire, que pensez-vous des normes de l’ESOMAR et du GBRN modifiées dans le contexte? Veuillez y apporter les modifications que vous jugez nécessaires.
La DROP a demandé au comité de valider si des ajouts aux normes téléphoniques relatives à la sensibilité de l’environnement du répondant sont nécessaires. Il y a 2 lignes directrices pertinentes sur ce sujet dans les lignes directrices de l’ESOMAR et du GBRN (p. 7) :
3.1.1 Sécurité : Lors d'un appel sur un téléphone mobile, les chercheurs pourraient contacter une personne qui effectue une activité ou qui se trouve dans un environnement différent de ce que l'on s'attend avec un appel sur une ligne fixe. Cela peut inclure la conduite d'un véhicule, l'utilisation de machineries ou une marche dans un espace public. Le chercheur doit confirmer si la personne peut légalement répondre au téléphone, et si elle se trouve dans un lieu sûr et adéquat pour prendre l'appel. Si le chercheur ne reçoit pas la confirmation, l'appel devrait prendre fin tout en laissant la possibilité de faire d'autres tentatives visant à joindre la personne à un autre moment.
3.1.2 Confidentialité et données personnelles : Un chercheur pourrait communiquer avec un sujet qui effectue une activité ou qui se trouve dans une situation où d'autres personnes peuvent entendre la conversation. Dans ce cas, le chercheur doit tenir compte de la nature de la recherche ainsi que du contenu, en considérant la possibilité que la personne risque d'être entendue et que des renseignements personnels ou sur le comportement puissent être divulgués par inadvertance, et qu'elle pourrait volontairement modifier ses réponses en raison de la situation dans laquelle elle se trouve. Le cas échéant, l'appel doit être reporté à un autre moment, lorsque la confidentialité ne risquera pas d'être compromise.
Veuillez noter que l’article 3.1.1 des lignes directrices de l’ESOMAR et du GBRN ci-dessus s’applique précisément aux téléphones portables, mais que l’article 3.1.2 pourrait s’appliquer aux lignes fixes comme aux téléphones mobiles.
Les normes actuelles sur le téléphone, à l’article 5.2, point 1, Évitement du harcèlement, sont axées sur la sensibilité de l’objet du sondage, mais elles n’abordent pas directement les problèmes provoqués par le cadre de l’entrevue :
1) Le chercheur prendra tous les moyens raisonnables pour s'assurer que les répondants ne soient en aucune façon importunés ni gênés par une entrevue et qu'ils n'en subiront aucun effet néfaste. Ils doivent aborder les sujets délicats de façon à réduire au minimum le malaise et les craintes tant chez les répondants que chez l'intervieweur.
A4.1 Étant donné que les répondants sont de plus en plus susceptibles de répondre aux appels en utilisant un téléphone mobile, certains environnements peuvent causer des situations problématiques (p. ex. conduire ou marcher dans un endroit public). Il est possible que les répondants se trouvent dans un environnement où leur appel pourrait être entendu, peu importe s’ils utilisent un téléphone mobile ou un téléphone fixe.
Devrait-il y avoir une norme (ou une ligne directrice) pour que l’interviewer s’assure que le répondant se trouve dans un endroit où il est à l’aise de prendre l’appel? Sinon, est-ce raisonnable qu’il incombe au répondant d’indiquer s’il y a un problème, et ainsi ne pas avoir de norme (ligne directrice)?
Si une norme ou une ligne directrice est nécessaire, comment la formuleriez-vous?
Point de départ d’une norme possible : l’interviewer doit (devrait?) confirmer auprès du répondant qu’il est à l’aise de faire l’entrevue à l’endroit où il se trouve.
Les normes actuelles exigent que les données d'enquête soient stockées au Canada.
- 2) Protection contre l'accès non autorisé ou illégal : Puisque certaines administrations permettent à leurs fondés de pouvoir, dans certaines circonstances, d'accéder à toutes les données stockées sur les serveurs de leur administration (p. ex., aux États-Unis, en vertu des dispositions du Uniting and Strengthening America by Providing Appropriate Tools Required to Intercept and Obstruct Terrorism Act [Unifiant et renforçant l'Amérique en offrant les outils appropriés nécessaires à l'interception et à l'obstruction des actes terroristes] appelée USA PATRIOT Act [voir l'aperçu de cette loi fournie par le Secrétariat du Conseil du Trésor]), les cabinets de recherche doivent veiller à ce que toutes les bases de données contenant de l'information liée aux enquêtes soient sauvegardées sur des serveurs et des serveurs de sauvegarde situés uniquement au Canada.
- Si le client a donné au préalable son approbation écrite, les serveurs peuvent être situés dans d'autres pays, où :
- des protections équivalentes sont offertes pour les renseignements personnels comme au Canada en vertu de lois telles que la Loi sur la protection des renseignements personnels, L.R. 1985, ch. P-21, et la Loi sur la protection des renseignements personnels et les documents électroniques, ch. 2000, ch 5, et en vertu des politiques du gouvernement du Canada
- les lois ne permettent pas au pays ou à toute autre entité ou personne d’obtenir le droit d’examiner ou de copier des renseignements liés à l’enquête sans le consentement écrit préalable du client
- Pour ce qui est de donner son consentement en vue d’établir une base de données dans un autre pays, le client peut, à son gré, demander au chercheur de fournir un avis juridique (d’un avocat qualifié dans le pays étranger) indiquant que les lois de ce pays respectent les exigences décrites à l’alinéa 2 a) ci-dessus, ou encore de rembourser au gouvernement du Canada les frais liés à l’obtention d’un tel avis. Le gouvernement du Canada a le droit de rejeter toute demande de stockage des données d’enquête dans un pays autre que le Canada si des raisons portent à croire que la sécurité, la confidentialité ou l’intégrité des données peuvent être menacées. Le gouvernement du Canada peut également exiger que les données devant être transmises ou traitées à l’extérieur du Canada soient chiffrées au moyen d’une cryptographie approuvée par le gouvernement du Canada et que la clé privée requise pour déchiffrer les données soit gardée au Canada, conformément aux processus de gestion et de conservation des clés approuvés par le gouvernement du Canada.
- Le chercheur doit s’assurer que toutes les bases de données dans lesquelles sont stockées des données relatives à la recherche ne soient liées physiquement ou logiquement, directement ou indirectement, à aucune autre base de données qui soit située au Canada ou dans un autre pays approuvé par l’autorité contractante aux termes de l’alinéa 2a) et qu’elles respectent les exigences du présent article.
- Le chercheur doit s’assurer que toutes les données relatives au sondage sont traitées uniquement au Canada ou dans un autre pays approuvé par le client conformément à l’alinéa 2a).
- Le chercheur doit s’assurer que le trafic sur le réseau national (c-à-d. le trafic partant d’une partie du Canada vers une destination située dans une autre partie du Canada) s’effectue exclusivement au Canada, sauf si le client a approuvé au préalable, par écrit, une autre route. Le client envisagera les demandes d’acheminement du trafic par un autre pays uniquement si ce pays respecte les exigences décrites à l’alinéa 2a).
A5.1 Les normes actuelles exigent que les données des sondages soient stockées au Canada. La DROP aimerait savoir si le comité estime que d’autres normes sont nécessaires en ce qui concerne le stockage infonuagique, que ce soit pour ce qui est du lieu des serveurs et des serveurs de sauvegarde ou de tout autre aspect de la sécurité des données propre au stockage infonuagique . Avez-vous des suggestions?
Les normes sur les sondages en ligne et par téléphone ne contiennent pas de normes ou de lignes directrices en matière d’accessibilité ou d’alphabétisation.
La série « B » de questions aborde plusieurs aspects de ce sujet. Nous vous conseillons de consulter l’ensemble de la série de questions avant de répondre à la question dans cette section (B1).
La DROP fait référence à la page d’Web Accessibility Initiative (WAI) Home (disponible en anglais seulement) pour les définitions d’accessibilité, de convivialité et d’inclusion :
La DROP aimerait savoir si le comité : [le comité] connaît-il un moyen de concentrer la discussion sur l’accessibilité, la convivialité, l’inclusion et l’alphabétisation?
B1.1 Devrait-on ajouter dans les normes un énoncé sur l’importance des principes d’accessibilité, y compris des considérations en matière d’alphabétisation, de convivialité et d’inclusion?
Si oui :
Il n’y a actuellement aucune norme d’accessibilité dans les normes en ligne relatives à l’accessibilité des sondages en ligne pour les personnes handicapées ou aux autres personnes ayant des difficultés à remplir un sondage en ligne.
La DROP nous a mentionné ce qui suit : La DROP a été informé que le Secrétariat du Conseil du Trésor travaille sur un projet de politique relative à la norme d’accessibilité propre à tous les appareils utilisés pour accéder à des sondages en ligne. Les résultats de ce travail seront probablement présentés au cours de la prochaine année.
Lorsque la politique du Secrétariat du Conseil du Trésor sera finalisée, elle aura préséance.
Veuillez noter que le comité a déjà examiné la question à savoir s’il devrait y avoir des lignes directrices pour des questionnaires sur appareils mobiles. En fonction des décisions du comité, cela pourrait résoudre certains problèmes d’accessibilité.
Aux pages 32 à 35 de l’examen de la documentation demandée par la DROP, une section sur l’accessibilité est présentée. Dans cette section, il y a 3 listes de lignes directrices provenant de diverses sources.
Dans l’examen de la documentation, ils sont associés aux sondages mobiles accessibles, mais vous verrez que bon nombre de ces articles se rapportent à des sondages généralement en ligne.
Les 3 listes sont les suivantes (voir la documentation révisée pour le contexte) :
Page 26 : Lignes directrices sur l'accessibilité des contenus Web :
Pages 26-27 : Initiative d'accessibilité Web du W3C « qui pourrait s'appliquer aux sondages de recherche »
Page 27 Liste des « outils commerciaux » :
La question au comité est de savoir si l'un des éléments ci-dessus suggère que des normes ou lignes directrices soient incluses dans la mise à jour des normes pour les sondages en ligne. Quelques réflexions sur la façon d'aborder cette question :
B2.1 Il n’y a actuellement pas de normes d’accessibilité dans les normes en ligne. Le contexte énumère diverses pratiques en matière d’accessibilité dans l’analyse documentaire demandée par la DROP, ainsi que certains facteurs à prendre en considération lors de l’évaluation de ces catégories. Certains de ces facteurs devraient-ils être incorporés dans la mise à jour des normes en ligne? Veuillez expliquer vos choix et vos suggestions de modifications à la formulation.
Les normes pour les sondages en ligne actuelles ne contiennent pas de normes ou de lignes directrices en matière d’alphabétisation.
L’analyse documentaire commandée par la DROP indique ce qui suit au sujet de l’alphabétisation et de la convivialité des sondages :
p. 27-28 : les études sur la convivialité offrent certaines indications sur la façon de concevoir des sondages en ligne pour qu’ils soient accessibles aux personnes ayant un faible niveau d’alphabétisation. Il s’agit notamment de faire des questions courtes et d’utiliser un langage simple (c-à-d., éviter l’utilisation du jargon, de plus de 3 noms de suite, la forme passive, et des phrases avec des verbes substantifs). Il s’agit d’une pratique exemplaire de conception de questionnaire de sondage en général, mais cela s’applique particulièrement lorsque la population ciblée a un faible niveau d’alphabétisation.
En plus de la langue, les sondages en ligne permettent aux chercheurs d’utiliser des éléments de conception pour aider le répondant à comprendre et remplir le sondage. À titre d’exemple, les conventions de style et de conception suivantes peuvent être utiles : utiliser une police de plus grande taille, avoir une conception claire et simple (qui n’est pas encombré par trop de couleurs ou de graphiques), et utiliser les caractères gras pour attirer l’attention sur les mots « importants » qui transmettent le sens de la question ou des instructions qui sont importantes pour le répondant (et faciliter sa lecture des renseignements).
p.28 : lorsqu’il s’agit d’alphabétisation, les questionnaires devraient être rédigés dans un langage simple, dans la mesure du possible et lorsque cela est justifié (pour un sondage de l’opinion publique, cela serait indispensable, mais pour un sondage d’un échantillon de population ciblé, cela peut être impossible ou non souhaitable).
Dans une note de bas de page, l’examen de la documentation fait référence au Canadian Style Guide on Plain Language, article 13, qui comporte une variété de lignes directrices (disponible en anglais seulement).
B3.1 Les normes en lignes actuelles ne contiennent pas de normes ou de lignes directrices en matière d’alphabétisation. L’analyse documentaire demandée par la DROP recommande ce qui suit :
En ce qui a trait à l’alphabétisation, les questionnaires devraient utiliser un langage simple dans la mesure du possible et lorsque c’est justifié.
Devrait-il y avoir une norme ou une ligne directrice sur l’alphabétisation dans les normes en lignes? Si oui, que suggérez-vous, et devrait-il s’agir d’une norme ou d’une ligne directrice (l’analyse documentaire recommande que ce soit une ligne directrice.)? Aussi, devrait-il y avoir des exemples de « langage simple »? Sinon, une référence à la section sur le langage clair et simple du Guide du rédacteur devrait-elle être ajoutée?
Il n’y a actuellement aucune norme d’accessibilité dans les normes téléphoniques relatives à l’accessibilité des sondages par téléphone pour les personnes handicapées ou autres personnes ayant des difficultés à remplir un sondage par téléphone.
Veuillez consulter à l'annexe C : Lignes directrices sur la recherche sur les médias sociaux de l'ARIM pour cette section. Veuillez noter que le comité se limite à l'utilisation des médias sociaux en rapport avec des sondages téléphoniques ou en ligne, et qui répondent également à la définition de la recherche sur l'opinion publique de la DROP Note de bas de page 54. Selon cette définition, (1) il doit y avoir des questions d'attitude et d'opinion dans la recherche, et (2) la recherche doit être fondée sur des questions à poser. Ainsi, la recherche composée de moissonnage du Web n'est pas considérée comme une recherche sur l'opinion publique.
L’objectif du comité est de réviser et de mettre à jour les normes pour les sondages téléphoniques et en ligne.
L’introduction de l’annexe C : Lignes directrices sur la recherche sur les médias sociaux mentionne ce qui suit :
Le concept des consommateurs générant leur propre contenu sur Internet est devenu omniprésent. Cela a créé de nouvelles possibilités d’observer, d’interagir et de recueillir des renseignements. De nombreuses techniques ont été élaborées pour tirer parti des médias sociaux tels que des comités communautaires, l’externalisation ouverte, la co-création, la netnographie, la recherche sur les blogues et le moissonnage du Web. Il est probable que bien d’autres techniques évolueront au cours des prochaines années alors qu’Internet poursuit sa progression.
Bon nombre des possibilités de recherche visées ci-dessus n’entrent pas dans les normes pour les sondages téléphoniques et en ligne de la DROP, car les activités ne sont pas considérées comme des sondages de recherche sur l’opinion publique. Cependant, il est possible de faire un sondage en ligne et peut-être même un sondage téléphonique dans le cas de communautés de recherche en ligne. Et, il est possible que d’autres types de sites de médias sociaux puissent être des plateformes pour l’échantillonnage et l’utilisation de sondages.
Si un sondage téléphonique ou en ligne se fait à l’aide d’un site de médias sociaux comme source de l’échantillon, et peut-être en tant que véhicule pour administrer un sondage en ligne, le projet de recherche devra être conforme à toutes les normes pertinentes, c’est-à-dire, les normes sur les sondages en ligne ou téléphoniques.
La question est de savoir si des éléments doivent être ajoutés aux normes pour inclure des sondages téléphoniques ou en ligne qui utilisent des médias sociaux (cela signifie que l’échantillon provient d’un média social, et que le sondage pourrait être transmis au moyen des médias sociaux).
Certains sont d’avis qu’il n’y a aucun élément qui devrait être ajouté aux normes pour les sondages utilisant les médias sociaux. Les normes énoncent des exigences relatives à la documentation proposée, à la conception du questionnaire, à l’échantillonnage, à la conservation de la confiance du public, à la collecte des données, à la sécurité des données, etc. Le fait d’adhérer à ces normes pourrait être considéré comme suffisant pour qu’un sondage qui utilise les médias sociaux soit acceptable pour le gouvernement du Canada.
Certains croient que certaines questions propres aux sondages sur les médias sociaux devraient être abordées, car elles ne sont pas incluses dans les dispositions des normes actuelles. Le Code de déontologie de l’ARIM comprend une annexe C : Lignes directrices sur la recherche sur les médias sociaux, qui est fondée sur les lignes directrices de l’ESOMAR. Ce Code de déontologie est destiné à couvrir l’ensemble des recherches sur les médias sociaux, pas uniquement les sondages, mais plutôt la portée des sondages (les communautés de recherche en ligne sont particulièrement intéressantes dans ce contexte).
Les lignes directrices de l’ARIM décrivent des « principes fondamentaux » pour les chercheurs. Ces principes sont compatibles avec les normes, mais ils sont expliqués plus précisément en ce qui concerne l’application pour les médias sociaux :
L'article 3, recommandations particulières pour les médias sociaux, est également intéressante pour les normes qui nous concernent, de même que l'article 3.2 Questions relatives aux données privées sur les médias sociaux et l'article 3.3 Questions relatives aux études de marché sur les médias sociaux. Ces aspects traitent de l'autorisation, du consentement éclairé et de la confidentialité propres à ces types de médias sociaux utilisés pour la recherche.
C1. Il serait possible d’ajouter aux normes l’exigence d’adhérer à l’Annexe C : Lignes directrices sur la recherche sur les médias sociaux de l’Association de la recherche et de l’intelligence marketing (ARIM) dans les cas où l’échantillon de sondage provient d’un site de médias sociaux, ou peut-être aussi qui se déroule sur un site de médias sociaux.
Par exemple, dans la section 5 maintien de la confiance du public, un élément pourrait être ajouté à la section 5.1 droits des répondants, comme suit :
5.1.6 Sondages utilisant les médias sociaux comme source d’échantillonnage ou moyen d’administration du sondage
Croyez-vous qu’il soit nécessaire ou utile d’ajouter un tel énoncé aux normes? Dans l’affirmative, avez-vous des suggestions de révision à la formulation proposée ci-dessus?
C2. Le gouvernement du Canada se conforme à des normes élevées pour la conduite de la recherche sur l’opinion publique. Dans ce contexte, le respect des Lignes directrices sur la recherche sur les médias sociaux de l’ARIM serait une exigence minimale. Ces lignes directrices sont-elles suffisante en ce qui a trait aux sondages sur l’opinion publique menés par téléphone ou en ligne, ou y a-t-il des éléments qui, à votre avis, devraient être renforcés pour ce qui est des sondages du gouvernement du Canada qui utilisent les sites de médias sociaux?