Ce rapport de recherche sur l’opinion publique présente les résultats des travaux effectués entre le 11 avril et le 22 août 2018 par un comité de recherche composé de professionnels compétents et influents provenant du secteur privé, de Statistique Canada et d’établissements universitaires.
Cette publication peut être reproduite à des fins non commerciales seulement. Veuillez au préalable obtenir une permission écrite de Services publics et Approvisionnement Canada. Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec Services publics et Approvisionnement Canada à questions@tpsgc-pwgsc.gc.ca ou à l’adresse suivante :
Services publics et Approvisionnement Canada
Portage III Tour A
16A1-11 rue Laurier
Gatineau QC K1A 0S5
This publication is also available in English under the title: The Advisory Panel on Government of Canada Quantitative Public Opinion Research Quality
Numéro de catalogue : P103-14/2019F-PDF
Numéro international normalisé du livre (ISBN) : 978-0-660-28291-6
Publication connexe (numéro d’enregistrement : POR 058-17):
Numéro de catalogue : P103-14/2019E-PDF (rapport final, anglais)
Numéro international normalisé du livre (ISBN) : 978-0-660-28290-9 (rapport final, anglais)
© Sa Majesté la Reine du chef du Canada, représentée par la ministre des Travaux publics et des Services gouvernementaux, 2019
Recommandations du comité consultatif
La Direction de la recherche en opinion publique (DROP) est un fournisseur de services communs obligatoires chargé de donner des conseils sur la législation, les politiques, la méthodologie de recherche et les pratiques acceptées dans l’industrie. En vertu de la Politique sur les communications et l’image de marque, la DROP a également la responsabilité d’élaborer et de tenir à jour les normes du gouvernement du Canada. Les premières normes sur les sondages d’opinion publique menés par téléphone et en ligne ont été élaborées et mises en œuvre en 2009 et reposaient sur les travaux de 2 comités consultatifs distincts, l’un pour la recherche par téléphone et l’autre pour la recherche en ligne. Ces normes ont ensuite été révisées en 2013.
Étant donné les changements constants observés dans le secteur de la recherche sur l’opinion publique, la DROP entreprend un examen de ses normes quantitatives pour la recherche sur l’opinion publique effectuée par le gouvernement du Canada.
Le projet consistait à mettre sur pied un comité consultatif composé de professionnels compétents et influents du secteur privé, de Statistique Canada et d’établissements universitaires, pour qu’il formule des conseils au sujet des normes potentielles et des pratiques exemplaires relatives à la recherche sur l’opinion publique (ROP) menée selon des méthodes quantitatives par téléphone ou en ligne.
Le comité consultatif s’est penché et s’est prononcé sur les normes concernant les sujets suivants :
Les travaux sur les sujets susmentionnés visent à a) aider la DROP à réviser les normes et les lignes directrices existantes et, le cas échéant, à créer de nouvelles normes et lignes directrices pour orienter la qualité de la recherche par sondage entreprise pour le compte du gouvernement du Canada, et b) fournir à la DROP des conseils d’experts pour traiter les méthodologies de recherche en évolution.
Le comité consultatif sur la qualité de la recherche quantitative sur l’opinion publique au gouvernement du Canada réunissait 10 membres, soit des membres provenant du secteur privé, des membres provenant du milieu universitaire et ayant une expérience en études de marché, et un membre provenant de Statistique Canada. Les membres ont été recrutés par la DROP avec le concours de Sage Research.
Les travaux du comité consultatif se sont déroulés entre le 11 avril et le 22 août 2018. Le processus auquel a pris part le comité consultatif comportait une cyberconférence initiale suivie par 3 babillards électroniques. Les membres du comité ont reçu, aux fins d’examen et de rétroaction, 4 rapports de travail résumant les résultats et proposant les orientations à intégrer au rapport final du comité consultatif.
Les orientations fournies par le comité consultatif concernant la recherche quantitative sont exprimées sous la forme de normes et de lignes directrices, assorties de commentaires à l’appui.
Même si le comité consultatif n’était pas tenu de trouver un consensus, il y est parvenu pour bon nombre des aspects des normes et des lignes directrices sur la recherche quantitative.
La recherche qualitative vise à révéler une vaste gamme d’opinions et d’interprétations plutôt qu’à mesurer le pourcentage de la population cible ayant un point de vue particulier. Il convient d’éviter d’utiliser ces résultats pour estimer la proportion numérique ou le nombre des membres d’une population qui épousent un point de vue particulier, car ces résultats ne sont pas statistiquement extrapolables.
Valeur du contrat : 95 106,45 $, Taxe de vente harmonisée (TVH) comprise
J’atteste, par les présentes, à titre d’agente principale de la Sage Research Corporation, que les produits livrables sont en tous points conformes aux exigences de neutralité politique énoncées dans la Politique sur les communications et l’image de marque du gouvernement du Canada et dans la Directive sur la gestion des communications. En particulier, les produits livrables ne contiennent pas de renseignements sur les intentions de vote électoral, les préférences quant aux partis politiques, les positions des partis ou l’évaluation du rendement d’un parti politique ou de ses dirigeants.
Anita Pollak
Présidente
Sage Research Corporation
Le comité a donné son avis sur les sujets suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La section 4, procédures d’échantillonnage, comprend des normes relatives à l’échantillonnage probabiliste, à l’échantillonnage non probabiliste et au recensement, mais ne donne pas la définition de ces types de procédures d’échantillonnage.
Il faudrait élargir la section 4.1.2 (normes pour les sondages en ligne)/4.1.1 (normes pour les sondages téléphoniques) et a) y inclure la définition de l’échantillonnage probabiliste et de l’échantillonnage non probabiliste et en donner des exemples, et b) y inclure la définition du recensement.
L’objectif consiste à réviser les normes afin d’insister sur l’importance de viser la représentativité dans les sondages non probabilistes, et expliquer dans la proposition la façon d’y arriver. Les normes actuelles (sections 4.3.2, procédures d’échantillonnage, et 1.2.2, documents de propositions) abordent cet objectif dans une certaine mesure, mais l’intention consiste à accroître le caractère explicite et détaillé de l’exigence.
La majorité des membres du comité étaient d’accord pour inclure un texte soulignant l’importance de prendre des mesures visant à améliorer la représentativité des résultats des sondages non probabilistes (dans les sections 4.3.2 et 1.2.2). Cependant, ils ne sont pas parvenus à déterminer par consensus s’il devrait s’agir d’une norme ou d’une ligne directrice.
Le point 3 de la section 1.2.4, documents de propositions, donne la liste des renseignements à fournir lorsque l’on a recours à un fournisseur d’échantillons en ligne. Il faudrait élargir cette section afin d’exiger des renseignements distincts et plus précis dans les propositions concernant les échantillons de sondages probabilistes et non probabilistes en ligne.
Les membres du comité se sont entendus sur les types de renseignements à exiger dans la proposition concernant les échantillons de sondages probabilistes en ligne. En ce qui concerne les échantillons de sondages non probabilistes en ligne, les points de vue différaient à l’égard de quelques exigences de divulgation de renseignements en particulier.
Le comité a donné son avis sur les sujets suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Le comité a été invité à clarifier l’utilisation des mesures statistiques à l’égard des sondages non probabilistes, étant donné les récents développements dans l’application d’autres mesures de la précision statistique.
La section 4.3.3, procédures d’échantillonnage, devrait inclure a) une formulation révisée qui explique plus clairement que les marges d’erreur d’échantillonnage ne s’appliquent pas aux données des enquêtes non probabilistes; b) les restrictions quant à l’utilisation d’autres mesures de la précision (p. ex., les intervalles de crédibilité bayésiens) dans les enquêtes non probabilistes; c) les documents exigés dans la proposition et le rapport d’enquête lorsque d’autres mesures de la précision sont utilisées.
Il s’agissait de déterminer s’il faut élargir les exigences actuelles relatives à la déclaration du niveau de précision des sondages probabilistes (sections 14.7.2/15.7.2).
Les membres ont proposé plusieurs formulations révisées, mais ne sont pas parvenus à un consensus au sujet de la formulation la plus appropriée.
La section 4.6, procédures d’échantillonnage, contient 2 énoncés au sujet du traitement statistique des résultats d’un recensement. Le comité a été prié d’indiquer si les 2 énoncés sont cohérents.
Il a été convenu qu’une partie de la section 4.6.3 devrait être supprimée, car elle est incompatible avec la norme indiquant de ne pas utiliser de tests statistiques inférientiels dans un recensement.
Le comité a également été invité à déterminer si une enquête cesse d’être un recensement lorsque le taux de réponse tombe sous un certain seuil.
Les membres se sont entendus pour dire qu’un recensement dont le taux de réponse est inférieur à 100 % reste un recensement, mais qu’on le qualifierait plus exactement de tentative de recensement. La marge d’erreur d’échantillonnage ne s’applique pas, mais d’autres sources d’erreur de sondage peuvent encore être présentes, comme le biais de non-réponse.
Le comité a donné son avis sur les sujets ci-après et a recommandé d’apporter des modifications à la section 2, conception du questionnaire (2.1.2; 2.1.3) :
La section 2.1.2 prévoit l’exigence générale (section 2.1.2) d’informer les répondants, au début d’un sondage, de la confidentialité de leurs réponses au questionnaire, mais les normes actuelles n’indiquent aucune formulation précise sur la façon d’introduire l’ensemble des questions démographiques qui sont posées vers la fin du questionnaire.
Ajouter une exigence stipulant que l’introduction des questions démographiques doit aborder le sujet de la confidentialité. Les membres du comité s’entendaient sur la majeure partie de la formulation de cette introduction, mais ne sont pas parvenus à un consensus concernant l’utilisation des termes « confidentiel » et/ou « anonyme » dans cette partie.
Il faudrait supprimer la catégorie de réponse « préfère ne pas répondre » (et les formes connexes) dans la liste des réponses requises dans les sondages en ligne, mais la conserver comme catégorie de réponse optionnelle.
Quelques-unes des questions démographiques requises comportent une liste d’options de réponses relativement longue, notamment les questions sur l’âge, les études et le revenu familial.
Réviser la section 2.1.3 pour permettre de modifier la formulation d’une question démographique de façon à ce que l’intervieweur puisse dire au répondant qu’il peut s’arrêter à la catégorie qui le concerne.
Dans la question requise actuelle, les renseignements sur le sexe sont recueillis très différemment entre le sondage en ligne et le sondage téléphonique. La version téléphonique n’inclut pas vraiment de question sur le sexe, mais se fie plutôt à l’observation de l’intervieweur. La version en ligne pose une question; elle repose donc sur l’auto-classification du répondant au lieu de se fier à la classification de l’intervieweur. Ni la version téléphonique ni la version en ligne n’offrent une option de réponse « Autre ».
Réviser la question requise pour tous les sondages de ROP (par téléphone et en ligne) de façon à a) y inclure une option de réponse « Autre » et b) exiger que la question sur le sexe soit lue aux répondants dans les sondages téléphoniques.
À l’heure actuelle, il existe 2 questions requises concernant la langue : la langue maternelle et la langue parlée le plus souvent à la maison; l’utilisation de l’une ou l’autre des questions, voire des 2, est laissée à la discrétion du chercheur, en fonction des objectifs du sondage.
Réviser cela de façon à demander seulement la langue parlée le plus souvent à la maison.
Faire passer 2 des catégories d’âge actuelles (de 35 à 49 ans et de 50 à 54 ans) à 35 à 44 ans et à 45 à 54 ans afin d’obtenir une répartition plus uniforme des catégories d’âge.
Les membres du comité se sont demandé si la catégorie d’âge actuelle de 18 à 34 ans devrait être divisée en 2 catégories (de 18 à 34 ans et de 25 à 34 ans) ou laissée telle quelle, mais ne sont pas parvenus à un consensus en la matière.
Afin de mieux harmoniser les options de réponse avec les systèmes scolaires au Québec et dans le reste du Canada, combiner « 8e année ou moins » et « Études secondaires non terminées » en une seule catégorie, « Sans diplôme d’études secondaires ou l’équivalent ».
Réviser la formulation de la question pour préciser la période de l’« année dernière » pour le revenu familial.
Ces renseignements peuvent parfois se révéler utiles dans les contrôles de quotas ou la pondération. Ajouter une exigence à la section 2.1.3 a) afin d’inclure une question sur la situation d’usage du téléphone dans le ménage dans tous les sondages téléphoniques.
Les normes actuelles n’abordent pas la possibilité qu’un sondage en ligne soit rempli sur un appareil mobile, ni les implications que cela peut avoir. Le comité a été prié de donner son avis au sujet d’une révision des normes portant sur les aspects suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes pour les sondages en ligne :
Il faudrait s’attendre par défaut à ce qu’un échantillon de sondage en ligne de ROP inclue des répondants qui utilisent soit un ordinateur, soit un appareil mobile pour répondre au sondage, et qu’il existe une version du questionnaire du sondage adaptée aux appareils mobiles.
Il est recommandé d’apporter des ajouts aux sections 1.2.2 et 1.2.5 de la section documents de propositions pour rendre ces attentes explicites.
Le comité a envisagé 3 révisions et ajouts possibles à la section 2, conception du questionnaire, en ce qui concerne la conception des questionnaires dans les sondages en ligne auxquels on peut répondre au moyen d’appareils mobiles.
Les membres du comité se sont accordés à dire qu’une norme n’est pas appropriée, étant donné qu’il n’y a pas de travaux de recherche concluants sur la meilleure approche conceptuelle à utiliser pour la conception ou la disposition des questions pour tous les appareils, et que l’approche conceptuelle optimale peut varier d’un sondage à l’autre et d’une question à l’autre au sein d’un même sondage. Toutefois, l’ajout d’une ligne directrice qui souligne les options qui s’offrent aux chercheurs à la section 2, conception du questionnaire, pourrait être envisagé.
La norme pour la durée des questionnaires en ligne est de 20 minutes, mais une durée moyenne de 15 minutes ou moins est « fortement encouragée ». Le comité s’est demandé s’il faudrait laisser la norme sur la durée du sondage telle quelle ou la réviser afin de préciser une durée plus courte pour les sondages adaptés aux appareils mobiles.
Le comité a recommandé de ne pas changer la norme existante sur la durée du sondage.
La plupart des membres ont convenu qu’il faudrait ajouter à la section 2, conception du questionnaire, une liste d’exemples qui servira de rappel utile aux chercheurs concernant les éléments qui rendent un questionnaire plus adapté aux appareils mobiles.
La norme actuelle précise le nombre total de prétests à effectuer, mais ne répartit pas ce chiffre par type d’appareil.
Le comité a envisagé des révisions et ajouts possibles à la section 3, prétest, en ce qui concerne les sondages en ligne auxquels on peut répondre sur un appareil mobile ou un ordinateur.
Il faudrait réviser la section 3, prétest, pour y inclure une exigence de prétest sur ordinateur et sur appareil mobile lorsqu’on peut répondre à un sondage au moyen des 2 types d’appareils. Le comité a proposé plusieurs options de rechange pour la formulation de l’exigence.
Les membres du comité se sont accordés à dire que la section 3.1.5, qui exige au moins 10 entrevues de prétest dans chaque langue, devrait être laissée telle quelle, étant entendu que le prétest comprend un échantillon d’appareils différents.
Dans un sondage auquel on peut répondre sur un appareil mobile et sur un ordinateur, un effet de « méthode » peut se produire. Autrement dit, les conceptions et dispositions différentes pour une question donnée pourraient causer des répartitions différentes des réponses.
Le comité a examiné s’il devrait y avoir une exigence de collecte de renseignements sur le type d’appareil et une exigence visant une analyse des effets de méthode par type d’appareil.
Il faudrait ajouter à la section 7, collecte des données, une norme exigeant la collecte de données sur le type d’appareil utilisé pour répondre à un sondage.
Le comité n’était pas favorable à l’ajout d’une norme exigeant l’analyse des effets de méthode pour chaque sondage (section 14.6, contrôle de la qualité). Les membres étaient d’avis que l’on n’en sait pas suffisamment sur les effets de méthode par type d’appareil à l’heure actuelle pour préciser les exigences analytiques relatives aux sondages individuels, et qu’il est nécessaire de mener une « recherche sur la recherche » au moyen des données regroupées sur les appareils recueillies au fil des sondages pour déterminer si une norme concernant l’analyse des effets de méthode potentiels serait appropriée.
Il se peut que les utilisateurs d’appareils mobiles aient à payer des coûts pour participer à un sondage de recherche. Les normes actuelles ne comportent aucune exigence quant à la façon dont de tels coûts devraient être gérés.
Les membres du comité ont convenu qu’il ne devrait pas y avoir de norme concernant la prise en charge des coûts des répondants associés à l’utilisation d’un appareil mobile : a) les répondants ont toujours le choix de participer ou non à un sondage de ROP en ligne ou par téléphone du gouvernement du Canada (GC); b) les normes actuelles exigent que certains renseignements soient fournis au sujet du sondage (p. ex., la longueur) afin de permettre aux répondants de faire un choix éclairé au sujet de leur participation; c) à moins que l’indemnisation soit établie à un montant fixe arbitraire pour tous les utilisateurs d’appareils mobiles, la logistique liée à l’établissement du montant d’indemnisation à verser à chaque répondant et la documentation du montant aux fins de la facturation seraient très complexes et difficiles, voire impossibles.
Une question importante liée à l’échantillonnage dans les sondages téléphoniques concerne l’inclusion des utilisateurs de téléphone cellulaire et des utilisateurs de téléphone filaire. Cela peut avoir un effet sur la couverture de la population visée par le sondage, la ou les bases d’échantillonnage utilisées pour le sondage et, potentiellement, la pondération. Un échantillon de sondage téléphonique probabiliste de la population générale des adultes canadiens doit comprendre un échantillon d’utilisateurs de téléphone cellulaire. Le comité a été invité à envisager des révisions aux sections documents de propositions et procédures d’échantillonnage dans les normes pour les sondages téléphoniques.
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Le comité a examiné 3 révisions ou ajouts potentiels à la section 1, documents de propositions, des normes pour les sondages téléphoniques.
Envisager de réviser le texte du point 1 de la section 1.2.3 afin d’exiger la déclaration d’un taux de réponse ou d’un taux de participation pour les sondages par téléphone cellulaire et par téléphone filaire lorsque les 2 types d’appareils peuvent être utilisés.
Le comité a été prié d’examiner s’il faudrait apporter des révisions au point 7 de la section 1.2.4 dans documents de propositions, qui indique qu’il faut donner une justification lorsque l’échantillon comprend des entrevues réalisées sur des téléphones cellulaires. Le texte actuel minimise peut-être trop l’importance d’inclure des utilisateurs de téléphone cellulaire dans l’échantillon.
Il faudrait réviser la formulation du point 7 de la section 1.2.4 afin de reconnaître l’importance des échantillons d’utilisateurs de téléphone cellulaire dans les sondages téléphoniques. Plusieurs propositions de rechange ont été faites au sujet de l’approche à adopter.
La norme actuelle à la section 4.2.3c dans procédures d’échantillonnage traite de la divulgation des questions liées à la couverture dans les échantillons probabilistes et donne un exemple d’échantillon composé de ménages n’utilisant que le téléphone cellulaire.
Ajouter à la section 4.2.3c, comme exemple additionnel, un échantillon composé de ménages utilisant uniquement le téléphone filaire; étant donné le nombre croissant de ménages possédant uniquement un ou des téléphones cellulaires, un échantillon composé de ménages utilisant uniquement le téléphone filaire pourrait comporter une erreur de couverture substantielle.
Les normes concernant les rappels pour les sondages téléphoniques figurant à la section 7, collecte des données (7.2), exigent 8 rappels au minimum avant la suppression d’un numéro de téléphone. Des membres craignaient que ce nombre de rappels soit excessif et puisse être perçu comme du harcèlement. La norme actuelle a) ne donne pas non plus de définition du rappel et b) ne fait pas la distinction entre les rappels aux téléphones filaires et les rappels aux téléphones cellulaires. Le comité a été prié d’examiner le nombre de rappels qui devrait constituer la norme, et devait aussi se demander s’il faut instaurer une norme différente pour les répondants joints à un numéro de téléphone cellulaire.
Le comité a formulé 2 principales recommandations de révision concernant la section 7.2 :
Le comité a opté pour la même exigence relative aux rappels dans le cas des téléphones cellulaires et des téléphones fixes.
Le comité devait envisager des révisions à la section recours à la réponse vocale interactive (5.3) des normes pour les sondages téléphoniques relativement aux aspects ci-dessous :
Le comité devait également donner son avis concernant les normes sur les questions suivantes :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La section 5.3.1 décourage, mais n’interdit pas, le recours aux sondages par RVI pour la ROP. Elle présente aussi des circonstances où la RVI peut constituer une méthode appropriée. Le comité a examiné s’il y a lieu de changer ce paragraphe sur le recours à la réponse vocale interactive.
La majorité des membres du comité ont suggéré d’ajouter d’autres exemples de situations où la méthode de collecte de données par RVI peut être acceptable, tout en maintenant le principe selon lequel la RVI n’est pas la méthode à privilégier pour les sondages de ROP du GC.
La section 5.3.2 stipule que les exigences de divulgation de renseignements concernant les sondages par RVI sont identiques à celles des sondages réalisés par un intervieweur, et elle exige également que les renseignements soient fournis dans l’introduction du sondage. Comme les sondages par RVI sont habituellement plus courts que les sondages réalisés par un intervieweur, les membres du comité ont été invités à se prononcer sur 2 questions : a) si les éléments requis dans les introductions des sondages téléphoniques devraient être révisés ou raccourcis pour les sondages par RVI et b) s’il était possible de communiquer certains renseignements nécessaires à la fin du sondage plutôt qu’au début.
La plupart des membres du comité ont indiqué que les renseignements requis dans l’introduction du sondage devraient être identiques pour les sondages par RVI et les autres sondages. Les membres ne sont pas parvenus à un consensus concernant le moment où divulguer les différents renseignements dans le questionnaire. Toutefois, si l’on décidait que certains types de renseignements peuvent être divulgués vers la fin d’un sondage, cette option devrait être possible pour tous les sondages, pas seulement les sondages par RVI.
La norme sur la durée des sondages indique qu’ils doivent être achevés en 20 minutes. On y encourage fortement une durée de 15 minutes ou moins.
Il faudrait ajouter à la section 2.1.1, conception du questionnaire, une ligne directrice qui incite à conserver la durée d’un sondage par RVI entre 5 et 7 minutes, voire moins.
Les exigences de rappel prévues dans la section 7.2, rappels, ne font pas la distinction entre les sondages réalisés par un intervieweur et les sondages réalisés par RVI. Le comité a examiné s’il y a lieu d’apporter à cette section des changements propres aux sondages par RVI.
Les membres ont proposé plusieurs solutions de rechange, qui allaient de la recommandation de dispenser les sondages par RVI des exigences de rappel associées aux sondages réalisés par un intervieweur, à l’obligation que les sondages par RVI respectent les mêmes exigences de rappel que les sondages réalisés par un intervieweur.
Les normes actuelles traitent déjà des sondages avec méthode mixte dans une certaine mesure. Le comité a été prié de donner son avis au sujet d’une révision possible des normes concernant les aspects suivants des sondages avec méthode mixte :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
La principale préoccupation associée aux sondages avec méthode mixte est la possibilité d’un biais lié aux méthodes. Le comité a examiné si, et comment, les exigences pour les documents de propositions doivent être élaborées de façon à indiquer plus clairement, dans la proposition, que le risque de biais lié aux méthodes est reconnu et que des mesures seront prises en conséquence.
Le comité a recommandé les ajouts suivants :
Réviser la section 4.5 dans procédures d’échantillonnage afin de souligner l’utilité d’employer des méthodes de collecte de données similaires afin de réduire au minimum le risque de biais lié aux méthodes.
À l’heure actuelle, il n’existe aucune norme de conception du questionnaire qui soit propre aux sondages avec méthode mixte.
Réviser la section 2.1 dans conception du questionnaire pour a) encourager la comparabilité de la formulation des questions et de la présentation des options de réponse entre les méthodes et b) souligner l’utilité que peuvent avoir les questions de référence pour détecter les biais liés aux méthodes.
La version actuelle de la section 3, prétest, ne fait aucune mention précise de prétests distincts propres à chaque méthode dans un sondage avec méthode mixte. Le comité a été prié d’examiner s’il faudrait exiger un nombre minimum d’entrevues de prétest en français et en anglais pour chaque méthode dans un sondage avec méthode mixte.
Les points de vue des membres différaient à cet égard, et aucun consensus ne s’est dégagé.
À l’heure actuelle, dans la section 8, taux relatifs aux résultats, il n’existe pas de norme sur la façon de calculer les taux relatifs aux résultats pour un sondage avec méthode mixte.
Il faudrait ajouter une norme qui décrit les principes généraux de calcul et de présentation des taux relatifs aux résultats pour les sondages avec méthode mixte. Les méthodologies de recherche qui ne permettent le calcul d’aucun taux relatif aux résultats obligatoire (taux de réponse ou taux de participation) devraient être interdites dans les sondages de ROP du GC.
Il faudrait mettre à jour la norme de présentation de la collecte des données aux sections 14.5.2/15.5.2, exigences obligatoires relatives au rapport d’enquête, en utilisant la formulation mise à jour du point 7 de la section 1.2.4 dans documents de propositions.
Il faudrait réviser les sections 14.6.3/15.6.3, contrôle de la qualité, a) pour veiller à la clarté des décisions prises quant à la combinaison ou la non-combinaison de données entre méthodes, et b) pour exiger des descriptions de tout ajustement apporté aux données pour atténuer les effets de méthode.
La section 6, collecte de données auprès d’enfants, de jeunes ou de répondants vulnérables, ne fait pas référence à l’utilisation ou non d’incitatifs pour cette population de sondage, ou à la façon dont ils sont utilisés le cas échéant. La section 7, collecte des données (7.5 [téléphone]/7.6 [en ligne]), qui traite des incitatifs et des honoraires ne fait pas référence à cette population.
Il faudrait ajouter aux sections 7.5/7.6 des orientations qui traitent de questions telles que la détermination de la personne qui recevra l’incitatif et l’obtention du consentement parental.
Le comité a été invité à donner son avis au sujet des révisions ou ajouts possibles à apporter aux normes concernant les aspects suivants :
Le comité a recommandé d’apporter des modifications aux sections suivantes des normes :
Les méthodologies mobiles et en ligne créent la possibilité de recueillir divers types de données personnelles de manière « passive », c’est-à-dire sans interaction directe avec les répondants. Une réflexion a été faite sur la collecte de données passive qui était autorisée et sur les circonstances dans lesquelles cette collecte était autorisée dans le contexte des sondages. Le comité a été prié d’analyser si les normes actuelles suffisent pour répondre aux questions associées à la collecte de données passive dans le cadre des sondages.
Le comité a approuvé une révision des normes figurant dans la section 7.2, collecte des données, pour a) définir explicitement l’expression « collecte de données passive » et donner des exemples de « renseignements personnels », et b) noter les cas exceptionnels dans lesquels la collecte de données passive est légalement autorisée.
À l’heure actuelle, les normes sur les sondages téléphoniques et les sondages en ligne ne comprennent aucune norme portant spécifiquement sur les photographies et les enregistrements audio ou vidéo des répondants.
Le comité a approuvé l’ajout de normes à la section 5, maintien de la confiance du public, afin de a) préciser que les photographies et les enregistrements sont considérés comme des données personnelles et doivent être traités comme telles, et b) de clarifier la responsabilité des chercheurs lorsque les répondants sont priés de générer des photographies ou des enregistrements dans le cadre du sondage.
La section 5.2.1, évitement du harcèlement, des normes pour les sondages téléphoniques actuelles comprend une norme axée sur la sensibilité du sujet du sondage, mais n’aborde pas directement les problèmes qui peuvent être causés par l’environnement dans lequel se déroule l’entrevue. Comme les répondants sont de plus en plus susceptibles de répondre aux appels à l’aide d’un téléphone cellulaire, l’utilisation du téléphone dans certains environnements peut être problématique (p. ex., en conduisant, en marchant dans un endroit public). Que les répondants utilisent un téléphone mobile ou fixe, ils peuvent se trouver dans un environnement où ils pourraient être entendus.
La plupart des membres du comité ont appuyé l’ajout d’une ligne directrice visant à déterminer si le répondant à un sondage téléphonique se trouve à un endroit où il peut répondre à l’appel, pour les utilisateurs de téléphones cellulaires et filaires (section 2, conception du questionnaire).
Les normes actuelles dans les sections 13/14, sécurité des données, exigent la prise de mesures de protection contre les atteintes à la sécurité des données (perte ou divulgation non autorisée de renseignements personnels ou organisationnels, ou accès non autorisé à ces renseignements). Les sections pertinentes sont les sections 13.2 (normes pour les sondages en ligne)/14.2 (normes pour les sondages téléphoniques), protection des données et des serveurs; les sections 13.3/14.3, stockage temporaire de données sur les serveurs; et 13.6/14.5, en cas d’atteinte à la protection des données.
Le comité a été prié de définir les révisions ou les ajouts à apporter aux normes, ainsi que toute ligne directrice qu’il faudrait inclure.
Les normes existantes concernant la confidentialité et la sécurité des données, y compris les normes portant sur les atteintes à la protection des données, sont appropriées.
L’ajout de normes ou de lignes directrices concerne 2 aspects principaux :
Les normes actuelles figurant dans les sections 13/14, sécurité des données, exigent que les données des sondages soient stockées au Canada.
Cet aspect est complexe : il nécessite des connaissances d’expert sur le cadre juridique et réglementaire influant sur l’accès aux données et sur leur utilisation, non seulement au Canada, mais également dans les autres pays où les serveurs peuvent se trouver, et nécessite une compréhension des politiques du GC à cet égard. Les membres du comité ne se considéraient pas comme des experts dans ces domaines. Dans l’ensemble, le comité n’a suggéré aucun changement aux normes actuelles. Toutefois, les membres ont suggéré que le GC établisse une liste de pays pré-approuvés qui satisfont aux conditions stipulées dans les normes actuelles et qui sont acceptables pour le stockage infonuagique des données de recherche sur l’opinion publique du GC.
Le comité a examiné si des normes supplémentaires sont requises pour les sondages qui utilisent les médias sociaux, soit comme source d’échantillons, soit pour mener un sondage.
Les normes actuelles, ainsi que les divers changements recommandés ailleurs par le comité, suffisent à faire en sorte que de tels sondages répondent aux exigences de qualité des sondages de ROP du GC. Par conséquent, aucune norme supplémentaire n’est requise pour les cas où les médias sociaux sont utilisés afin de sélectionner l’échantillon ou d’effectuer le sondage.
Les normes sur les sondages en ligne et par téléphone ne contiennent aucune norme ni ligne directrice concernant l’accessibilité.
Le comité a examiné s’il convient d’ajouter aux normes un énoncé sur l’importance de l’accessibilité et quelles sont les lignes directrices à fournir à ce sujet, le cas échéant, pour les sondages en ligne et par téléphone. Il est à noter que, selon la DROP, le Secrétariat du Conseil du Trésor (SCT) travaille à une proposition de politique sur les normes d’accessibilité propres à tous les appareils utilisés pour accéder aux sondages en ligne. Les résultats de ces travaux d’élaboration devraient être disponibles dans un an environ. Lorsque la politique du SCT sera finalisée, elle aura préséance.
La majorité des membres du comité ont appuyé l’ajout d’une ligne directrice générale encourageant l’accessibilité, y compris des lignes directrices concernant quelques exemples de mesures qui pourraient être prises pour améliorer l’accessibilité des sondages en ligne ou par téléphone.