Normes pour la recherche sur l'opinion publique effectuée par le gouvernement du Canada - Sondages téléphoniques

2009-11-26

Table des matières

• Notes importantes
• 1. Documents de propositions
• 2. Conception du questionnaire
• 3. Mise à l'essai
• 4. Élaboration des bases de sondage et échantillonnage
• 5. Répondants au sondage
• 6. Collecte de données auprès des enfants ou des répondants vulnénrables
• 7. Collecte des données
• 8. Taux de réponse / taux de participation
• 9. Saisie des données
• 10. Codage
• 11. Édition et imputation des données
• 12. Analyse des données
• 13. Livraison de tableaux de données
• 14. Sauvegarde, conservation et sécurité des données
• 15. Rapports d'enquête

1. Applicabilité des normes

Les présentes normes s'appliquent aux sondages téléphoniques de recherche sur l'opinion publique sur mesure effectués pour le gouvernement du Canada, y compris les questions ajoutées aux sondages multi-clients et multi-intérêts. Les sondages sur mesure sont ceux pour lesquels le Canada devient propriétaire des données. Les normes ne s'appliquent pas aux sondages multi-intérêts (pour lesquels le recherchiste est propriétaire des données), à moins que le gouvernement du Canada conclue un contrat pour ajouter des questions à celles déjà comprises dans ces études.

Ces normes viennent s'ajouter aux lois, règlements et politiques pertinents, notamment, la Loi sur la protection des renseignements personnels et les documents électroniques, la Loi sur la protection des renseignements personnels, la Loi fédérale sur la responsabilité, et la Politique de communication du gouvernement du Canada.

Nota : Les projets de sondages reposent parfois sur plus d'une méthodologie (p. ex. les sondages téléphoniques et les sondages en ligne). À ce titre, il serait peut-être nécessaire de consulter plus d'un ensemble de normes.

2. Applicabilité d'autres normes

Lorsqu'il n'existe aucune norme du gouvernement du Canada pertinente, les recherchistes doivent satisfaire aux normes de l'industrie ou les dépasser, y compris celles de l'Association de la recherche et de l'intelligence marketing.

3. Exceptions

Ces normes ont été élaborées en tenant compte des études « types ». Toutefois, il est entendu que les sondages de recherche sur l'opinion publique comportent des caractéristiques particulières qui peuvent parfois entrer en conflit avec la méthode « générale ». Par conséquent, on encourage normalement les ministères et organismes à appliquer les normes, cependant, ils peuvent également opter de déroger à une norme lorsque les caractéristiques d'une étude le justifient.

Le présent document décrit certaines des circonstances les plus courantes dans le cadre desquelles il serait approprié de déroger aux normes ou de les modifier.

Puisque les ministères et organismes sont responsables de la qualité de la recherche qu'ils entreprennent, aucune procédure connexe n'est requise. Cependant, en tenant compte du principe de la diligence raisonnable, ils devraient discuter avec la Direction de la recherche en opinion publique de leur intention de déroger à une norme. Ils devraient aussi peut-être préciser de quelle norme il s'agit et justifier cette décision dans l'énoncé des travaux et dans d'autres documents, comme les propositions des recherchistes et les rapports finaux.

4. Examen bisannuel

Les normes ci-après ont été élaborées afin de veiller à ce que des sondages de recherche sur l'opinion publique effectués pour le gouvernement du Canada soient uniformes et de qualité supérieure. Il est entendu qu'elles devront être révisées au fil du temps en raison de l'évolution des technologies et d'autres facteurs. Par conséquent, l'intention est de réviser les normes après un période initiale de deux ans.

1. Documents de propositions

Introduction

Objet

1. Décrire le problème ou la question à examiner, du point de vue du recherchiste, et l'usage que le gouvernement du Canada fera de l'information.

Objectifs de recherche

1. Présenter en détail les besoins en matière d'information ou les questions auxquelles la recherche permettra de répondre.

Caractéristiques techniques de la recherche

Aperçu

1. Énoncer de façon sommaire :
   1. la méthode de collecte des données, y compris les méthodes employées pour obtenir un échantillon (sondage probabiliste, sondage non probabiliste ou tentative de recensement) et le fondement de la méthode proposée;
   2. le nombre prévu de sondages terminés;
   3. la population cible.
2. Le recherchiste doit recommander une conception de la recherche qu'il croît économique, qui produira des résultats de qualité, et qui est appropriée pour atteindre les objectifs de la recherche. Le recherchiste doit aussi fournir une justification en ce qui concerne ses recommandations.

   Si la conception du recherchiste est la même que celle qui est décrite dans l'énoncé des travaux, le recherchiste doit déclarer qu'il croit que la conception décrite dans l'énoncé des travaux est économique, qu'elle produira des résultats de qualité et qu'elle est appropriée pour atteindre les objectifs de la recherche.

Échantillon et échantillonnage

1. Fournir des renseignements détaillés sur la population cible :
   1. la description de la population cible, soit ses caractéristiques particulières et son étendue géographique, y compris l'incidence supposée de la population et de tout sous-groupe principal, et comment l'incidence en a été déterminée/obtenue (p. ex. fournie par le client);
   2. la taille de l'échantillon total et la taille de tout sous-groupe principal.
2. Décrire la base de sondage, notamment :
   1. la source de l'échantillon;
   2. la procédure d'échantillonnage;
   3. toute limite d'échantillonnage connue et ses répercussions éventuelles sur les résultats.
3. Décrire la procédure de sélection des répondants.
4. Indiquer le nombre de rappels et décrire la procédure utilisée.
5. Définir les critères d'admissibilité ou de présélection des répondants, y compris les contrôles de quotas.

Taux de réponse / Taux de participation / Taux d'erreur

1. Indiquer le taux de réponse / taux de participation prévu (fourchette de 10 %) pour les échantillons. Indiquer les taux de réponses / taux de participation attendus pour chaque mode lorsque plus d'un mode est proposé.
2. Indiquer le degré de précision, y compris la marge d'erreur d'échantillonnage et l'intervalle de confiance pour les échantillons.
3. Indiquer toute autre source d'erreur possible attribuable à la conception de l'étude et pouvant influer sur l'exactitude des données.

Méthode de collecte des données

1. Indiquer la méthode de collecte des données (dans le présent cas, l'entrevue téléphonique).
2. Fournir des renseignements sur tout incitatif ou honoraires attribués, le cas échéant, y compris leur fondement.
3. Indiquer les moyens qui seront utilisés pour satisfaire aux exigences linguistiques si elles portent sur une langue autre que le français ou l'anglais.
4. Décrire les méthodes et la procédure prévues de validation du travail sur le terrain.
5. Décrire comment :
   1. les droits des enfants, des jeunes et des répondants vulnérables seront respectés, le cas échéant.
6. Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.

Conception du questionnaire

1. En conformité avec la section relative aux coûts de la proposition, indiquer la longueur du questionnaire en minutes. Préciser le nombre maximum de questions ouvertes.
2. Décrire la méthode de mise à l'essai du questionnaire, y compris :
   1. les objectifs de la mise à l'essai;
   2. la méthode de mise à l'essai, y compris une description des types d'intervieweurs et de recherchistes qui mèneront les entrevues de mise à l'essai;
   3. le nombre total d'entrevues qui seront menées pour l'échantillon total et chaque sous-groupe principal (p. ex. selon la langue, l'âge ou le sexe);
   4. la méthode utilisée pour documenter et communiquer les résultats de la mise à l'essai au gouvernement du Canada.

      Remarque : Si aucune mise à l'essai n'est prévue, en indiquer les raisons.

Méthode de gestion et de traitement des données

1. Décrire la pondération qui sera utilisée, si elle est connue d'avance.

Analyse des données et communication des résultats

1. Décrire brièvement la méthode qui sera utilisée pour l'analyse des données compte tenu des objectifs et des questions de la recherche, y compris les analyses spéciales s'il y a lieu (p. ex. la segmentation).

Produits livrables

1. Énumérer tous les produits livrables en précisant leur portée, leur présentation, leur mode de livraison et le nombre d'exemplaires, y compris, à tout le moins, les éléments suivants :
   1. le ou les questionnaires, y compris les questionnaires de mise à l'essai, le cas échéant;
   2. les mises en tableaux et le traitement des données;
   3. la présentation du rapport, y compris le nombre d'exemplaires et la langue dans laquelle il sera rédigé;
   4. la nature des produits livrables ainsi que l'endroit et le nombre de fois où ils seront présentés, y compris la langue de la présentation.

Calendrier des travaux

1. Fournir un plan de travail détaillé assorti de dates et définir les responsabilités.

Coût du projet

1. Les renseignements relatifs aux coûts doivent être présentés selon le modèle indiqué par TPSGC.

2. Conception du questionnaire

Normes

1. Les questionnaires d'enquête doivent être conçus pour :
   1. permettre de ne recueillir que l'information essentielle à l'atteinte des objectifs de l'étude;
   2. réduire au minimum le fardeau imposé aux répondants tout en optimisant la qualité des données;
   3. être terminés en 20 minutes au maximum. Les exceptions pourraient comprendre les projets concernant des publics spécialisés et ceux pour lesquels des entrevues ont été prévues lorsque le répondant est conscient qu'il faudra plus de 20 minutes pour répondre au questionnaire d'enquête. On encourage fortement l'utilisation de questionnaires d'une durée de 15 minutes ou moins afin de réduire le fardeau pour les répondants.
2. Tous les questionnaires utilisés pour les sondages téléphoniques du gouvernement du Canada doivent comporter les éléments nécessaires pour :
   1. informer les répondants i) de l'objet et du but généraux de l'étude et ii) de la durée prévue de l'entrevue;
   2. nommer le gouvernement du Canada ou encore le ministère ou l'organisme qui a parrainé le sondage, ainsi que le recherchiste et l'intervieweur;
   3. indiquer aux répondants que leur participation à l'étude est volontaire et entièrement confidentielle;
   4. indiquer aux répondants que leurs réponses demeurent anonymes;
   5. si une question est posée à cet effet, indiquer aux répondants que le sondage est inscrit auprès du système national d'enregistrement des sondages.

   Exemples d'exceptions : Dans certains cas, le nom de l'organisme qui demande le sondage ne serait pas dévoilé avant la fin de celui-ci (p. ex., post-tests publicitaires); les autres langues seraient mentionnées lorsque le sondage est réalisé dans des langues non officielles; l'information concernant la disponibilité des rapports pourrait être divulguée aux répondants spécialisés lorsque l'incitatif à participer l'emporte sur une introduction plus longue.

   Remarque : Il faut relire l'introduction lorsque les répondants choisissent une autre langue pour l'entrevue. Les intervieweurs doivent disposer de l'information pour expliquer aux répondants comment ils ont été choisis, comment la protection des renseignements personnels est assurée, le Système national d'enregistrement des sondages, et où il est possible de se procurer les résultats du sondage.

   Par exemple, on pourrait utiliser l'introduction suivante dans le cas des questionnaires téléphoniques :

   Bonjour (___________), le gouvernement du Canada fait un sondage de recherche sur SUJET. Je suis PRÉNOM, de ______________, l'entreprise embauchée pour effectuer ce sondage. Le sondage dure environ ## minutes. Les répondants sont des volontaires et les réponses demeurent confidentielles. Est-ce que je peux continuer? Préféreriez-vous répondre au sondage en français ou en anglais?

3. Les questions démographiques normalisées suivantes doivent être comprises dans les sondages téléphoniques, à moins que des objectifs de recherche particuliers justifient le recours à une autre formulation.

   Les données découlant des questions sur l'âge, l'éducation et la langue (ainsi que l'enregistrement de l'information sur l'emplacement géographique et le sexe des répondants) permettent de faire des comparaisons avec les données de recensement de Statistique Canada, aux fins de l'analyse en cas de non-réponse. Les données, y compris celles provenant des questions sur l'emploi et le revenu, facilitent la comparaison des résultats entre les différentes études de recherche sur l'opinion publique réalisées par le gouvernement du Canada. (Voir la section 8 pour obtenir de plus amples renseignements sur le biais de non-réponse.)

   • Sexe [Ne posez pas la question. Réponse basée sur l'observation de l'intervieweur.]
   • Quelle est votre année de naissance? [Noter l'année – XXXX]
   • Études
     Parmi les diplômes suivants, quels sont ceux que vous avez obtenus?  [LIRE LA LISTE]
     • Aucun
     • Diplôme d'études secondaires ou l'équivalent
     • Apprentissage enregistré ou diplôme ou certificat d'une école de métiers
     • Diplôme d'études collégiales (p. ex., CEGEP), ou certificat ou diplôme non universitaire
     • Grade, certificat ou diplôme universitaire
     • [NE PAS LIRE] Refuse de répondre
   • Langue maternelle
     Quelle langue avez-vous apprise en premier à la maison lorsque vous étiez enfant et que vous comprenez encore? [LIRE LA LISTE; ACCEPTER DEUX RÉPONSES AU MAXIMUM]
     • Anglais
     • Français
     • Autre [PRÉCISER OU NON LA LANGUE, SELON LES BESOINS DE L'ÉTUDE]
     • [NE PAS LIRE] Ne sait pas/Refuse de répondre

     et/ou

   • Langue parlée à la maison
     Quelle langue parlez-vous le plus souvent à la maison? [LIRE LA LISTE; ACCEPTER DEUX RÉPONSES AU MAXIMUM]
     • Anglais
     • Français
     • Autre [PRÉCISER OU NON LA LANGUE, SELON LES BESOINS DE L'ÉTUDE]
     • [NE PAS LIRE] Ne sait pas/Refuse de répondre
   • Emploi
     Laquelle des catégories suivantes décrit le mieux votre emploi actuel? Êtes-vous : [LIRE LA LISTE; N'ACCEPTER QU'UNE SEULE RÉPONSE]
     • Employé(e) à temps plein (35 heures par semaine ou plus)
     • Employé(e) à temps partiel (moins de 35 heures par semaine)
     • Travailleur autonome
     • Sans emploi, mais à la recherche d'un emploi
     • Étudiant(e) à temps plein
     • Retraité(e)
     • Absent du marché du travail [AU FOYER, SANS EMPLOI ET N'EN RECHERCHANT PAS]
     • [NE PAS LIRE] [SI BÉNÉVOLE : Autre – NE PAS PRÉCISER]
     • [NE PAS LIRE] Refuse de répondre
   • Revenu familial
     Dans quelle échelle salariale se trouve votre revenu familial total, c'est-à-dire le total des revenus avant impôts de toutes les personnes habitant avec vous? [LIRE LA LISTE]
     • Moins de 20 000 $
     • De 20 000 $ à moins de 40 000 $
     • De 40 000 $ à moins de 60 000 $
     • De 60 000 $ à moins de 80 000 $
     • De 80 000 $ à moins de 100 000 $
     • De 100 000 $ à moins de 150 000 $
     • 150 000 $ et plus
     • [NE PAS LIRE] Refuse de répondre

3. Mise à l'essai

Normes

1. Tous les éléments d'un nouveau questionnaire ou d'un questionnaire révisé utilisé dans un sondage antérieur, lesquels sont susceptibles d'influer sur la qualité des données, le comportement des répondants et le rendement des intervieweurs doivent faire l'objet d'une mise à l'essai.
2. La mise à l'essai doit comprendre l'approfondissement qui sert à inviter les participants recrutés pour le sondage à formuler des commentaires sur leur compréhension des questions et à réagir à ces dernières. Par exemple, une courte série de questions pourrait être intégrée au bas du sondage de mise à l'essai. Les recherchistes et les clients doivent convenir au préalable si l'approfondissement aura lieu pendant ou après le sondage. À la demande du client, un pré-test cognitif doit être réalisé.
3. Les caractéristiques sociodémographiques des participants visés doivent être approuvées par le client avant le début du recrutement.
4. On doit prendre les dispositions nécessaires pour que le client surveille les mises à l'essai téléphoniques ou en personne s'il le souhaite.
5. On doit faire au moins 10 séances de mise à l'essai dans chaque langue dans laquelle le sondage final sera mené. Les projets qui visent de petits groupes cibles pourraient constituer une exception.
6. Les mises à l'essai terminées ne seront pas intégrées à l'ensemble final des données. Des exceptions pourraient toutefois être applicables aux projets :
   1. qui visent des groupes cibles difficiles à rejoindre, ou
   2. pour lesquels aucun changement n'est apporté au questionnaire, ou
   3. pour lesquels l'entrevue a été réalisée exactement de la même façon que le sondage final.
7. Les mises à l'essai doivent être consignées, fournies au client avant que le questionnaire soit finalisé. Le rapport final doit comprendre à tout le moins :
   1. une description de la démarche de mise à l'essai suivie et du nombre d'entrevues menées.

4. Élaboration des bases de sondage et échantillonnage

Procédure d'échantillonnage

1. Il faut clairement préciser si des procédures d'échantillonnage probabiliste ou non probabiliste seront utilisées. Les recherchistes doivent clairement énoncer la définition du groupe cible (ou de l'univers) utilisé pour la recherche (à savoir si les personnes qui n'ont pas le service conventionnel à fil sont ou ne sont pas comprises dans la définition).
2. Dans le cas des échantillons probabilistes, il faut clairement préciser la méthode employée pour obtenir un échantillon représentatif de ce groupe cible.
3. Un échantillon de convenance/non probabiliste ne peut être décrit comme étant représentatif. Si le coût lié à l'échantillonnage de groupes cibles à faible incidence empêche l'utilisation des contrôles de quotas habituels visant à assurer la représentativité des échantillons, ces limites à l'échantillonnage doivent être alors clairement énoncées (comme elles devraient l'être dans le cadre de toute méthode d'échantillonnage).

Échantillonnage probabiliste

1. La liste ou la source de l'échantillon doit être clairement énoncée, y compris toute limite ou exclusion concernant la représentation de la population de l'échantillon cible, ainsi que la possibilité de biais.
2. Les échantillons aléatoires nationaux ne doivent exclure aucun indicatif régional, y compris dans le cas des territoires.
3. On doit donner une description complète du plan de sondage et de la procédure de sélection, dont :
   1. les variables de stratification de l'échantillon (le cas échéant);
   2. toutes les étapes de l'échantillonnage à plusieurs degrés (p. ex. secteurs de dénombrement, puis ménages, puis répondants);
   3. à chaque étape de l'échantillonnage, la méthode suivie pour obtenir une sélection aléatoire systématique devra être expliquée, et tous les sous-ensembles de l'univers qui ont été exclus ou sont sous-représentés (p. ex. les ménages n'utilisant que le cellulaire) devront être identifiés; toutefois, lorsque c'est possible, la proportion estimative de l'univers ayant été exclu ou sous-représenté devra être fournie;
   4. le nombre de rappels et la procédure pour effectuer ces appels;
   5. les critères d'admissibilité ou de présélection des répondants, y compris tous les contrôles de quotas utilisés (p. ex. le sexe).
4. Les résultats obtenus à partir de l'échantillon de contact doivent être consignés et faire état des éléments suivants :
   1. la taille de l'échantillon de contact initial;
   2. la proportion des données de l'échantillon de contact qui étaient inutilisables ou invalides (p. ex. en raison d'erreurs d'inscription ou de numéros hors service);
   3. la proportion de l'échantillon valide qui n'a pu être jointe à la suite d'un nombre précis de rappels;
   4. les autres motifs expliquant l'absence de réponse (p. ex. la langue [autre que les deux langues officielles] ou la surdité);
   5. le taux de refus des personnes de l'échantillon qui ont pu être jointes;
   6. la proportion de l'échantillon formée de personnes non admissibles;
   7. les entrevues ayant pris fin en cours de route;
   8. le nombre total d'entrevues achevées.
5. En présumant qu'une procédure d'échantillonnage probabiliste appropriée a été suivie, l'erreur d'échantillonnage indiquée doit être établie pour une taille d'échantillon donnée selon un niveau de confiance donné. Les recherchistes doivent cependant veiller à :
   1. ne pas inciter le client à croire à tort que l'erreur d'échantillonnage indiquée pour l'échantillon total sera la même que celle qui a été établie pour un sous-ensemble de l'échantillon total;
   2. exprimer si possible les erreurs d'échantillonnage pour les sous-ensembles principaux du sondage;
   3. indiquer qu'il existe d'autres sources possibles d'erreur dans toute étude (p. ex. les erreurs de formulation des questions, les erreurs de l'intervieweur ou du répondant), de manière à ne pas donner une fausse impression sur l'exactitude et la précision globales des résultats.

Justification pour le recours aux sondages non probabilistes

1. Lorsqu'on a recours à un sondage non probabiliste, le choix doit être justifié dans la proposition de projet et le rapport de recherche. La justification doit tenir compte des limites statistiques imposées par des données tirées d'un échantillon non probabiliste et des limites quant à la généralisation des résultats à la population cible.

Échantillonnage non probabiliste

1. Comme pour l'échantillonnage probabiliste, il faut faire état de la liste ou de la source de l'échantillon, y compris ses limites, dans la couverture de l'univers de l'échantillon cible.
2. Il faut énoncer les cibles de contrôle des quotas et les critères de présélection exacts, y compris la source de ces cibles (p. ex. données du recensement ou autre source de données).
3. Il faut faire état, dans le rapport, des écarts comparativement à la cible (chiffres réels comparés à la cible).

Traitement statistique des échantillons non probabilistes

1. On ne peut parler de marges d'erreur d'échantillonnage sur les estimations de la population dans le cas d'échantillons non probabilistes.
2. Le rapport d'enquête doit expliquer ce fait, en se fondant sur l'énoncé suivant : « Les répondants à ce sondage ont été recensés parmi ceux [qui se sont portés volontaires pour le sondage téléphonique]. Les résultats de tels sondages ne peuvent être décrits comme statistiquement représentatifs de la population cible. [S'il y a eu pondération, ajouter l'énoncé suivant :] Les données ont fait l'objet d'une pondération afin de représenter la composition démographique de (la population cible). Étant donné que l'échantillon est basé sur les personnes qui se sont portées volontaires pour participer [au panel], on ne peut donner une estimation des erreurs d'échantillonnage. »

   Cet énoncé doit être mis en évidence dans les descriptions de la méthode comprises dans le rapport d'enquête, auquel on a ajouté le sommaire.

3. En général, dans le cas de sondages non probabilistes, il n'est pas pertinent d'avoir recours à des tests d'hypothèse statistiques, puisqu'il est préférable d'utiliser des tests significatifs pour analyser des échantillons probabilistes. Cependant, il est possible de faire exception en ce qui concerne l'usage des tests d'hypothèses avec des échantillons non probabilistes lorsque l'objectif est d'établir la nature de la relation entre les variables. Si des tests significatifs sont utilisés avec des échantillons non probabilistes, il est important de noter que les conclusions tirées de ces test ne peuvent pas être appliquées de façon générale à une portion quelconque de la population.

   Toute utilisation d'une statistique descriptive doit indiquer clairement qu'elle n'est applicable qu'à l'échantillon faisant l'objet de l'étude et qu'elle ne peut être généralisée, et que l'échantillon ne peut en aucun cas représenter, par inférence, une population plus importante.

   L'exception à cette règle est les sondages non probabilistes où des répondants sont aléatoirement affectés à des cellules différentes dans le cadre d'un concept expérimental. Dans ce cas, on peut faire appel à des tests d'hypothèse statistiques pour comparer les résultats obtenus des différentes cellules du concept.

Échantillonnage par quotas

Les méthodes d'échantillonnage par quotas sont généralement utilisées pour les enquêtes par panel et les interrogations au passage afin d'assurer la représentativité des échantillons. Les quotas sont aussi utilisés pour contrôler la représentativité d'autres méthodes de collecte des données.

1. Il est nécessaire de donner une description complète des contrôles appliqués aux variables régionales, démographiques, et autres variables discriminantes pour équilibrer l'échantillon et en assurer la représentativité.
2. Les cibles précises des contrôles de quotas et les critères de présélection doivent être indiqués, y compris la source de ces cibles (p. ex. les données du recensement ou d'autres sources de données).
3. Le rapport doit faire état des écarts par rapport aux cibles (chiffres réels comparés aux cibles).

Sondages avec méthode mixte

Remarque : On parle de « méthode mixte » quand les recherchistes utilisent différentes façons de faire remplir les questionnaires. Dans bien des cas, les sondages avec méthode mixte combinent le téléphone et Internet, mais d'autres combinaisons sont aussi possibles (p. ex., en personne, courrier, télécopieur).

Quand on utilise une méthode de réponse mixte pour réaliser un sondage :

1. Il faut indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique, tant dans la proposition de projet de recherche que dans le rapport d'enquête.
2. Lorsqu'il s'agit de combiner des données obtenues au moyen de différentes méthodes, il faut prendre les mesures nécessaires afin d'optimiser la comparabilité des différents modes proposés, tant au chapitre de la formulation des questions que de la présentation des réponses possibles.
3. Il faut prendre les mesures nécessaires pour éviter la duplication de répondants dans les différents modes de cueillette. Il faut documenter les mesures et les résultats.

Le rapport d'enquête doit indiquer quelles répercussions pourrait avoir, sur la qualité des données, le fait de combiner des données obtenues au moyen de différents modes de cueillette. À titre d'exemple, on pourra décrire l'effet que le mode de cueillette peut avoir sur les principales variables de l'enquête, de même que l'effet de la variation des taux de réponse / taux de participation selon le mode de cueillette, en plus d'analyser les biais de non-réponse selon le mode de cueillette.

Des tentatives de recensements

Remarque : Dans le cas d'un recensement, on tente de recueillir des données auprès de l'ensemble des membres d'une population. Par exemple, une organisation peut vouloir effectuer un sondage auprès de l'ensemble de ses employés. Dans ce cas, la population est formée de « tous les employés de l'organisation », ce qui peut passer pour un recensement puisque tous les membres de cette population sont invités à participer.

La liste ou la source de l'échantillon doit être clairement énoncée, y compris toute limitation ou exclusion qui réduit l'universalité de la représentation de l'échantillon cible et la possibilité de biais.

Remarque : lorsque c'est possible, une estimation de la proportion de l'univers qui a été exclue ou est sous-représentée doit être fournie.

1. Le nombre de tentatives de relance et les procédures qui s'y rattachent doivent être énoncés.
2. Ne pas énoncer de marge d'erreur d'échantillonnage puisque cela ne s'applique pas à un recensement parce qu'aucun échantillon n'est sélectionné.

5. Répondants au sondage

Consentement

1. Les recherchistes doivent s'assurer que les répondants savent que leur participation à toutes les étapes du sondage est entièrement volontaire. Pour ce faire, ils doivent s'assurer que les répondants comprennent parfaitement le but de l'appel. Les intervieweurs doivent donc toujours donner clairement leur nom (leur prénom seulement ou leur identificateur unique) et le nom de l'entreprise de recherche pour laquelle ils travaillent, et répondre de façon honnête et sincère à toutes les questions des répondants.
2. Tous les répondants doivent savoir que l'entrevue peut être écoutée ou enregistrée à des fins de contrôle de la qualité.
3. Lorsqu'elles veulent interviewer des enfants (moins de 13 ans) ou des adolescents (13 à 15 ans), les recherchistes doivent d'abord obtenir le consentement d'un parent ou d'un tuteur. Une vigilance particulière devra être apportée dans le cas des répondants qui sont jugés vulnérables à d'autres égards. (Pour en savoir davantage sur la collecte de données auprès des enfants ou des répondants vulnérables, se reporter à la section 6.)

Droit de refus

1. Les recherchistes doivent respecter le droit de tout répondant de refuser de participer à un sondage, de refuser de répondre à une question ou de mettre fin à l'entrevue en tout temps. Ils peuvent par ailleurs utiliser tous les moyens raisonnables pour convaincre une personne de participer. Cela comprend le fait d'expliquer le but de la recherche et d'offrir de rappeler le répondant à un autre moment qui lui convient davantage s'il ne peut ou ne veut pas participer au moment du contact initial.

Éviter le harcèlement

1. Les recherchistes prendront tous les moyens raisonnables pour s'assurer que les répondants ne sont en aucune façon importunés ni embarrassés par une entrevue et qu'ils n'en subiront aucun effet néfaste. Ils doivent aborder les sujets délicats de façon à réduire au minimum le malaise et les craintes tant chez les répondants que chez l'intervieweur.

Anonymat et confidentialité des répondants

1. La confidentialité des répondants doit être protégée. Il ne faut pas être en mesure d'identifier personnellement les répondants, que ce soit par leur nom ou tout autre renseignement signalétique, ni de les identifier à partir des réponses particulières qu'ils ont données dans le cadre d'une étude, sans avoir obtenu leur consentement verbal ou écrit.
   1. Les recherchistes doivent assurer aux répondants que leur identité ne sera pas révélée au client. Les répondants ont le droit de s'attendre à recevoir cette garantie et à ce que cette dernière soit respectée par le recherchiste.

      Les questionnaires ou tout autre matériel (p. ex. les supports magnétiques) contenant l'identité des répondants ou des renseignements qui permettraient de dévoiler leur identité ne doivent en aucun cas être remis par les recherchistes à des clients ou à des tiers.

      Une exception à cette règle pourrait être envisagée si un répondant, dans le cadre d'une recherche sur la clientèle (effectuée à partir d'une liste fournie par le client), demande à l'intervieweur de transmettre certains renseignements, préoccupations ou demandes au client. Dans ce cas, une fois que le consentement du répondant a été obtenu, certains renseignements personnels tels que le nom et le numéro de téléphone du répondant peuvent être remis au client.

   2. Lorsqu'ils utilisent des techniques d'enregistrement ou d'observation, les recherchistes doivent en informer le répondant dès le début de l'entrevue (ou lors du recrutement si c'est le moindrement possible). La confidentialité des répondants ne doit pas être compromise en raison de l'utilisation de ces techniques.
   3. Les listes fournies par le client en vue de projets particuliers ne doivent être utilisées pour aucun autre projet. Les noms contenus dans ces listes ne doivent pas non plus être ajoutés aux bases de données du recherchiste. Si les listes ont fait l'objet d'une mise à jour pendant l'exécution du projet, elles doivent être remises au client dès que le projet est terminé. Autrement, elles doivent être détruites (versions électronique et papier).
   4. Les données personnelles du répondant ne doivent pas être utilisées, divulguées ni recueillies d'une manière qui est incompatible avec le but visé par la recherche. Cela vaut pour tout le personnel des recherchistes.
      Des précautions doivent être prises pour assurer la sécurité des renseignements, qu'ils soient sur papier, sur ordinateur ou stockés électroniquement.

L'identité d'un répondant ne doit pas être révélée au client, que ce soit comme donnée isolée ou en association avec une réponse particulière, sans que le répondant ait donné son consentement explicite à un moment ou l'autre pendant l'entrevue. Si ce consentement est donné, l'intervieweur doit le noter par écrit.

Maintien de la confiance du public

1. Les recherchistes doivent faire tout ce qui est en leur pouvoir pour établir, maintenir et accroître la confiance du public à l'égard des organismes de recherche et de la recherche sur l'opinion publique exécutée pour le gouvernement du Canada. Les entrevues doivent se dérouler de sorte que chacun reste à l'aise, dans un climat empreint de confiance et de bonne volonté, de même que dans le respect du droit à la vie privée des répondants s'ils décident de ne pas répondre à une question ou de ne pas participer au sondage.
2. Les recherchistes doivent téléphoner à l'heure locale du répondant, faire les entrevues seulement de 9 h à 21 h du lundi au vendredi, de 10 h à 21 h le samedi et de 12 h à 21 h le dimanche et les jours fériés, sauf si le répondant désire fixer un rendez-vous en-dehors de ces heures.
3. Les recherchistes doivent veiller à ce qu'il n'y ait pas de pause ou à ce qu'il y ait un minimum de pause (une seconde) avant que l'intervieweur reconnaisse qu'un répondant potentiel a répondu au téléphone.
4. À cause du fardeau de réponse attribuable au grand nombre d'appels nécessaires pour les sondages en réponse vocale interactive (RVI), les recherchistes peuvent seulement utiliser la RVI pour les appels réservés avec les répondants ou quand l'information spécifique à recueillir est essentielle pour une importante prise de décision et ne peut être obtenue par d'autres moyens. Quand on emploie la RVI, l'information nécessaire aux entrevues faites par des intervieweurs en direct (parraineur, recherchiste, participation volontaire, assurance de la confidentialité, etc.) doit être comprise dans l'introduction au sondage en RVI.
5. Les recherchistes doivent fournir à la demande du répondant le nom, l'adresse et le numéro de téléphone de l'entreprise de recherche.
6. Les intervieweurs doivent répondre de façon honnête et sincère à toutes les questions des répondants.
7. Les entrevues devront viser exclusivement la collecte légitime de renseignements en lien avec la recherche. À moins que le répondant en ait été informé dès le départ et qu'il y ait consenti, les renseignements ne devront pas servir à recruter des clients éventuels ni à vendre leurs données aux fins de marketing, ni à dresser des listes de publipostage.

6. Collecte de données auprès des enfants ou des répondants vulnénrables

Généralités

1. Les recherchistes doivent être particulièrement vigilants lorsqu'ils doivent interviewer des enfants, des adolescents ou des répondants jugés vulnérables à d'autres égards. Un « enfant » s'entend d'une personne âgée de moins de 13 ans et le terme « adolescent » désigne une personne âgée entre 13 et 15 ans.

Normalisation des lignes directrices

1. Lorsqu'ils doivent interviewer un enfant ou un adolescent, les intervieweurs doivent d'abord obtenir le consentement d'un parent ou d'un adulte responsable (tuteur ou autre) avant d'aborder l'enfant ou l'adolescent. Ils doivent fournir suffisamment de renseignements à la personne responsable de l'enfant ou de l'adolescent pour qu'elle puisse prendre une décision éclairée concernant son consentement. Il n'est en général pas nécessaire d'obtenir un consentement écrit, mais le nom de la personne qui le donne doit être indiqué au dossier.
2. Le consentement de l'adulte permet à l'intervieweur d'aborder l'enfant ou l'adolescent, mais ne lui donne pas la permission de l'interviewer, car celui-ci doit avoir lui-même l'occasion de refuser de prendre part à la recherche.
3. En effectuant un sondage par téléphone, il pourrait être difficile de déterminer l'âge du répondant et d'obtenir le consentement nécessaire aux fins de l'entrevue. En dépit de ces difficultés, les recherchistes doivent tout de même s'efforcer de se conformer aux règles énoncées dans les présentes lignes directrices.
4. On pourra faire exception à cette règle lorsqu'il est impossible d'obtenir le consentement d'un parent ou d'un tuteur (p. ex. dans le cas d'enfants de la rue) et que l'on considère que les avantages que présente l'information l'emportent sur le tort qui pourrait être causé aux répondants (p. ex. dans le cas des jeunes adoptant un comportement dangereux).

Sécurité des enfants

1. Le bien-être des enfants et des adolescents eux-mêmes est le facteur le plus important à considérer. L'expérience de l'entrevue ne doit pas les perturber ni leur causer du tort. Par conséquent, il faut aborder avec une vigilance particulière les questions ou sujets délicats susceptibles de bouleverser les enfants et les adolescents (p. ex. les relations avec d'autres enfants ou les parents, les activités sexuelles, l'usage de stupéfiants ou d'alcool).
2. Il est recommandé qu'un adulte responsable (en plus de l'intervieweur) reste à proximité (pas nécessairement dans la même pièce) pendant le déroulement de l'entrevue. L'intervieweur et les recherchistes doivent être protégés contre toute mésentente ou allégation possible d'inconduite découlant de leur interaction avec les enfants ou les adolescents qui participent au projet.

Types de renseignements recueillis

1. Des renseignements personnels concernant d'autres personnes (p. ex. les parents) ne peuvent être demandés aux enfants.

7. Collecte des données

Instructions sur le projet

1. Le personnel sur le terrain devra assister à une séance d'information ou recevoir des instructions sur chaque projet (ou chaque vague de projets), même s'il ne commence à y participer qu'après le début du projet.
   1. La séance d'information ou les instructions devront fournir de plus amples renseignements sur le contexte du projet (outre ceux qui sont fournis aux répondants en guise de présentation), par exemple les raisons pour lesquelles il est entrepris, par qui il l'est et à quoi servira l'information recueillie.
   2. Cette séance d'information ou ces instructions devront être données par un membre du personnel qui comprend parfaitement les exigences du projet.
   3. Bien qu'il soit préférable que l'information ou les instructions soient fournies en personne, elles peuvent l'être par téléphone, au moyen d'un enregistrement (audio ou vidéo), par écrit ou par tout autre moyen, dans la mesure où l'on consigne dans les dossiers la teneur de l'information ou des instructions et que ces dernières ont été données à tout le personnel sur le terrain affecté au projet. Remarque : Tous les efforts doivent être déployés afin d'éviter que l'information ou les instructions ne soient données que par écrit.
2. Les instructions doivent être suffisamment détaillées pour permettre à chaque intervieweur de se familiariser avec le questionnaire, l'échantillon et la sélection des répondants, ainsi qu'avec les difficultés qui pourraient surgir dans le déroulement du sondage. Les intervieweurs doivent se familiariser avec le libellé de chaque question avant de commencer les entrevues. Les normes de pratique comprennent généralement la répétition de l'entrevue et la mise à l'essai.
3. La séance d'information ou les instructions devront inclure, selon le cas, les renseignements suivants :
   1. les dates des travaux sur le terrain;
   2. la procédure d'échantillonnage;
   3. les échantillons déterminés par quotas à couvrir;
   4. la méthode;
   5. les autres exigences particulières du projet;
   6. les instructions ou conditions relatives à l'administration du questionnaire.

Rappels

Un nombre minimal de huit rappels devront être faits avant de supprimer un numéro de téléphone et de le remplacer par un autre. Les rappels doivent être faits à des jours et des heures différents sur une période minimale de sept jours. Une exception pourrait être faite lorsque la période de recherche sur le terrain est écourtée parce qu'il faut évaluer la capacité des répondants de se souvenir d'événements ou d'activités précis.

Rappels prévus

Tous les efforts doivent être déployés afin de s'assurer de rappeler le répondant à la date et à l'heure prévues si un rendez-vous a été convenu.

Refus

On ne tentera pas de rappeler les répondants qui ont refusé de participer.

Surveillance et validation du travail sur le terrain

1. Le but de la validation consiste à vérifier si la collecte des données par le personnel sur le terrain s'est faite conformément aux instructions du projet, notamment en ce qui a trait à l'ordre prévu de présentation des questions et au respect des exigences générales.
2. La validation devra être effectuée dès que possible après la fin des travaux sur le terrain et avant que les données recueillies ne soient traitées ou communiquées aux clients.
3. Les clients doivent avoir la possibilité de soumettre à des vérifications la qualité ou la validité du travail sur le terrain, sous réserve de toute restriction d'ordre juridique applicable.

Méthodes de validation

1. Selon leur nature, les données recueillies devront faire l'objet d'une validation en conformité avec les exigences exposées ci-dessous, en vérifiant les dossiers de données produits (p. ex. les questionnaires ou les fichiers de données des ITAO), en communiquant de nouveau avec le répondant (appels de validation) ou en exerçant une surveillance.
2. La vérification des dossiers de données peut porter, selon le cas, sur l'intégralité de ces derniers, le respect des échantillons ou des quotas, la cohérence des réponses et la comparaison de ces dernières à des données normales ou aux données d'autres intervieweurs. Ces vérifications peuvent être informatisées ou effectuées manuellement. Elles peuvent également se dérouler parallèlement à la vérification d'autres dossiers.
3. Au cours des appels de validation, on doit confirmer auprès des répondants que l'entrevue ou une activité équivalente a bel et bien eu lieu et que les instructions ont été suivies, ainsi que vérifier la durée de l'entrevue et les réponses aux questions clés, y compris les données démographiques, et aux autres questions de qualification liées aux quotas, etc. La procédure de validation peut être effectuée par tout moyen permettant une communication directe avec le répondant (c.-à-d. en personne, par téléphone, par la poste ou par courriel).
4. Une surveillance devra être assurée de façon continue, pendant toute la durée du travail sur le terrain. Par surveillance, on entend l'écoute des entrevues au moment où elles ont lieu, au moyen du matériel approprié, ou l'écoute des enregistrements de ces entrevues. Tant l'intervieweur que le répondant devront être audibles. Les intervieweurs devront être conscients du fait qu'ils peuvent être surveillés en tout temps, mais ne doivent pas être informés du moment précis où ils le seront. Si les entrevues se déroulent dans plusieurs langues, la surveillance devra être assurée par les membres du personnel qui parlent couramment les langues en question. Les entrevues effectuées dans des centres dotés du matériel approprié (centraux téléphoniques) se prêtent particulièrement bien aux activités de surveillance.

Niveaux de validation

1. La validation devra être effectuée à tout le moins jusqu'aux niveaux indiqués ci-dessous (selon le type de validation). Les niveaux de validation devront être calculés selon le nombre d'entrevues et de validations effectuées.
2. Pour tous les projets où les données sont recueillies au moyen d'entrevues, le recherchiste doit valider les données au moyen de surveillance ou d'appels de validation jusqu'aux niveaux indiqués ci-dessous, que les dossiers de données soient aussi vérifiés ou non :
   1. le niveau minimal de validation effectuée au moment de la surveillance devra correspondre à 10 % des entrevues ou des cas, et au moins 75 % de chaque entrevue ou cas devra être surveillé ou écouté;
   2. le niveau minimal de validation effectuée au moment des appels de validation devra correspondre à 10 % des entrevues ou des cas.
3. Chaque membre du personnel sur le terrain affecté à un projet doit faire l'objet d'une surveillance ou d'un contrôle de validation.
4. Dans certaines situations exceptionnelles, il peut être impossible du point de vue organisationnel d'effectuer, en partie ou en totalité, les appels de validation ou la surveillance jusqu'aux niveaux requis, ou encore cela risque d'aller à l'encontre des intérêts des répondants. Dans ces cas, les dossiers de projets devront indiquer pourquoi les appels ou la surveillance n'ont pas été faits ainsi que les mesures prises (p. ex. la vérification des dossiers de données) pour valider la collecte des données.

8. Taux de réponse / taux de participation

Taux de réponse / Taux de participation Cibles

1. Le sondage téléphonique doit être conçu de manière à atteindre le plus haut taux de succès possible.

Surveillance du taux de réponse / Taux de participation pendant la collecte des données

1. Une surveillance de la répartition des appels ou des raisons motivant les non-réponses devra être assurée en permanence tout au long de la durée du travail sur le terrain.
2. L'information sera fournie au client sur demande.

Analyses du biais de non-réponse

1. Tous les rapports d'enquête doivent faire état de la possibilité de biais de non-réponse pour le sondage dans son ensemble et pour certaines variables clés du sondage. Un biais de non-réponse s'entend de la différence systématique entre les valeurs réelles de la population et la moyenne des résultats de tous les échantillons possibles de non-réponse.
2. L'analyse du biais de non-réponse comprendra une comparaison d'un minimum de trois variables de l'échantillon de sondage dont les paramètres relatifs à la population sont équivalents, et normalement disponibles auprès de Statistique Canada. Des entrevues et des sondages supplémentaires ne sont pas requis.
3. S'il n'existe aucune source externe de comparaison, les variables clés de l'échantillon pourraient être comparées aux variables de la base de sondage. Si ces variables n'existent pas, l'exposé sur le biais de non-réponse doit alors reposer sur la comparaison des répondants précoces par rapport aux répondants tardifs ou sur des observations faites pendant la collecte des données en ce qui concerne les caractéristiques des non-répondants.

Calcul du taux de réponse / Taux de participation

1. Le taux de réponse, ou niveau, doit être calculé en fonction des sondages de la probabilité et des tentatives de recensements.
2. Le taux de participation, ou niveau, doit être calculé en fonction des sondages non probabilistes.

Le calcul du taux de réponse pour ce qui est des sondages téléphoniques doit s'effectuer selon les recommandations de l'ARIM. Les résultats doivent être compris dans le rapport de sondage. Le rapport de sondage doit également contenir un relevé de répartition des contacts qui comprennent les catégories nécessaires pour se conformer aux formules de calcul de l'ARIM. La formule employée pour calculer le taux de réponse des sondages téléphoniques doit également être utilisée pour calculer le taux de participation aux sondages téléphoniques (voir ci-dessous).

Le taux de réponse / taux de participation et le relevé suivant de répartition des appels doivent être compris dans le rapport final du sondage.

Calcul empirique pour la collecte de données

• Nombre total de tentatives d'appels
• Non valide
  
• Numéro hors service, télécopieur/modem, lignes d'affaires/non résidentielles

Non résolu (NR)

• Occupée
• Pas de réponse, répondeur

Répondants potentiels – unités non répondantes (UNR)

• Refus du ménage (énoncé de façon explicite)
• Refus du répondant (énoncé de façon explicite)Problème de langue (le répondant n'est pas en mesure de répondre dans la ou les langues du sondage)
• Maladie, incapacité
• Le répondant choisi n'est pas disponible
• Le répondant qualifié raccroche avant la fin de l'entrevue

Répondants potentiels – unités répondantes (UR)

• Déclaré inadmissibles en raison de la langue
• Personne de 18 ans ou plus
• Déclaré inadmissible pour d'autres raisons
• Entrevues terminées

Taux de réponse / Taux de participation = UR/(NR+UNR+UR)

9. Saisie des données

Saisie électronique des données

1. Il appartient au recherchiste de veiller à ce que les spécifications des ITAO en regard de la saisie ou la capture des données soient exactes et conformes aux exigences, selon le questionnaire approuvé par le client.
2. Le recherchiste fournira sur demande au client la version ITAO du questionnaire.

Vérification de la saisie des données sur papier

1. Le recherchiste devra indiquer au dossier le niveau de vérification assuré. Une méthode systématique de vérification de la saisie des données devra être appliquée dans le cadre d'un projet, ou encore dans le cadre d'une étape ou d'une vague de projets. En tout, au moins 10 % des données saisies pour un projet devront être vérifiées. La procédure devra prévoir une méthode systématique de vérification du travail de chaque opérateur, et cette vérification devra être assurée par une deuxième personne.
2. Si le travail d'un opérateur en particulier renferme de nombreuses erreurs, tout le travail de cette personne (dans le cadre du projet) devra être vérifié ou refait. Au besoin, cet opérateur devra suivre une formation d'appoint jusqu'à ce que le taux d'erreur soit acceptable.
3. Le recherchiste devra définir le sens du terme « erreurs fréquentes » et l'inscrire au dossier.

10. Codage

Élaboration des grilles de codage

1. La liste ou grille de codage originale doit être élaborée à la lumière d'un examen systématique d'au moins 10 % des réponses aux questions ouvertes et 50 % des réponses aux questions partiellement ouvertes lorsqu'elle n'a pas encore été établie. Sur demande, la liste ou la grille de codage initiale doit être transmise au client aux fins d'approbation.
2. Le recherchiste devra s'assurer que les codeurs affectés au projet ont reçu les instructions et la formation nécessaires, celles-ci devant comprendre, à tout le moins :
   1. un aperçu du projet;
   2. une description des questions ou des variables à coder;
   3. la proportion ou le nombre minimal d'un échantillon (et sa composition) utilisé dans la production des grilles de codage;
   4. s'il y a lieu, les sous-groupes particuliers nécessaires à l'élaboration des grilles de codage (p. ex. les régions, les utilisateurs ou les non-utilisateurs);
   5. les lignes directrices relatives aux codes à prévoir dans les grilles de codage (p. ex. les décisions ou les règles concernant les éléments à inclure ou à ne pas inclure dans un code donné);
   6. toutes les utilisations prévues des grilles de codage provenant de projets ou d'étapes antérieurs;
   7. toute autre exigence ou instruction spéciale relative au projet.

Approbation des grilles de codage et procédures de codage

1. Lorsque les réponses « Je ne sais pas » et « Pas de réponse » sont utilisées, elles devront pouvoir être distinguées l'une de l'autre.
2. Le recherchiste devra avoir établi des règles ou des lignes directrices claires à suivre pour les réponses « Autres » ou « Divers ». Si ces dernières dépassent 10 % des réponses à coder, ces réponses doivent être examinées en vue de réduire la taille de ce groupe.
3. Les recherchistes doivent s'assurer que la procédure prévoit une méthode systématique permettant de vérifier au moins 10 % des questionnaires codés pour chaque projet, et cette vérification devra être assurée par une deuxième personne.

11. Édition et imputation des données

Édition et imputation des données

1. Tous les changements apportés à l'ensemble de données initial devront être rigoureusement consignés par écrit. Une comparaison avec la source originale de données devrait constituer la première étape du processus. Les processus d'imputation utilisés devront être consignés par écrit, y compris la logique de la ou des méthodes employées, et cette information devra être remise au client. Toutes les spécifications liées à l'édition des données devront être consignées par écrit.
2. Lorsqu'on a recours à l'édition forcée, la logique de ce « nettoyage » des données devra être consignée par écrit, des essais devront être effectués et les résultats démontrant que le nettoyage produit l'effet voulu devront être versés au dossier.
3. L'édition et l'imputation des données doivent être employées avec circonspection. Il est nécessaire de tenir compte du degré et de l'incidence de l'imputation au cours de l'analyse des données. Les méthodes d'imputation utilisées peuvent avoir une forte incidence sur les distributions des données et la variance des estimations.
4. Le recherchiste devra consigner par écrit toute imputation ou toute édition forcée des données dans une annexe technique et dans le rapport final.

Préparation des données sur papier avant leur saisie

1. Lorsque la préparation des données sur papier est effectuée manuellement, on devra pouvoir faire la distinction entre les réponses initiales du répondant ou de l'intervieweur et les codes ou les réponses attribuées par la ou les personnes qui effectuent la préparation des données.
2. Lorsque cette méthode est employée, la logique et les règles suivies devront être indiquées dans le dossier et tout le personnel affecté à cette partie du projet devra recevoir les instructions nécessaires sur les types de contrôles et de corrections qu'il peut effectuer.

12. Analyse des données

Inférences et Comparaisons

Les recherchistes doivent fonder les comptes rendus de comparaisons et les autres conclusions statistiques tirées des données d'enquête sur des pratiques statistiques acceptables.

Dossiers d'analyse

1. Le recherchiste devra tenir des dossiers précis et détaillés du processus d'analyse suivi, et ce, pendant une période minimale de trois ans, pour s'assurer que toute analyse entreprise pourra être répétée ultérieurement.

Vérification de l'analyse des données

1. Le recherchiste devra mettre en place des procédures pour s'assurer que les mises en tableaux et les autres résultats ont été vérifiés.
2. On devra vérifier à tout le moins :
   1. l'exhaustivité des données, c'est-à-dire vérifier si tous les tableaux précisés sont bien là, y compris les résultats de tous les tests de signification;
   2. si les abréviations utilisées dans les bannières et les réponses aux questions ouvertes reflètent bien l'ensemble du contenu;
   3. si la base de chaque tableau est exacte par rapport aux autres tableaux ou au nombre de fréquences;
   4. si le champ de bannières habituelles est comparé aux questions de départ;
   5. si toutes les données dérivées sont comparées à leur source;
   6. si les chiffres relatifs aux sous-groupes et aux résultats nets sont exacts;
   7. s'il n'y a pas de tableau vide (c.-à-d. ne contenant aucune donnée);
   8. la pondération (p. ex. les tableaux explicatifs);
   9. le nombre de fréquences avant de créer les tableaux, afin d'assurer la justesse des données et de déterminer la taille de la base des sous-groupes;
   10. l'orthographe et la lisibilité;
   11. si toute analyse statistique utilisée est pertinente et exacte, tant en ce qui a trait aux descriptions qu'aux inférences.
3. Les vérifications pertinentes devront être effectuées pour tous les résultats subséquents.

13. Livraison de tableaux de données

Livraison de tableaux de données autonomes sous forme électronique ou sur papier

1. Lorsque les données sont communiquées au client, par exemple, au moyen de tableaux de données autonomes sous forme électronique ou sur papier, les éléments suivants devront être pris en considération, au besoin :
   1. le renvoi à la question de départ à laquelle les données sont liées;
   2. l'inclusion d'une description de toute méthode de pondération appliquée aux données;
   3. une définition claire de tout sous-groupe utilisé;
   4. la disponibilité des bases de chaque question, afin qu'il soit possible de déterminer le nombre de répondants ayant réellement répondu à la question;
   5. le nombre ou la proportion de répondants ayant répondu « Je ne sais pas » ou n'ayant donné aucune réponse;
   6. la disponibilité de bases pondérées et non pondérées;
   7. une définition et une explication claires et complètes de toutes les variables utilisées dans le cadre de l'analyse des données, y compris tous les tests de signification, toute indexation, dénombrement ou mise à l'échelle et tout calcul de moyennes, de médianes, de valeurs dominantes et d'écarts-types;
   8. le type de tests statistiques utilisés et leur degré de précision;
   9. les renseignements sur la suppression de cellules ou toute autre mesure prise afin d'assurer la confidentialité;
   10. les mises en garde au sujet des résultats qui ne sont pas fiables en raison de la petite taille de l'échantillon.

Livraison de données par voie électronique

1. Le recherchiste doit remettre au client un fichier de données.
2. Les éléments suivants devraient d'abord être vérifiés :
   1. la compatibilité du format de fichier avec le logiciel convenu avec le client;
   2. l'exhaustivité (chaque fichier contient le bon nombre de fichiers et de documents);
   3. la présence de toute la documentation pertinente permettant de répéter l'analyse des données et autres analyses, y compris, s'il y a lieu :
      1. l'étiquetage du contenu du fichier, c'est-à-dire les variables et les codes de valeurs clairement marqués;
      2. la définition et la description de toute variable calculée ou recodée et les instructions concernant les restrictions relatives à l'utilisation;
      3. les variables de pondération étiquetées et une description de la façon dont ces variables ont été appliquées;
      4. toutes données d'identification personnelle ont été supprimées des fichiers, en conformité avec la Loi sur la protection des renseignements personnels et les documents électroniques
   4. le chiffrement des fichiers, sur demande;
   5. la présence de virus dans le fichier.

14. Sauvegarde, conservation et sécurité des données

Sauvegarde, conservation et sécurité des données

1. Toutes les données devront être conservées en sécurité pour éviter qu'on y accède sans autorisation, ou qu'elles soient endommagées ou accidentellement perdues.
2. Le recherchiste devra veiller à ce que toutes les données soient stockées et conservées conformément à la loi et aux mesures législatives en vigueur ainsi qu'à tout accord négocié avec le client.
3. Le recherchiste doit conserver pendant trois ans les données techniques relatives à toutes les enquêtes, afin de pouvoir les répéter, s'il y a lieu.
4. Les données techniques non incluses dans le rapport d'enquête/l'annexe et qui doivent être conservées comprennent, sans s'y limiter :
   1. les fichiers de données brutes;
   2. les autres fichiers électroniques;
   3. les questionnaires sur papier et tout document ou matériel visuel utilisés par les intervieweurs au cours de l'entrevue (p. ex. les cartes, les listes, la FAQ);
   4. les grilles de codage;
   5. les dossiers du projet, y compris l'information sur la gestion du projet;
   6. les courriels et toute autre correspondance.
5. Le recherchiste devra établir et tenir à jour des procédures pour veiller à ce que les fichiers informatiques relatifs au traitement des données soient clairement désignés.
6. Dans les cas où les données ont été éditées, épurées ou recodées ou si l'on a modifié de quelconque façon le format, le contenu ou la disposition initiale, il sera nécessaire de conserver, à tout le moins, les données brutes, les données définitives et les fichiers de programmes, ainsi que toute la documentation afférente aux modifications apportées aux données, afin qu'il soit facile de reconstituer l'ensemble de données définitives.
7. Des analyses supplémentaires peuvent être demandées après le traitement principal. Ces analyses devront être conformes aux exigences de cette norme en matière de traitement des données.
8. Pour tous les tableaux ou les données que l'on envisage de communiquer, des procédures devront être en place afin de réduire au minimum les risques de divulgation de renseignements révélant l'identité des répondants.

15. Rapports d'enquête

Bibliothèque et Archives Canada

Les institutions ont l'obligation juridique d'envoyer des écrits de recherche sur l'opinion publique à Bibliothèque et Archives Canada dans les six mois suivant la fin de la collecte des données, et ce, pour tous les rapports.

Selon le Règlement sur les marchés de recherche sur l'opinion publique, le rapport final doit comprendre notamment :

1. sur sa page couverture, le titre du projet de recherche, le nom de la personne qui a conclu le marché ainsi que les numéro et date de passation du marché;
2. un compte rendu sommaire comprenant notamment :
   1. un énoncé des buts et objectifs de la recherche,
   2. sauf si la personne qui a conclu le marché n'a pas la responsabilité du concept, de l'élaboration de la méthodologie et de l'analyse de la recherche, un sommaire des constatations clés,
   3. une brève description de la méthodologie utilisée,
   4. un énoncé quant au degré d'extrapolation possible des constatations à un plus vaste public;
3. des annexes comprenant, pour la recherche quantitative :
   1. un ensemble complet de données totalisées,
   2. la méthode d'échantillonnage, la taille de l'échantillon et les dates du travail sur le terrain,
   3. le cas échéant, les procédures de pondération, l'intervalle de confiance et la marge d'erreur,
   4. le cas échéant, le taux de réponse / taux de participation et la méthode de calcul,
   5. les instruments de recherche utilisés,
   6. tout autre renseignement quant à l'exécution du travail sur le terrain qui pourrait être nécessaire pour reproduire le projet de recherche;

Généralités

Il est nécessaire de présenter les renseignements suivants, à tout le moins, dans le rapport de projet afin de permettre au lecteur de comprendre pleinement la façon dont le projet de recherche a été mené de même que les conséquences de ses résultats.

Contexte

1. Une description détaillée du contexte, comprenant à tout le moins :
   1. le but de la recherche et son utilisation.
2. Les objectifs et les questions de l'enquête.

Échantillon

1. Une description détaillée de l'échantillon, comprenant :
   1. le groupe ciblé par le projet de recherche;
   2. la taille de l'échantillon obtenu par rapport à la taille de l'échantillon prévu, et les raisons pour lesquelles l'échantillon prévu n'a pas été obtenu le cas échéant;
   3. la source de l'échantillon et la méthode d'échantillonnage, y compris le processus de sélection des répondants;
   4. les procédures de pondération, le cas échéant.
2. Pour les échantillons non probabilistes, préciser :
   1. les raisons justifiant le choix d'un échantillon non probabiliste.

Collecte des données

1. Une description détaillée de la méthode employée, y compris :
   1. les dates auxquelles le travail sur le terrain a été effectué (pour chaque étape et vague, s'il y a lieu);
   2. la durée moyenne d'une entrevue et l'intervalle de variation;
   3. la méthode de collecte de données et, s'il y a lieu :
      1. le type et le montant des incitatifs
      2. les dispositions relatives à l'accessibilité pour les répondants qui utilisent des technologies d'adaptation.
2. Dans le cas des sondages par méthode mixte, indiquer pourquoi on a privilégié une méthode mixte plutôt qu'une méthode unique.

Contrôles de la qualité

1. Les procédures d'estimation et d'imputation, le cas échéant.
2. Un court résumé des autres procédures et contrôles de la qualité utilisés.
3. En ce qui concerne les sondages par méthode mixte, décrire en détail quelles répercussions pourraient avoir, sur la qualité des données, le fait de combiner des données obtenues au moyen de différentes méthodes de collecte.

Résultats

1. Dans le cas des échantillons probabilistes, indiquer le niveau de précision, y compris la marge d'erreur et l'intervalle de confiance pour l'échantillon total et tout sous-groupe principal.
2. Dans le cas des échantillons non probabilistes et des tentatives de recensement, le rapport doit expliquer pourquoi les marges d'erreur d'échantillonnage ne sont pas traitées.
3. La répartition des appels et le taux de réponse (dans le cas des échantillons probabilistes et des tentatives de recensements) et le taux de participation (dans le cas des échantillons non probabilistes).
4. Les résultats fondés sur des sous-groupes et le nombre de cas utilisés dans l'analyse des sous-groupes.

Annexe 1 : Documents de l'étude

Les documents de l'étude, soit les outils de recrutement, les questionnaires, les descriptions des aides visuelles et auditives utilisées et tout autre document de collecte de données pertinent, dans toutes les langues dans lesquelles la recherche a été menée.

Il devrait y avoir une version des questionnaires affichant les instructions (p. ex. « passer à », terminer, etc.) qui permettent de comprendre la logique et le déroulement du questionnaire.