|
Évaluation d'une enquête sur les facteurs de risque selon trois méthodes
Beth Theis, Jennifer Frood, Diane Nishri et Loraine D Marrett Sommaire Ce document présente une évaluation des questions d'une enquête sur les facteurs de risque de cancer à l'aide de trois méthodes différentes : schémas de réponse à un ensemble de données, commentaires qualitatifs et évaluation du questionnaire. Les trois méthodes ont porté sur les données, les procédures et les questions de l'enquête. Elles ont fait ressortir certains points semblables, mais elles ont aussi souligné certains aspects particuliers. Les schémas de réponse à un ensemble de données ont révélé l'existence de données manquantes et hors gamme, un effet d'ordre et un codage mixte. Les commentaires qualitatifs ont révélé un manque de clarté, l'existence de sujets délicats et de termes techniques ou mal définis, l'incapacité de prendre note de toutes les réponses possibles, un chevauchement des options de réponse (perçu par les répondants), des problèmes de codage et des difficultés de rappel. L'évaluation du questionnaire a révélé la présence de termes techniques ou non définis, une syntaxe complexe, des définitions cachées et une formulation ambiguë. Les méthodes d'évaluation des enquêtes présentées dans ce document peuvent améliorer la qualité des données, surtout lorsque l'on ne peut élaborer un questionnaire approfondi à cause d'un manque de temps et de ressources. Mots clés : collecte de données; enquêtes sur la santé; questionnaires; surveillance de la population
Introduction Ce document porte sur une évaluation des questions d'une enquête sur les facteurs de risque de cancer. Dans le cadre de cette évaluation, trois méthodes différentes ont été appliquées aux données, au processus et aux questions d'une enquête pilote. Nous faisons état de la contribution particulière de chaque méthode et des convergences des différentes approches en ce qui concerne les secteurs où il y a lieu d'améliorer la collecte des données ou de faire preuve de prudence dans l'interprétation des réponses. Newell et ses collègues indiquent que si l'on veut vérifier l'exactitude des comportements autodéclarés liés au cancer, il faut notamment vérifier si les répondants ont parfaitement compris les questions, si l'on a formulé les questions de façon à réduire au minimum le biais lié au désir de conformité sociale, si l'on a encouragé l'inscription de réponses exactes et non de réponses arrondies pour les variables continues et si les options de réponse étaient claires, exhaustives et mutuellement exclusives1. Les chercheurs qui recueillent et utilisent des données d'enquête ont besoin de mécanismes pour évaluer les efforts déployés pour mettre ces stratégies en application. Les systèmes de surveillance rapide des facteurs de risque permettent de faire une évaluation continue et, idéalement, laissent une certaine latitude pour la modification des questions. Un essai pilote d'un système de ce genre, mené dans la région de Durham (Ontario), a permis de procéder à l'évaluation présentée dans ce document. L'essai a été effectué conjointement par Santé Canada, le ministère de la Santé et des soins de longue durée de l'Ontario, le service de santé publique de la région de Durham et Action Cancer Ontario (ACO). Matériel et méthodes Enquête pilote de la région de Durham L'enquête pilote visait principalement à analyser la collaboration entre les organismes parrains, notamment au sujet de la formulation, de l'ajout et de la modification du contenu de l'enquête, et à déterminer si les données de l'enquête pouvaient être générées rapidement et selon une présentation utile. L'enquête visait accessoirement à évaluer les résultats réels de l'enquête et la qualité des données. Les interviews ont eu lieu en cinq vagues mensuelles d'environ 200 chacune de juin à octobre 1999; au total, 1 047 interviews ont été menées auprès de résidents de la région de Durham âgés de 18 à 89 ans. Les personnes admissibles rejointes ont répondu à l'interview dans une proportion de 69 %. L'Institute of Social Research (ISR) de l'Université York, à Toronto, a été chargé de mener l'enquête au moyen d'interviews téléphoniques assistées par ordinateur (ITAO). Le groupe d'élaboration du contenu (trois épidémiologistes et deux spécialistes des méthodes d'enquête) représentait le service de santé de la région de Durham, ACO, Santé Canada et l'IRS. Le contenu a été limité à environ 80 questions, car la durée visée de l'interview était de 20 minutes. Facteurs de risque de cancer Les sujets qui présentaient un intérêt particulier pour un organisme provincial d'étude du cancer ont fait l'objet de 45 questions portant sur 1) le comportement lié au soleil; 2) le dépistage du cancer du sein, du cancer du col utérin, du cancer colorectal et du cancer de la prostate; 3) le régime alimentaire; 4) l'activité physique; et 5) la consommation de tabac. L'annexe présente ces questions dans leur version finale (cinquième vague d'enquêtes). Les questions portant sur le comportement lié au soleil s'inspirent de celles des enquêtes menées dans le cadre de l'Atelier national canadien sur la mesure des comportements liés au soleil, tenu en 19982. Les spécialistes des méthodes d'enquête de notre groupe d'élaboration du contenu ont modifié légèrement la formulation des questions d'après leur connaissance et leur expérience des enquêtes téléphoniques. Les questions sur le dépistage du cancer du sein, du cancer du col utérin, du cancer colorectal et du cancer de la prostate ont toutes été conçues selon le même modèle : 1) avez-vous déjà subi un test? 2) à quand remonte le dernier test? et 3) raison du dernier test. Les questions portant sur le cancer du sein et sur le cancer du col utérin ont été tirées de l'Enquête nationale sur la santé de la population; celles qui portent sur le dépistage du cancer de la prostate et du cancer colorectal ont été élaborées par le groupe du contenu. La période de référence de deux ans depuis le dernier test correspondait aux lignes directrices sur le dépistage du cancer du sein et du cancer du col utérin. Les questions sur la mammographie ont été posées à des femmes de 35 ans et plus, et les questions sur le dépistage du cancer colorectal, à des répondants de 40 ans et plus. Les questions traitant du test de Papanicolaou ont été réservées aux femmes qui avaient déclaré ne pas avoir subi d'hystérectomie. Aucune restriction d'âge n'a été appliquée aux questions portant sur le test de dépistage de l'antigène prostatique spécifique (APS), car certains hommes ont indiqué, dans l'essai préliminaire, qu'ils avaient subi ce test dans la trentaine. Les questions portant sur les raisons qui ont amené les sujets à subir des tests de détection du cancer ont été fondées sur la question relative au test de Papanicolaou (examen systématique ou vérification d'un problème actuel ou passé) tirée du US Behavioral Risk Factor Surveillance System (BRFSS)3 et élargies de façon qu'une troisième option de réponse permette de distinguer une inquiétude au sujet de certains symptômes et le suivi d'un problème diagnostiqué par le médecin. Sur le plan du régime alimentaire, nous avons intégré une série de questions du BRFSS au sujet de la consommation de fruits et de légumes. Les questions sur l'activité physique ont été adaptées d'une série proposée par la Physical Activity and Health Branch des Centers for Disease Control and Prevention pour le BRFSS. Les questions sur la consommation de tabac sont celles du BRFSS (1999)3 auxquelles on a apporté de légers changements pour tenir compte de l'expérience canadienne et des tentatives de cesser de fumer. Méthodes d'évaluation Nous avons évalué les 45 questions sur les facteurs de risque de cancer grâce à 1) une analyse des descripteurs des ensembles de données et des schémas de réponse traditionnels; 2) des commentaires qualitatifs fondés sur la surveillance des interviews, un compte rendu des intervieweurs et des questions directes aux répondants; 3) une évaluation du questionnaire à l'aide d'une liste de contrôle, adaptée d'un système publié de codage des questionnaires, visant à décrire et à évaluer les problèmes susceptibles de se poser en ce qui concerne la compréhension ou la formulation des réponses4. Descripteurs des ensembles de données et schémas de réponse Les caractéristiques des données peuvent fournir à elles seules des renseignements importants sur la qualité des questions. Ainsi, un nombre important de refus de répondre à une question particulière peut indiquer qu'il s'agit d'un sujet délicat qui pourrait être mis de côté ou que la question doit être reformulée; des réponses imprévues peuvent indiquer que la question est mal comprise. On a eu recours aux schémas de réponse suivants pour évaluer la qualité de cette série de questions : respect adéquat des schémas «passez à», proportion de refus ou de réponses «ne sait pas», gamme de réponses et facilité d'analyse. Un effet d'ordre apparent en ce qui concerne les jours d'activités vigoureuses et d'activités modérées a été testé au moyen du critère chi carré à trois degrés de liberté. Commentaires qualitatifs L'analyse qualitative des données recueillies à partir de trois activités (surveillance des interviews, compte rendu des intervieweurs et commentaires des répondants) a fait ressortir des thèmes dans les caractéristiques des questions et des interviews indiquant que les données d'enquête pourraient soulever des problèmes. Le matériel de l'ISR permet de passer d'une interview à l'autre sans que les intervieweurs et les répondants s'en rendent compte. Quatre chercheurs de l'enquête pilote ont surveillé les interviews par téléphone et par ordinateur au cours de soirées distinctes de la troisième vague. Trois chercheurs ont obtenu des renseignements des intervieweurs et des superviseurs ensemble à la fin des cinq vagues. On a obtenu les commentaires des répondants au moyen de deux questions posées à la fin de l'interview dans les deux dernières vagues, qui ont porté sur 412 répondants. Les intervieweurs leur ont d'abord demandé si certaines questions leur étaient apparues confuses ou difficiles à comprendre et, dans l'affirmative, de préciser lesquelles. Quatre personnes ont indiqué que les questions sur les facteurs de risque de cancer étaient difficiles : trois personnes avaient eu du mal à répondre aux questions liées à l'activité physique et une a mentionné que les questions portant sur l'alimentation étaient confuses. Les intervieweurs ont ensuite demandé à l'ensemble des 412 répondants s'il y avait des questions qu'ils comprenaient mais auxquelles ils avaient toujours du mal à répondre. Une personne a indiqué qu'elle avait du mal à répondre à la question relative à l'activité physique, quatre, aux questions liées aux fruits et aux légumes et une, à la question portant sur la raison qui l'avait amenée à subir un test de Papanicolaou. Évaluation du questionnaire Lessler et ses collègues ont mis au point un schéma de codage des questions, des options de réponse et des instructions afin de cerner le fardeau mental lié au fait de répondre à un questionnaire4,5. L'objectif était d'identifier les caractéristiques qui peuvent influer sur la compréhension et l'interprétation des questions, l'exactitude des réponses et la volonté de répondre. Nous avons adapté leur schéma et nous avons exclu les éléments liés à l'attitude plutôt qu'au comportement ainsi que les éléments qui, à notre avis, exigeraient une interview cognitive. (Les interviews cognitives font appel à diverses techniques pour déterminer le traitement mental de l'information à effectuer pour répondre aux questions.) Nous avons ensuite affiné le schéma de codage en codant trois questions indépendamment, en comparant les résultats et en arrivant à un consensus sur les définitions du codage et les éléments qui ne convenaient pas à notre questionnaire sur les facteurs de risque. À l'aide du schéma amélioré ainsi obtenu, l'un des auteurs (JF) a ensuite codé l'ensemble des questions. Résultats Descripteurs des ensembles de données et schémas de réponse Les schémas «passez à» étaient adéquats, à quelques exceptions près. Les intervieweurs ont posé à quelques hommes des questions portant sur le dépistage de cancers qui ne frappent que les femmes parce qu'ils ont posé l'ensemble des questions aux répondants dont ils n'arrivaient pas à déterminer le sexe d'après la voix. (S'ils conservaient des doutes, les intervieweurs demandaient directement aux répondants s'ils étaient de sexe masculin ou féminin à la fin de l'interview.) Aucune des questions évaluées n'ont entraîné plus de 1,5 % de refus. Dix questions ont entraîné plus de 10 % de réponses «ne sait pas»; toutes ces réponses s'appliquaient à des questions qui exigeaient un rappel précis de la durée ou de la fréquence (p. ex., le nombre d'heures passées au soleil, le temps écoulé depuis le dépistage ou la fréquence de la consommation de fruits et de légumes). Dans certains cas, les réponses ne correspondaient pas aux questions posées. Ainsi, quatre répondants ont indiqué une période inférieure à 10 minutes en réponse à la question «Combien de temps consacrez-vous à ces activités modérées les jours où vous les exercez pendant au moins 10 minutes à la fois?». D'autres réponses semblaient improbables ou extrêmes (plus de 8 heures d'activités physiques vigoureuses par jour, fumer 90 cigarettes par jour, avoir subi un test de dépistage de l'antigène prostatique spécifique il y a 24 ans). La figure 1 montre un effet d'ordre dans la distribution
du nombre de jours par semaine pendant lesquels les répondants ont
déclaré exercer des activités vigoureuses ou modérées.
Même si l'on a indiqué aux répondants, dans le préambule
des questions liées à l'activité physique, qu'on les
interrogerait sur leur participation à des activités physiques
vigoureuses et modérées, ces deux termes n'ont été
définis qu'au moment de la lecture de chacune des questions. Dans les
vagues 2 et 3, on a interrogé d'abord les répondants sur le
nombre de jours par semaine où ils exerçaient des activités
vigoureuses, puis des activités modérées. L'ordre a été
inversé dans les vagues 4 et 5. La première définition
entendue par les répondants est peut-être devenue un point de
référence pour répondre à la deuxième question.
Dans l'ensemble, le nombre de jours pendant lesquels les répondants
ont déclaré exercer des activités vigoureuses était
plus élevé quand le point de référence (la première
définition) était les activités vigoureuses et plus bas
lorsque le point de référence était les activités
modérées (p = 0,003). De même, le nombre de
jours pendant lesquels les répondants ont déclaré exercer
des activités modérées était plus élevé
quand le point de référence était les activités
modérées et plus bas lorsque le point de référence
était les activités vigoureuses (p = 0,001). |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
FIGURE 1 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Des options combinées de réponse à trois types de questions ont causé des difficultés sur le plan de l'analyse. Les options de codage des réponses portant sur l'activité physique comprenaient à la fois des réponses continues et catégoriques : <inscrire le nombre de MINUTES> ou <plus de 8 heures>. On ne peut pas calculer la durée moyenne de l'exercice à cause de la réponse catégorique <plus de 8 heures> sauf si ces répondants sont exclus du calcul ou si l'on émet une hypothèse sur la distribution de ces valeurs. De même, la question portant sur la durée de l'exposition au soleil comportait à la fois des options de réponse numériques et textuelles. Les intervieweurs devaient coder les réponses reçues en minutes, en heures ou les deux. Les réponses exprimées en minutes ou en heures complètes ont été inscrites sous forme de valeurs numériques, mais les réponses combinées (p. ex., «une heure et demie») ont été inscrites sous forme textuelle puis ont dû être converties sous forme numérique (1,5 heure) et entrées à la main dans la zone numérique pour être ajoutées aux réponses numériques. Les réponses partielles portant sur la consommation de fruits et de légumes ont entraîné la perte ou l'exclusion de certaines données lorsque les répondants ont fait état d'une consommation quotidienne, hebdomadaire ou mensuelle mais n'arrivaient pas à se rappeler les quantités : 14,6 % des répondants étaient incapables d'estimer leur consommation quotidienne, hebdomadaire ou mensuelle d'au moins une catégorie de fruits et de légumes. Les tentatives d'analyse ont également révélé que les valeurs «zéro» étaient manquantes lorsque les réponses dépendaient des réponses données à des questions antérieures. Ainsi, lorsque les répondants répondaient «non» à la question de savoir s'ils exerçaient des activités modérées ou vigoureuses pendant au moins 10 minutes à la fois, le système ITAO était programmé de façon à sauter la question suivante portant sur le nombre de jours pendant lesquels ils exerçaient ces activités, mais non pour inscrire «0» pour les jours d'activité physique. Il a fallu exercer une certaine vigilance et compenser pour cette négligence afin que l'analyse des données se fonde sur les données réellement fournies. Commentaires qualitatifs Quatre grands thèmes sont ressortis : problèmes stylistiques, questions délicates, clarté des questions et validité des réponses. Des problèmes stylistiques ont été notés au cours de la surveillance des interviews et de la présentation des rapports des intervieweurs. Les chercheurs qui ont effectué cette surveillance craignaient que le débit monotone et rapide de certains intervieweurs ne nuise à la compréhension des questions ou ne soit source de frustration chez les répondants, même s'ils n'en ont décelé aucun signe. Tant les intervieweurs que les chercheurs sentaient le besoin d'ajouter des énoncés de transition, surtout avant d'aborder certains sujets délicats comme l'usage du tabac et (pour les intervieweurs) le dépistage du cancer colorectal et des cancers propres aux femmes. De plus, les chercheurs ont entendu des intervieweurs fournir des explications inexactes ou incomplètes lorsqu'on les interrogeait sur l'objet de l'enquête, sur l'utilisation des résultats et sur les motifs de la sélection aléatoire des répondants. Les sujets considérés comme délicats au cours de la surveillance des interviews et de la présentation des rapports des intervieweurs n'ont pas nécessairement été mentionnés dans les commentaires des répondants. Les intervieweurs et les chercheurs ont noté que les répondants étaient sur la défensive en ce qui concerne le poids et la consommation de tabac. Les intervieweurs estimaient également que le dépistage du cancer colorectal était une question délicate. Les répondants, pour leur part, étaient plus enclins à dire que les questions portant sur le revenu et le niveau de scolarité étaient trop personnelles; un seul répondant a mentionné que le poids était une question trop personnelle et aucun ne s'est dit mal à l'aise par rapport aux questions liées au dépistage du cancer. Les trois sources de commentaires qualitatifs ont noté que la clarté des questions posait des problèmes. Les intervieweurs et les chercheurs estimaient que certaines questions pouvaient être mal interprétées. Dans certains cas, des termes non définis ou non familiers avaient été employés. Ainsi, les intervieweurs ont signalé que bon nombre de répondants semblaient penser que le test de dépistage de l'APS était un test sanguin systématique et ont donné une réponse positive qui n'était peut-être pas valide; les chercheurs ont indiqué que la définition posait un problème dans certaines questions portant sur les fruits et les légumes (certains répondants avaient du mal à comprendre le sens de « laitue », par exemple). Un répondant a mentionné que les définitions d'activités physiques modérées et vigoureuses n'étaient pas assez claires pour qu'on puisse les distinguer. Dans d'autres cas, l'intention de la question n'était pas claire. Ainsi, les intervieweurs estimaient qu'il faudrait clarifier la question liée à la non-exposition au soleil afin de déterminer si les répondants décident délibérément de fuir le soleil par opposition à la chaleur et que l'on arriverait mieux à déterminer s'ils décident de se couvrir en leur demandant s'ils portent des vêtements à manches longues, en général, plutôt qu'une chemise. La surveillance des interviews a permis de déceler que les répondants avaient répondu à certaines questions avant que toutes les options de réponse aient été lues ou que les termes aient été définis. Il fallait reformuler les questions comprenant des listes de réponses (p. ex., raisons des tests de dépistage du cancer) pour indiquer clairement qu'une liste allait suivre; dans les questions portant sur l'activité physique, il fallait placer les définitions de «modérées» et de «vigoureuses» de façon que les répondants les entendent avant de donner leur réponse. La difficulté d'interpréter certaines catégories de réponses pouvait entraîner des erreurs de classification. Pour ce qui est des raisons des tests de dépistage, les intervieweurs ont indiqué que certains répondants avaient mentionné «inquiétude au sujet d'une affection éventuelle» tout en affirmant qu'il s'agissait d'un dépistage systématique. Une seule répondante a mentionné qu'une question de dépistage lui avait posé un problème; elle avait subi un test de Papanicolaou parce qu'elle se faisait ligaturer les trompes, et elle ne voyait pas comment cette réponse pouvait cadrer avec les options de réponse proposées. Les chercheurs ont noté que les intervieweurs avaient du mal à bien coder certaines réponses aux questions portant sur la durée d'exposition au soleil et sur la consommation de fruits et de légumes. Certaines interviews ont montré qu'il fallait donner des instructions de codage, notamment au sujet de ce qui entre dans la catégorie des «fruits» ou des «jus de fruit» lorsque les questions sont reprises d'une autre enquête. (Un répondant à une interview surveillée a demandé si le jus de pomme entrait dans la réponse à une question du BRFSS au sujet des «jus de fruit, p. ex., des jus d'orange, de pamplemousse ou de tomate»). Des répondants ont indiqué qu'ils avaient du mal à répondre à certaines questions parce qu'il leur était difficile de rendre compte adéquatement de certains détails de comportement (durée de l'exercice, consommation de légumes) ou parce qu'on ne leur demandait pas de donner une réponse portant sur une période précise (consommation de légumes). Évaluation du questionnaire Le tableau 1 présente un résumé des résultats de l'application du schéma de codage du questionnaire aux 45 questions sur les facteurs de risque de cancer. Le schéma vise à évaluer les questions proprement dites, les tâches liées à la mémoire/au jugement requises pour répondre aux questions et les réponses. La plupart des questions portaient sur un comportement passé et non actuel. La fréquence du report ou du chevauchement des périodes de référence révèle que plusieurs séries de questions visaient à recueillir des renseignements de plus en plus détaillés; par exemple, «Avez-vous déjà subi une mammographie?», puis, «Avez-vous subi votre dernière mammographie au cours des deux dernières années?» et enfin, «Pouvez-vous me dire à combien de mois/d'années remonte votre dernière mammographie?». Des questions liées au comportement actuel comportaient des périodes de référence non définies. D'autres qui étaient liées à l'activité physique comportaient des périodes de référence mal définies. Entre un quart et un tiers des questions comprenaient des termes techniques, souvent non définis, une formulation ambiguë et/ou une syntaxe complexe. Les termes techniques désignaient, en général, des tests de dépistage; il était essentiel de faire appel à une syntaxe complexe pour clarifier le sens des activités physiques «modérées» et «vigoureuses» ainsi que la période de référence et le type de jour pendant lequel le répondant se trouvait à l'extérieur par un temps ensoleillé. Pour la plupart des tâches faisant appel à la récupération de souvenirs et au jugement il fallait se rappeler un épisode ou une série d'épisodes englobant un mélange d'habitudes courantes, d'habitudes particulières, d'événements rares et d'estimations de temps. La majorité des questions exigeaient un jugement qualitatif, comme en témoigne le grand nombre de réponses par oui/non et d'options de réponse catégoriques, et seulement quelques-unes exigeaient une estimation du nombre de fois où un événement était survenu ou du moment où il était survenu. Les questions sur le dépistage du cancer ont été classées parmi les questions délicates dans ce schéma en raison du caractère personnel, sur le plan physique, du dépistage du cancer du sein, du cancer du col utérin, du cancer colorectal et de l'antigène prostatique spécifique. Les définitions cachées, c'est-à-dire les renseignements qui n'étaient fournis que si les répondants demandaient des éclaircissements, constituaient l'un des problèmes majeurs des options de réponse. La plupart touchaient les fruits et les légumes (les répondants demandaient, par exemple, «Les chips sont-elles des légumes?», «Le fruit contenu dans une Pop Tart compte-t-il?»), mais il y en avait tout au long du questionnaire. La présence de termes ambigus ou vagues, surtout dans les questions portant sur le comportement lié au soleil («rarement» ou «souvent») et dans les raisons des tests de dépistage («dépistage systématique», «affection actuelle», «inquiétude au sujet d'une affection»), posait aussi un problème. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Analyse multimodale Les trois méthodes (analyse des descripteurs des ensembles de données et des schémas de réponse, commentaires qualitatifs et évaluation du questionnaire) ont fait ressortir que la validité des réponses, les réticences des répondants et les difficultés de rappel pouvaient causer des problèmes (tableau 2). Nous entendons par validité la mesure dans laquelle les réponses sont conformes à l'intention de la question et ont été bien saisies par les intervieweurs. Chacune des méthodes a mis au jour des problèmes potentiels particuliers, mais toutes ont établi que les sujets délicats (même si les répondants n'ont pas identifié les mêmes sujets que les intervieweurs et le personnel chargé de la surveillance des interviews et du codage des questionnaires), les termes techniques non définis, la clarté des questions et les renseignements difficiles à retenir causaient des difficultés. Au cours de notre évaluation, seul l'examen de l'ensemble des données a révélé des difficultés d'analyse associées aux réponses consignées. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Analyse Si les données d'enquête et les méthodes utilisées pour les recueillir ne sont pas soumises à une évaluation critique, les organismes de santé risquent de fonder leurs décisions stratégiques sur des renseignements inexacts. Les utilisateurs des données d'enquête savent que les données auto-déclarées sont, à divers degrés, le fruit de rappels imparfaits, de déclarations biaisées6 et de réponses mal classées. Compte tenu de ces limites, Newell et ses collègues font valoir qu'il est possible d'améliorer la collecte de données sur les comportements liés à la santé1. Chacune des méthodes d'évaluation que nous présentons peut permettre de mieux comprendre les données ou de les améliorer. Ces méthodes ont cerné des problèmes présents non seulement dans cette enquête pilote, mais aussi dans des questions tirées d'autres enquêtes. Les chercheurs doivent souvent peser le pour et le contre d'approches opposées lorsqu'ils se penchent sur les problèmes relevés. Il se peut qu'il n'y ait pas plus d'avantages à apporter des changements aux enquêtes en cours qu'à conserver la comparabilité des données.
Les descripteurs des ensembles de données et les schémas de réponse sont des outils d'évaluation traditionnels; les schémas «passez à», les refus, les mauvais appariements des questions et des réponses et les réponses extrêmes indiquent les secteurs où les données doivent être interprétées avec prudence ou, dans les enquêtes en cours, les secteurs où il y a lieu de modifier la programmation et de donner des instructions aux intervieweurs. Un grand nombre de refus ou de réponses «ne sait pas» peut dénoter que les questions sont délicates ou mal comprises. Une proportion élevée de réponses «ne sait pas» ou la présence d'un effet d'ordre (si différents ordres ont été mis à l'essai) sonne l'alarme quant à la validité de l'ensemble des réponses à ces questions. Les réponses situées à l'extérieur de la gamme prévue signalent des éléments pour lesquels une programmation visant à restreindre les entrées admissibles par ITAO ou à inciter les intervieweurs à répéter une question pourrait améliorer la qualité des données. Il faudrait éviter les mélanges de réponses continues et catégoriques ou de réponses numériques et textuelles et leur cortège de difficultés d'analyse, sauf si l'on a des raisons théoriques de les inclure. (Ainsi, certains arguments peuvent militer en faveur du regroupement des réponses numériques dépassant un certain seuil pour une partie des comportements.) De même, bien que le fait de permettre aux répondants de choisir leurs propres unités de déclaration ait soulevé des problèmes d'analyse dans notre enquête pilote, il faut déterminer si cette liberté de fournir de l'information au niveau qui leur convient présente plus d'avantages que d'inconvénients. Les commentaires qualitatifs peuvent indiquer des secteurs où des changements s'imposent. Dans cette enquête, la surveillance des interviews a cerné des secteurs dans lesquels on pourrait améliorer la qualité des données en reformulant les questions, en donnant plus de formation aux intervieweurs ou en donnant des instructions de codage plus complètes. La surveillance peut mettre au jour des besoins particuliers sur le plan de la formulation d'une interview téléphonique, surtout si les chercheurs connaissent davantage les questionnaires à remplir soi-même ou les questionnaires administrés en personne. Ainsi, dans cette enquête pilote, nous avons modifié la formulation de façon que les répondants écoutent d'abord une liste des options de réponse. Les rapports des intervieweurs permettent de recueillir des renseignements sur une plus vaste gamme d'interviews que les chercheurs ne peuvent en surveiller. Les intervieweurs sont particulièrement conscients de la nécessité d'intégrer des énoncés de transition afin d'avertir les répondants qu'ils s'apprêtent à poser une question personnelle, de préciser qu'aucun jugement personnel ne sera porté ou d'adoucir l'approche, en général. Dans cette enquête pilote, les intervieweurs ont demandé des définitions, ont fait état d'un problème lié à une option de réponse et ont noté des secteurs où des énoncés de transition seraient utiles.
Les commentaires des intervieweurs et des répondants ont certes permis de recueillir de l'information utile sur les problèmes éventuels, mais il faudra peut-être soupeser soigneusement cette information avant d'apporter des changements. Le malaise des intervieweurs n'est peut-être pas aussi utile que les taux de refus ou d'abandon pour déceler les sujets assez délicats pour justifier des modifications de la formulation, des transitions ou de l'ordre des questions. Dans cette enquête, seul un faible pourcentage des interviewés des vagues 4 et 5 ont répondu à notre appel de commentaires, mais ils ont tout de même fourni des détails qualitatifs sur la proportion élevée de réponses «ne sait pas» au chapitre de la durée de l'activité physique et de la consommation de fruits et de légumes. Il faut se pencher sur l'ensemble du projet pour arriver à déterminer s'il y a lieu de modifier le questionnaire alors qu'un pourcentage relativement faible de répondants sont prêts à allonger l'interview pour formuler des commentaires négatifs. Les décisions seront différentes selon, par exemple, qu'il sera important ou non de pouvoir comparer les données de différentes vagues d'enquête ou de différentes enquêtes ou selon qu'une enquête continue en est à ses débuts ou à sa fin. Nous avons effectué une évaluation exploratoire du questionnaire après la tenue de l'enquête pilote. Il vaudrait mieux déceler les secteurs où des changements s'imposent avant la tenue des essais sur le terrain. Nous avons adapté le schéma publié d'un autre groupe à une interview sur le comportement lié à la santé. Il faudrait peut-être modifier encore notre adaptation pour l'appliquer à d'autres questionnaires. Comme l'application des codes exige nécessairement un jugement individuel, un autre groupe qui voudrait utiliser le schéma devra s'entendre à l'interne sur les définitions des éléments (sur celle de «terme technique», par exemple). À un niveau plus fondamental, le schéma publié que nous avons adapté dépend de la validité des modèles sous-jacents des processus cognitifs à l'ouvre dans la réponse3. Intuitivement, il semble toutefois qu'il serait bon de recourir à une certaine forme de liste de contrôle pour souligner les problèmes potentiels avant la tenue d'essais sur le terrain. Des listes plus courtes ont été publiées7,8. On pourrait élargir un schéma de codage ou une liste de contrôle pour y intégrer certains aspects soulevés dans cette enquête pilote grâce à une analyse des schémas de réponse (p. ex., mélanges de réponses catégoriques et continues) ou des commentaires qualitatifs (p. ex., annoncer une liste d'options de réponse). La liste que nous avons utilisée présente l'avantage de faciliter le choix des formulations en quantifiant divers aspects du fardeau des répondants. L'analyse pourrait montrer, par exemple, qu'une grande proportion de questions exigeaient une estimation complexe de la part des répondants. Il se peut que la déclaration des comportements préventifs en matière de santé exige nécessairement des tâches de rappel. Les concepteurs de l'enquête voudront peut-être alors apporter d'autres changements (laisser tomber certaines questions, par exemple) pour contrebalancer cet aspect du fardeau des répondants. Il vaut mieux le faire à l'échelle de l'enquête entière plutôt que de tenter d'établir des niveaux acceptables en ce qui concerne le fardeau des répondants ou les problèmes potentiels. Tout comme pour les autres méthodes présentées dans ce document, il faut évaluer les changements par rapport aux nouveaux problèmes qu'ils pourraient engendrer ou aux avantages qu'ils pourraient faire perdre. Ainsi, il se peut qu'une syntaxe complexe accroisse le fardeau des répondants, mais qu'elle joue un rôle essentiel pour ce qui est de clarifier les questions et de donner des définitions. Une période de référence liée à une question antérieure en est un autre exemple; cette méthode peut atténuer le caractère délicat du sujet en le formulant moins souvent, mais, utilisée fréquemment, elle pourrait causer de la fatigue chez les répondants. Idéalement, les questions d'enquête sont mises au point à l'aide de groupes de discussion, d'interviews cognitives et d'essais préliminaires ou d'au moins une partie de ces éléments. Il existe d'autres méthodes pour évaluer la qualité d'une enquête. On peut notamment comparer les réponses au questionnaire avec des registres alimentaires ou avec le rappel des 24 dernières heures, des podomètres ou d'autres instruments de surveillance de l'activité physique, des rapports de mammographie dans les dossiers médicaux ou des réponses à des questions connexes dans une enquête. Lorsqu'on ne peut procéder à une mise au point et à une évaluation exhaustives en raison de contraintes de temps et de ressources, la combinaison des méthodes présentées dans ce document peut s'avérer utile. Elle peut l'être tout autant pour les questions tirées d'autres enquêtes, car les différences dans les populations, l'administration du questionnaire et l'ordre des questions peut miner la validité. Les enquêtes rapides sur les facteurs de risque se prêtent particulièrement bien à ces mesures de la qualité des données : les données sont disponibles rapidement pour une évaluation de la qualité, et la possibilité de modifier facilement la formulation des questions ou les transitions fait probablement partie intégrante du processus. Ces enquêtes peuvent permettre d'étudier les effets d'ordre comme celui qui a été observé au sujet de l'activité physique dans notre enquête pilote de Durham ou d'utiliser plus d'une question pour le même sujet et d'évaluer la corrélation entre les items. Là encore, il faut évaluer les avantages de certains essais connexes sur le plan de la formulation ou de l'ordre des questions par rapport à la comparabilité des données. Une démarche multimodale comme celle qui est présentée dans ce document peut confirmer des observations lorsque les conclusions de diverses méthodes vont dans le même sens8. Fait plus important encore, l'utilisation de ces diverses méthodes permet, lorsque les ressources se font rares, de combler les lacunes particulières à chacune des méthodes et donc de mettre au jour une plus vaste gamme de problèmes potentiels. Remerciements Nous remercions le Dr Bernard Choi et la Dre Philippa Holowaty de leurs commentaires judicieux sur une version antérieure de ce document. David Northrup et son personnel de l'Institute for Social Research, Université York, ont collaboré à ce document en invitant des chercheurs à faire de la surveillance d'interviews, en transmettant des commentaires précieux des intervieweurs et en proposant l'ajout de questions permettant aux répondants de faire des commentaires. La Dre Holowaty, M. Northrup et (au début) la Dre Margaret de Groh de Santé Canada, ont fait fonction, avec des auteures (BT et LDM), de groupe de perfectionnement du contenu du sondage pilote. Références 1. Newell SA, Girgis A, Sanson-Fisher RW, Savolainen NJ. The accuracy of self-reported health behaviors and risk factors relating to cancer and cardiovascular disease in the general population. A critical review. Am J Prev Med 1999;17:211-29. 2. Lovato C, Shoveller J, Mills C. Atelier national canadien sur la mesure des comportements liés au soleil [Rapport d'atelier]. Maladies chroniques au Canada. 1999;20:96-100. 3. Centers for Disease Control and Prevention. Behavioral Risk Factor Surveillance System. Accessible à l'adresse suivante : <http://www.cdc.gov/nccdphp/brfss/index.htm>. Accédé le 4 mai 2001. 4. Lessler JT, Forsyth BH. A codage system for appraising questionnaires. In: Schwarz N, Sudman S, eds. Answering questions. Methodology for determining cognitive and communicative processes in survey research. San Francisco: Joessey-Bass, 1996: 259-291. 5. Forsyth BH, Lessler JT, Hubbard ML. Cognitive evaluation of the questionnaire, and Appendix B. Cognitive form appraisal codes. In: Turner CF, Lessler JT, Gfroerer JC, eds. Survey measurement of drug use: methodological studies. Washington, DC: US Government Printing Office, 1992: 13-52 and 327-36. 6. Choi BCK, Pak AWP. Bias, overview. In: Armitage P, Colton T, eds. Encyclopedia of biostatistics. Volume 1. Chichester, UK: John Wiley & Sons, 1998: 331-338. 7. Armstrong BK, White E, Saracci R. Principles of exposure measurement in epidemiology. New York: Oxford University Press, 1994:144. 8. Woodward CA, Chambers LW. Guide to questionnaire construction and question writing, 3rd ed. Ottawa: Canadian Public Health Association, 1986:23. 9. Friedemann ML, Smith AA. A triangulation approach to testing a family instrument. West J Nurs Res 1997;19:364-78. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ANNEXE
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Coordonnées des auteures Beth Theis, Jennifer Frood et Diane Nishri, Division d'oncologie préventive, Action Cancer Ontario Loraine D Marrett, Division d'oncologie préventive, Action Cancer Ontario et Département des sciences de la santé publique, Université de Toronto Correspondance : Beth Theis, Division d'oncologie préventive, Action Cancer Ontario, 620, avenue University, Toronto (Ontario) M5G 2L7; Télécopieur : (416) 971-6888; Courriel : beth.theis@cancercare.on.ca [Précédente] [Table des matières] [Prochaine] |
Dernière mise à jour : 2002-02-21 |