Calcul de l’incidence relative des dimensions du service sur la satisfaction

1. Création de mesures composites

La première étape a consisté à créer des mesures composites pour les dimensions du service suivantes : facilité, efficacité et expérience globale. Voici les objectifs de cet exercice :

• Conserver le plus de cas possible dans chaque mesure composite;
• Préserver la nature intuitive de la signification et de l’interprétation des mesures composites;
• Adapter la méthode au besoin en fonction des différentes échelles;
• Limiter le plus possible l’utilisation de mesures composites qui ont donné lieu à des analyses qui n’étaient pertinentes que pour des sous‑groupes en particulier (p. ex. des clients qui devaient fournir des renseignements manquants concernant leur demande [n=285]).

Conserver le plus de cas possible

Un objectif clé consistait à optimiser le nombre de cas sur laquelle portait l’analyse, étant donné que certaines dimensions du service ont servi à examiner l’expérience du client relativement à certains modes de prestation de services plutôt que l’expérience consistant à exécuter une tâche de service, ce qui peut supposer l’utilisation de multiples modes de prestation, et que les clients n’ont pas tous eu d’expérience concernant certaines tâches de prestation de services, par exemple soumettre des renseignements manquants dans une demande, obtenir de l’aide, etc., ce qui a entraîné une diminution de la taille de l’échantillon concernant ces dimensions du service. Afin de limiter la perte de cas, la fonction de moyenne du SPSS a servi au calcul des mesures composites (au lieu de la somme des variables, qui entraîne l’exclusion de cas dès qu’il manque une valeur dans l’une des variables)¹. La fonction de moyenne utilisait une seule valeur valide s’il n’y avait qu’une seule valeur de variable valide et la moyenne lorsqu’il y avait au moins deux variables valides. Dans le cas des mesures qui combinaient le service en personne et le service au téléphone, la valeur du service en personne était utilisée si le client avait utilisé uniquement le mode de prestation de services en personne, et la valeur du service au téléphone était utilisée si le client avait utilisé uniquement le mode de prestation de services par téléphone, et la moyenne de ces deux valeurs était utilisée si le client avait utilisé les deux modes de prestation de services. Cette méthode a permis d’obtenir une mesure composite pour tous les répondants, à l’exception des clients interrogés qui n’ont utilisé aucun de ces modes de prestation de services.

Préserver la nature intuitive des mesures

Cette méthode de création de mesures composites présentait également l’avantage de conserver les échelles initiales. Par exemple, s’il y avait cinq échelles de 1 à 4, la mesure composite pouvait être de 1 à 4 parce que la moyenne ne peut jamais être inférieure à la valeur la moins élevée et jamais supérieure à la valeur la plus élevée. Cette façon de faire a contribué à conserver la nature intuitive de la signification et de l’interprétation des mesures composites. Cette méthode aurait également pu être utilisée pour les valeurs oui/non (binaires), mais la moyenne des variables oui/non ne serait pas très intuitive en ce qui concerne l’interprétation. Les valeurs oui/non ont plutôt été converties en valeurs 0 ou 1, et une simple addition a servi à créer une mesure qui permettait d’englober le nombre de problèmes (p. ex. oui : a eu besoin d’aide) ou de réussites (p. ex. oui : a obtenu l’information dans un délai raisonnable). Bien que ces valeurs soient suffisamment intuitives pour être interprétées par la plupart des gens, elles posent le problème mentionné précédemment, c’est‑à‑dire la perte de cas lorsqu’il manque une valeur pour l’une des variables.

Adaptabilité aux différentes échelles

Cette méthode pouvait également être adaptée aux différentes échelles qui se trouvent dans les variables qui devaient être intégrées aux mesures composites (p. ex. les variables oui/non, les échelles à 4 ou à 5 éléments)². Afin de combiner les variables oui/non et les variables d’échelle, les variables d’échelle ont été converties en format oui/non, élevé/faible³, puis recodées en valeurs 1 ou 0. Les variables ont ensuite été additionnées pour arriver aux nombres décrits précédemment. Pour combiner une échelle à 4 éléments et une échelle à 5 éléments, nous avons converti l’une des échelles à l’étendue de l’échelle de la deuxième variable en tenant compte de la tendance des variables et des relations entre elles. Une fois que toutes les variables ont été converties et ramenées sur une même échelle, la fonction de moyenne du SPSS a servi à créer les mesures composites.

Limiter la création d’analyses qui sont pertinentes uniquement pour un seul groupe de clients

Afin de limiter l’exclusion de cas, il fallait éviter de créer sans le vouloir des analyses pertinentes uniquement pour certains sous‑groupes de clients de l’assurance‑emploi. Les modèles de régression sont très sensibles à l’inclusion de variables qui comptent un nombre limité de cas. L’inclusion de variables correspondant à un nombre relativement limité de cas (p. ex. 200 ou 500 cas sur 1 528) peut entraîner l’exclusion systématique de l’analyse d’un groupe en particulier (p. ex. les clients qui ont dû fournir des renseignements supplémentaires après avoir présenté leur demande). Cette méthode de création de mesures composites diminuait les risques de pertes de cas et de création d’une analyse pertinente uniquement pour des sous‑groupes de taille restreinte. L’exclusion de sous‑groupes complets de répondants aurait limité l’exactitude des résultats et diminué la portée dans laquelle les résultats allaient pouvoir être généralisés à l’ensemble de la population de la clientèle de l’assurance‑emploi.

2. Mesures de la satisfaction

Le sondage contenait deux mesures de la satisfaction de la clientèle qui présentent un intérêt :

• Q39 : Dans quelle mesure êtes-vous satisfait(e) de la qualité globale du service que vous avez reçu de Service Canada en ce qui concerne vos prestations d’AE au cours des sept ou huit derniers mois? (échelle à 5 éléments)
• Q40 : Si quelqu’un vous demandait votre avis, est-ce que vous vous prononceriez positivement au sujet du service que vous avez reçu? (échelle à 4 éléments)

Cette analyse avait pour objectif d’évaluer quelle mesure peut servir de meilleure variable dépendante. Pour cette raison, une mesure composite de la satisfaction a été créée (Q39 et Q40), puis les trois mesures de la satisfaction (la mesure composite, Q39 et Q40) ont fait l’objet d’une analyse de corrélation à deux variables. L’analyse de régression a porté uniquement sur la mesure de la satisfaction globale Q39 et sur la variable composite de la satisfaction (Q39 et Q40 combinées).

Pour créer la variable composite, il fallait régler la question de l’échelle inverse de la Q40 ainsi que les différences entre les échelles (la Q39 utilise une échelle à cinq éléments, et la Q40 utilise une échelle à quatre éléments). Pour que les variables de l’échelle de la Q40 progressent comme les autres variables, les valeurs ont été codées inversement de manière à ce que 1 soit une réponse très négative et à ce que 4 soit une réponse très positive. L’échelle de l’une des variables devait ensuite être convertie pour être ramenée à la même échelle que l’autre variable. Après avoir examiné une tabulation en croix entre la Q40 et la Q39 pour déterminer où les valeurs semblaient le mieux correspondre, nous avons ramené la Q40 sur une échelle à cinq éléments en rendant les valeurs d’extrémité identiques à celles de la Q39, soit 1=1 et 4=5. L’analyse a révélé que la valeur 3 était la plus similaire à la valeur 4 dans l’échelle en cinq éléments de la question 39, et la valeur 2 a été convertie en 2,5. Une variable composite de la satisfaction globale a été créée au moyen de la fonction de moyenne du SPSS.

3. Mesures de la facilité et satisfaction des clients

Dans la mesure du possible, des variables composites de la facilité ont été créées comme suit :

Phase 1 du processus du client : Obtention d’information

• Q6a : Facile de trouver l’information que vous cherchiez à obtenir.
• Q6b : Facile de déterminer si vous étiez admissible aux prestations d’AE
• COMPOSITE : Facilité à obtenir l’information

Phase 2 du processus du client : Présenter une demande de prestations

• Q14a : Comprendre les exigences de la demande.
• Q14b : Réunir l’information dont vous aviez besoin pour faire votre demande d’AE
• COMPOSITE : Facilité du processus de demande

Phase 3 du processus du client : Suivi

• Q20a : Comprendre l’information dans la lettre que vous avez reçue
• Q20b : Comprendre les prochaines étapes.
• Q20c : Comprendre quels renseignements manquaient.
• COMPOSITE : Facilité à comprendre l’information de suivi

COMPOSITE : Facilité du processus global

Le tableau 1 illustre les coefficients de corrélation simple entre les mesures de la satisfaction globale et les variables individuelles et composites, les seuils de signification et le nombre de cas. Voici certaines observations tirées de cette analyse à deux variables :

• Les corrélations entre la mesure composite de la satisfaction (fusion de la Q39 et de la Q40) et les variables sur la facilité étaient habituellement plus importantes que les mesures individuelles de la satisfaction.
• Certaines variables sur la facilité (individuelles et composites) entraînaient l’exclusion de 400 cas ou plus (variables de la Q20) et représentaient un sous-groupe de clients de l’assurance‑emploi qui avaient effectué un suivi concernant leur demande de prestations d’assurance‑emploi.
• Bien que la mesure combinée soit légèrement plus robuste, la variable simple de la satisfaction globale (Q39) produit des résultats similaires dans la plupart des cas.
• La variable simple de la satisfaction globale était plus étroitement liée aux variables sur la facilité que la variable « est-ce que vous vous prononceriez positivement au sujet du service que vous avez reçu? » (Q40).
• Parmi les variables de la facilité, la meilleure variable explicative de la variable composite et des variables simples de la satisfaction était la mesure globale de la facilité (c.‑à‑d. l’indice de toutes les mesures composites de la facilité dans l’ensemble du processus du client).
• En ce qui concerne la mesure composite de la facilité de l’obtention de l’information avant la présentation de la demande (Q6a) et de la facilité de la détermination de l’admissibilité (Q6b), la corrélation était presque aussi solide que l’indice global de la facilité, ce qui permet de croire que l’ajout d’autres variables sur la facilité (Q14a, Q14b, Q20a, Q20b et Q20c) à l’indice n’accroît pas la valeur prédictive.

• *p < .05
• **p < .001

4. Mesures de l’efficacité et satisfaction de la clientèle

Les mesures composites des variables de l’efficacité ont été créées comme suit :

Phase 1 du processus du client : Obtention de l’information

• Q5 : Est-ce que vous avez obtenu ce dont vous aviez besoin dans un délai raisonnable?
• Q6c : Facilité à déterminer les étapes du processus de demande.
• Q6d : Savoir de quels documents vous aviez besoin pour faire une demande de prestations d’AE
• COMPOSITE : Efficacité du processus

Phase 2 du processus du client : Demande de prestations

• Q12 : Est-ce que l’aide obtenue vous a permis d’obtenir ce que vous cherchiez?
• Q13 : Êtes-vous parvenu(e) à remplir la demande dans un délai raisonnable?
• Q14c : Compléter la demande en ligne.
• COMPOSITE : Efficacité du processus de demande

Phase 3 du processus du client : Suivi

• Q17 : S’agissait-il d’une période d’attente raisonnable (pour une décision)?
• Q20d : Soumettre les renseignements manquants à Service Canada.
• Q20e : Savoir quoi faire si vous aviez un problème dans la présentation de l’information.
• Q20f : Obtenir de l’information au sujet de l’état de votre demande.
• COMPOSITE : Efficacité du processus de suivi

COMPOSITE : Efficacité du processus global

Le tableau 2 montre les coefficients de corrélation simple entre les mesures de la satisfaction globale et les variables individuelles et composites de l’efficacité, les seuils de signification et le nombre de cas. Voici quelques observations tirées de cette simple analyse à deux variables :

• Comme dans le cas des mesures de la facilité, les corrélations entre la mesure composite de la satisfaction et les variables de l’efficacité étaient habituellement plus importantes que les mesures individuelles de la satisfaction.
• Ici aussi, comme c’était le cas des mesures de la facilité, certaines variables de l’efficacité (individuelles et composites) excluaient un grand nombre de cas.
• La mesure combinée de la satisfaction pourrait être légèrement plus robuste (comme dans le cas des variables de la facilité), mais la variable simple de la satisfaction globale (Q39) donne des résultats similaires dans la plupart des cas.
• Comme dans le cas de la variable de la facilité, pour de nombreuses variables, la variable simple de la satisfaction globale était plus étroitement liée aux variables de l’efficacité qu’à la variable de la disposition du client à se prononcer positivement sur le service reçu (Q40).
• La plus importante corrélation avec la mesure composite de la satisfaction globale et la variable simple de la satisfaction globale était la variable composite de l’efficacité pour les échelles à cinq éléments (moyennes de Q27A, Q32A, Q27E et Q37A). Une des variables de cet indice avait également une corrélation élevée, soit Q37A (« Vous êtes parvenu[e] à traverser sans difficulté toutes les étapes pour votre demande d’AE »).
• La variable composite de l’efficacité avec échelles à quatre éléments avait une plus forte corrélation avec la variable composite de la satisfaction que les échelles individuelles à quatre éléments.

• *p < .05
• **p < .001

5. Mesures de l’émotion et satisfaction des clients

Les mesures de l’émotion n’ont pas été incluses dans la présente analyse parce toutes les variables sauf une portaient précisément sur le service en personne.

• Q27c : [TÉLÉPHONE] Le personnel était serviable.
• Q32c : [EN PERSONNE] Le personnel était serviable.
• COMPOSITE : Le personnel était serviable
• Q27d : [TÉLÉPHONE] On vous a traité(e) de façon respectueuse.
• Q32d : [EN PERSONNE] On vous a traité(e) de façon respectueuse.
• COMPOSITE : On vous a traité(e) de façon respectueuse
• Q37c : Vous êtes convaincu(e) que tous les renseignements personnels que vous communiquerez seront conservés en toute confidentialité.
• COMPOSITE : Expérience globale

Ces mesures auraient mieux convenu à une analyse segmentée par mode de prestation.

6. Modèles de régression

Le tableau 3 illustre les résultats des modèles de régression pour les mesures de la satisfaction globale et les mesures composites de la facilité et de l’efficacité. Voici les principales conclusions :

• Les modèles de régression montrent que la mesure unique composite de la facilité, et les deux mesures composites de l’efficacité pourraient expliquer près de 45 % de la variance constatée dans la mesure composite de la satisfaction (moyenne de Q39 et de Q40) et un pourcentage similaire en ce qui concerne la mesure simple de la satisfaction globale (Q39).
• La variance expliquée par les mesures de la facilité et de l’efficacité pour la question « est-ce que vous vous prononceriez positivement au sujet du service que vous avez reçu? » (Q39) était moins importante, soit 33 %, mais était tout de même très significative sur le plan statistique.
• Le meilleur indicateur de la mesure composite de la satisfaction (moyenne de Q39 et de Q40) était la mesure composite de l’efficacité qui utilisait des échelles à cinq éléments (dans le tableau 3, il s’agit de « 3 : COMPOSITE : Efficacité du processus global⁴ »). Le coefficient était deux fois plus élevé que les autres variables. Prise seule, cette variable représentait près de 39 % de la variance dans la mesure composite de la satisfaction.
• Bien que le tableau 3 ne l’illustre pas, lorsque la meilleure mesure simple à cinq éléments, Q37A « Vous êtes parvenu(e) à traverser sans difficulté toutes les étapes pour votre demande d’AE », était entrée d’abord dans l’équation, l’indice de l’efficacité utilisant toutes les échelles à cinq éléments augmentait la valeur prédictive, ce qui signifie que la capacité de traverser sans difficulté toutes les étapes est un facteur important de la satisfaction globale, mais que l’obtention d’une décision dans un délai raisonnable, l’obtention de réponses complètes et l’uniformité de l’information augmentaient la valeur prédictive de cette mesure unique.
• Ceci n’était pas le cas des variables de la facilité. Lorsque le meilleur sous‑indice de la facilité était ajouté d’abord à l’équation, « Facilité de trouver l’information avant la présentation de la demande du client⁵ », l’indice de la facilité globale utilisant tous les indices de la facilité ne se trouvait pas dans l’équation, ce qui signifie qu’une mesure composite plus simple pour la facilité à obtenir l’information pendant la phase précédant la demande pouvait représenter essentiellement toute la variance expliquée dans la variable composite de la satisfaction prise seule. Il ne faut toutefois pas conclure que ces autres mesures ne sont pas importantes. On pourrait s’attendre à ce qu’une variation négative de ces notations soit associée à une diminution de la satisfaction globale des clients. Toutefois, les résultats permettent de croire qu’il faudrait mettre l’accent sur l’amélioration de la capacité des clients à trouver l’information dont ils ont besoin pour déterminer s’ils sont admissibles.

7. Sommaire

• En ce qui concerne les mesures de la satisfaction, la variable combinée (Q39 et Q40) a correspondu à un résultat légèrement supérieur aux mesures uniques. Toutefois, la variable simple de la satisfaction globale (Q39) a donné des résultats similaires dans la plupart des cas, contrairement à la Q40.
• Les mesures de la facilité et de l’efficacité expliquent près de 45 % de la variance dans la mesure composite de la satisfaction (moyenne de Q39 et Q40) et un pourcentage similaire pour la mesure simple de la satisfaction globale (Q39), ce qui signifie que des changements dans les moyennes de ces variables composites devraient entraîner un changement dans la mesure de la satisfaction globale des clients.
• En ce qui concerne les mesures individuelles, la capacité de traverser sans difficulté toutes les étapes est le facteur qui a le plus d’incidence sur la satisfaction globale.
• Dans une moindre mesure, la capacité des clients de trouver l’information qu’ils recherchaient et de déterminer leur admissibilité, la période d’attente d’une décision et l’obtention de renseignements complets et uniformes ont également une incidence considérable sur la satisfaction globale.
• Enfin, précisons qu’il serait raisonnable de s’attendre à ce que des facteurs qui ne sont pas inclus dans le modèle en raison d’échantillons de taille limitée, comme le fait d’être traité de façon respectueuse, contribuent à la satisfaction des clients de l’assurance‑emploi à la lumière des recherches précédentes (sondages de Service Canada sur la satisfaction de la clientèle de 2006, 2008 et 2011). Toutefois, nous ne connaissons pas l’importance relative de cette mesure comparativement aux autres dimensions du service.

Notes en bas de page

¹ Par exemple, si la création d’une mesure composite qui combine une variable liée au service en personne (question du sondage) et une variable liée au service au téléphone, l’addition des valeurs entraîne l’exclusion de tous les cas pour lesquels un seul des modes a été utilisé. Afin de limiter le plus possible le fardeau de réponse, les clients n’ont été interrogés que sur leur expérience concernant un mode de prestation de services.

² Une autre méthode aurait pu consister à utiliser des variables standardisées, mais après l’avoir mise à l’essai, nous n’avons pas retenu cette méthode parce que les mesures composites découlant des notes standardisées auraient eu une valeur intuitive limitée.

³ Par exemple, Élevé : d’accord, Faible : désaccord.

⁴ Cette mesure comprend (Q27A+Q32A) « On a répondu à vos questions au complet au téléphone et en personne », (Q27E) « Différents préposés vous ont présenté des renseignements contradictoires » et (Q37A) « Vous êtes parvenu(e) à traverser sans difficulté toutes les étapes pour votre demande d’AE ».

⁵ Cette mesure comprend les variables Q6A et Q6B : « Diriez-vous qu’il était très difficile, plutôt difficile, plutôt facile ou très facile de trouver l’information que vous cherchiez à obtenir? » « Diriez-vous qu’il était très difficile, plutôt difficile, plutôt facile ou très facile de déterminer si vous étiez admissible aux prestations d’AE? »

⁶ Cette mesure comprend (Q27A+Q32A) « On a répondu à vos questions au complet au téléphone et en personne », (Q27E) « Différents préposés vous ont présenté des renseignements contradictoires » et (Q37A) « Vous êtes parvenu(e) à traverser sans difficulté toutes les étapes pour votre demande d’AE ».