POR Number: POR-025-20
Contract Number: HT372-202831/001/CY Award Date: 2020-08-20
EXECUTIVE SUMMARY
Evaluating Various Components of
EAS Client Services 2020-2021
HC POR: 20-05
March 2021
Prepared for:
Health Canada
HC.cpab.por-rop.dgcap.SC@canada.ca
Ce rapport est disponible en français
Evaluating Various Components of EAS Client Services 2020-2021
Executive Summary
Prepared for Health Canada
Supplier name: Elemental Data Collection Inc.
March 2021
This public opinion research report presents the results of an online survey conducted by Elemental Data Collection Inc on behalf of Health Canada. The research was conducted in two waves between October 19th to November 2nd, 2020 and from March 4 th to March 15th, 2021.
This publication may be reproduced for non-commercial purposes only. Prior written permission must be obtained from Health Canada. For more information on this report, please contact Health Canada at: hc.cpab.por-rop.dgcap.sc@canada.ca or at:
Health Canada, CPAB
200 Eglantine Driveway, Tunney’s Pasture
Jeanne Mance Building, AL 1915C
Ottawa Ontario K1A 0K9
Catalogue Number:
H14-319/2021E-PDF
International Standard Book Number (ISBN):
978-0-660-39619-4
Related publications (registration number: POR 025-20):
H14-319/2021F-PDF (Final, French)
978-0-660-39620-0
© Her Majesty the Queen in Right of Canada, as represented by the Minister of Health, 2021
Employee Assistance Services (EAS) is a full service Employee Assistance Program (EAP) provider that offers confidential, professional, bilingual counselling services on a cost-recovery basis. EAS offers both preventive and remedial solutions to employers, employees, and family members who have concerns that could affect their personal well-being and/or work performance.
In order to be in full compliance with the Employee Assistance Society of North America (EASNA) accreditation standards, and respecting the fundamental need for a bias-free evaluation of the professional and confidential services provided by EAS, a specific number of audits must be completed to capture valuable quality assurance information from users of EAS' services.
This specific contract will allow EAS to meet this significant requirement and provide valuable information to its customer organizations and to further evaluate its impact in supporting clients in need of assistance.
The goal of this research is to collect detailed employee feedback about the quality of services received from EAP such as timeliness of service delivery, accessibility of service, effectiveness, level of well-being pre and post EAP, work productivity, etc. Because it is administered only once per year, it evaluates a broader range of areas related to the services provided. Overall, it allows employees and/or their family members to voice their level of satisfaction with the help received from EAP. This information is also used to provide feedback to customer organizations in the annual statistical report. The contract for this project is for data collection only. No design or analysis is provided by the consultant.
As such, Health Canada requires the use of public opinion research (traditional telephone interviews) to evaluate the services EAS provides to its clients. Specifically, this will involve the completion of approximately 950 interviews. The data will be provided in Excel format along with frequencies and cross-tabulation analysis, with the first set of results being delivered by March 18th, 2021.
The highest level of respect and flexibility will be given to former clients and their willingness to answer questions related to the services provided by EAS.
A quantitative research approach was used to obtain a statistically valid picture of the knowledge, opinions, perceptions and attitudes of former EAS clients. This research was conducted via a telephone survey. Below is a detailed description of the methodology.
The following table presents the call disposition information, including the response rate using the standard MRIA Empirical Method of Response Rate CalculationFootnote 2:
Call Disposition Table | |
---|---|
Total Numbers Attempted | 3,796 |
Out-of-scope - Invalid | 182 |
Unresolved (U) | 1,442 |
No answer/Answering machine | 1,442 |
In-scope - Non-responding (IS) | 1,209 |
Language barrier | 0 |
Incapable of completing (ill/deceased) | 79 |
Callback (respondent not available) | 882 |
Refusal | 226 |
Termination | 22 |
In-scope - Responding units (R) | 963 |
Quota full | 0 |
Completed Interview | 950 |
NQ – Counselling not completed | 13 |
Response Rate | 26.65% |
The results of this research will be used by Health Canada to: 1) comply with the requirement for accreditation by COA and to demonstrate best practice in the area of quality assurance, as EAS is mandated to develop measures to assess the various components of the services provided to clients, as well as to assess the impact of the counselling services provided to clients in need of psychosocial support; 2) allow EAS, which is delivered by Health Canada to all employees of the federal government in need, to meet this significant requirement and provide valuable information to its customer organizations and to further evaluate its impact in supporting clients in need of support; and 3) continue to meet its intended objectives as there are no foreseen identifiable risks associated with information gathering and dissemination. Failure to get feedback on client satisfaction could lead to a federal approach that does not resonate well with creating a healthy workplace that supports mental health.
The total expenditures for the research were $29,309.38 (HST included).
ENGLISH QUESTIONNAIRE:
EMPLOYEE ASSISTANCE SERVICES BUREAU - CLIENT TELEPHONE SURVEY
Before we start, I’d like to thank you for agreeing to participate in this confidential survey. The information shared with us, including some standard demographic questions at the end of the survey, does not identify participants in any way. Generalized statistics will be used for our quality assurance purposes and to show the performance levels of the EAP services we provide.
You will be asked to respond to a series of statements or questions that fall under 6 sections. Your honest opinions are what interest us most. Please note that EAP as a generic name includes: Employees from the Employee Assistance Program, Members from the Canadian Forces and Retirees from Veteran Affairs Canada and their immediate family members.
Please let me know if you’re having any trouble understanding me or if you’d like me to repeat a question. Do you have any questions before we start?
YOUR PRIMARY REASON FOR USING EMPLOYEE ASSISTANCE PROGRAM SERVICES
I will list a number of reasons employees might have for consulting their EAP. I’ll then ask you to indicate which one of the following best describes your primary reason for contacting your EAP:
YOUR LEVEL OF SATISFACTION WITH EAP SERVICES
In this set of questions, I will ask your opinion regarding the services you received. For each question, please choose the response that best describes how you feel between: very satisfied, satisfied, dissatisfied, very dissatisfied.
How satisfied were you with how promptly the counsellor to whom you were referred scheduled your first appointment?
How satisfied were you with the counsellor’s ability to understand your concerns?
Did you need to be referred externally?(If not, skip this question.) If so,how satisfied were you with your EAP counsellor’s ability to refer you to additional services outside of the EAP?
Overall, how satisfied are you with the quality of services you’ve received?
How satisfied are you with the help you received in dealing with your concerns?
For the next few questions, responses are limited to YES, NO or UNCERTAIN.
If 'Not Applicable' was chosen, please ask the client to choose from the following two answers:
If you were to seek help again, would you contact our EAP?
If No, please elaborate:
_______________________________________________________________________
_______________________________________________________________________
If you thought someone else was in need of EAP services, would you recommend our EAP?
If No or Uncertain, please elaborate:
_______________________________________________________________________
_______________________________________________________________________
YOUR REASONS FOR ENDING EAP COUNSELLING
What is the main reason your counselling sessions ended?
I will list a series of reasons, please indicate the main reason for ending your EAP counselling.
THE IMPACT & USEFULNESS OF EAP SERVICES RECEIVED
In Question #1 of section 1, your answer was ___________.
Did the EAP services you received make a difference in that aspect of your life?
Sometimes counselling has an impact on other areas of our lives than the issue we were initially addressing. Did you notice an impact on other areas of your life?
If No, go to next section.
If Yes, in which other area of your life did you notice the most impact?
YOUR WELL-BEING IN TERMS OF PRESENTEEISM, ABSENTEEISM, RELATIONSHIPS, AND HEALTH STATUS
In this section each of the questions has two parts. The first part relates to difficulties you were experiencing four weeks (30 days) prior to seeking EAP counselling sessions. The second part relates to difficulties 30 days after the last EAP session. For each question, please choose the response that best describes how you feel between the choices provided.
Were you working before and after the EAP counselling sessions? If not, skip to question 3 in this section.
1.a Presenteeism - In the 30 days prior to contacting EAP, how often did emotional problems (such as feeling depressed or anxious) limit your concentration, performance and the kind or amount of work you could do?
1.b And in the 30 days after the last session?
2.a Absenteeism - In the 30 days prior to contacting EAP, how many work days did you miss because of your physical, personal or mental health problems? ____
2.b And in the 30 days after the last session? ____
3.a Productivity as Affected by Physical Health - In the 30 days prior to contacting EAP, how much difficulty did you have doing your work or other regular daily activities as a result of your physical health?
4.a Perceived Health Status - In the 30 days prior to contacting EAP, how would you describe your overall health?
4.b And in the 30 days after the last session?
5.a Social Relationships - In the 30 days prior to contacting EAP, to what extent had your problems (whether physical or emotional) interfered with your normal social activities with family, friends, or co-workers?
5.b And in the 30 days after the last session?
Note for the interviewer: Skip this next question if the participant answered ‘no’ at the start of section 5 (whether or not they were working before and after EAP).
6. Work Engagement - The following statements reflect what you may do or feel on the job. Please indicate the degree to which you agree with each of the statements for the 30 days prior to accessing the EAP.
1.a I felt stimulated by my work.
2.a I felt passionate about my job.
3. a I was often eager to get to the work site to start the day.
And in the 30 days after the last session?
1.b I felt stimulated by my work.
2.b I felt passionate about my job.
3.b I was often eager to get to the work site to start the day.
7. Resiliency and Self-Coping Abilities - Since the end of your EAP sessions, how would you rate your improvement in the following areas?
EAP SERVICES STRENGTHS AND WEAKNESSES / HOW THE EAP SERVICES CAN BE IMPROVED.
In the following 4 questions I will ask for your general impression of our EAP.
What do you believe are the strengths of our EAP?
_______________________________________________________________________
What do you believe are the weaknesses of our EAP?
_______________________________________________________________________
How might our EAP services be improved?
_______________________________________________________________________
Did you receive the kind of EAP services you expected?
If no, what were you expecting?
________________________________________________________________________
Thank you for sharing your thoughts and opinions regarding your experience with our services. To ensure that EAP can address the needs of the diverse client population, we will also request some general demographic information, such as your age group, gender, employment equity status, and your sexual orientation. Each of the four questions is optional, and, as with the rest of the survey, all answers you provide will be kept in the strictest confidentiality.
What is your age group?
What is your gender? (Refers to current gender which may be different from sex assigned at birth and may be different from what is indicated on legal documents.)
What is your sexual orientation?
(Refers to a person's sexual identity in relation to the gender(s) to which they are sexually attracted. This can include being sexually attracted to no one, to some genders, to all genders, or to a specific gender.)
Are you a member of an Employment Equity Group?
6. You’ve completed the survey. Before ending this call, is there anything else you would like to say about your experience with EAP counselling services?
_______________________________________________________________________
_______________________________________________________________________
*********************
Thanks again for taking the time to participate in this survey!
If you have any questions or concerns, please feel free to call the 24-hour Employee Assistance Service phone line at 1-800-268-7708
FRENCH QUESTIONNAIRE:
BUREAU DES SERVICES D’AIDE AUX EMPLOYÉS - SONDAGE TÉLÉPHONIQUE
Tout d’abord, je vous remercie d’avoir accepté de participer à ce sondage confidentiel. L’information que nous recueillons, incluant certaines questions standard d’ordre démographique qu’on vous pose à la fin de l’enquête, ne permet d’aucune façon d’identifier les participants. Les statistiques générales seront utilisées dans le cadre de nos efforts d’assurance de la qualité et pour démontrer les niveaux de rendement des services du PAE que nous offrons.
Je vais utiliser le terme PAE tout au long du sondage qui est l’acronyme pour Programme d’aide aux employés. C’est un terme générique qui inclut aussi le PAM (forces canadiennes) et le PAAC (anciens combattants).
Les questions que je vous poserai sont regroupées en 6 sections. S.V.P., donnez votre opinion en toute franchise.
Si vous avez du mal à comprendre ce que je dis ou si vous voulez que je répète une question, n’hésitez pas à me le dire.
VOTRE RAISON PRINCIPALE POUR LAQUELLE VOUS AVEZ FAIT APPEL AU PAE
Je vais vous énumérer une série de raisons possibles pour lesquelles vous auriez pu faire appel à notre PAE. Veuillez m’indiquer laquelle reflète le plus votre raison de consultation.
VOTRE SATISFACTION À L’ÉGARD DES SERVICES DU PAE
Dans cette série de questions, je vais vous demander votre opinion sur les services que vous avez reçus. Pour chaque question, S.V.P. choisissez la réponse qui décrit le mieux votre opinion entre : très satisfait, satisfait, insatisfait, très insatisfait.
En général, êtes-vous satisfait de l’intervention du conseiller qui a répondu à votre appel initial (au numéro 1-800-268-7708)?
Avez-vous été satisfait de la promptitude avec laquelle le conseiller à qui vous avez été référé vous a fixé un premier rendez-vous ?
Êtes-vous satisfait de la capacité du conseiller rencontré de comprendre ce qui vous préoccupait ?
A-t-il été nécessaire de vous référer/diriger vers une ressource externe?
[Si non, sautez cette question.] Si oui, avez-vous été satisfait de ce que votre conseiller du PAE a fait pour vous diriger vers d’autres services?
Êtes-vous satisfait de l’aide que vous avez reçue afin de composer avec vos difficultés?
Pour les questions suivantes, la réponse se limite à « oui », « non », ou «incertain».
Votre conseiller du PAE :
Si 'Non-applicable' est choisi, veuillez demander au client de choisir une des deux réponses suivantes:
J'ai terminé mes séances mais ça ne fait pas encore deux semaines.
J'ai refusé le suivi qui m'a été proposé.
Si vous aviez de nouveau besoin d’aide, feriez-vous appel à votre PAE?
Si non ou incertain, veuillez élaborer:
__________________________________________________________
RAISONS POUR LESQUELLES VOUS AVEZ CESSÉ LES SÉANCES DE COUNSELLING
Nous aimerions connaître la raison principale pour laquelle les services ont pris fin.
Je vais vous énumérer une série de raisons, S.V.P. indiquez-moi la raison principale pour laquelle vous avez cessé les consultations de counselling.
_____________________________________________________________
UTILITÉ ET EFFETS DES SERVICES REÇUS DU PAE
Pour la question #1 de la section 1, votre réponse était __________________.
Les services du PAE que vous avez reçus ont-ils fait la différence dans cet aspect de votre vie?
Parfois, la consultation a un impact sur d’autres secteurs de notre vie que sur la problématique pour laquelle vous avez consulté. Avez-vous noté un impact sur d’autres secteurs de votre vie?
Si non, sautez cette section.
Si oui, dans quelle autre sphère de votre vie avez-vous noté le plus d’impact:
______________________________
VOTRE BIEN-ÊTRE RELIÉ AU PRÉSENTÉISME, RELATIONS SOCIALES, ABSENTÉISME ET ÉTAT DE SANTÉ.
Chacune des questions qui suivent se compose de deux parties. La première partie porte sur les difficultés que vous éprouviez dans les quatre semaines (30 jours) avant de faire appel au PAE pour du counselling. La seconde partie correspond aux difficultés perçues à la fin de vos séances de counselling30 jours après la dernière séance du PAE. Pour chaque question, svp veuillez choisir la réponse qui décrit le mieux votre opinion entre les choix proposés.
Occupiez-vous un emploi avant et après les séances de counselling PAE? Sinon, passez à la question 3 dans cette section.
1.a Présentéisme Au cours des 30 jours avant votre appel au PAE, à quelle fréquence avez-vous eu des problèmes d’ordre affectif (comme se sentir déprimé ou angoissé) qui ont nui à votre concentration ou à votre rendement ou qui vous ont empêché d’accomplir votre travail ou d’autres activités quotidiennes?
1.b Et au cours des 30 jours qui ont suivi votre dernière séance?
2.a Absentéisme Au cours des 30 jours avant votre appel au PAE, combien de journées de travail avez-vous ratées en raison de problèmes physiques, personnels ou de santé mentale? ____
2.b Et au cours des 30 jours qui ont suivi votre dernière séance? _____
3.a Productivité affectée par la santé physique. Au cours des 30 jours avant votre appel au PAE , jusqu’à quel point avez-vous eu de la difficulté à faire votre travail ou d’autres activités quotidiennes en raison de votre santé physique?
3.b Et au cours des 30 jours qui ont suivi votre dernière séance?
4.a Perception de l’état de santé. Au cours des 30 jours avant votre appel au PAE , comment décririez-vous votre santé globale?
4.b Et au cours des 30 jours qui ont suivi votre dernière séance?
5.a Relations sociales. Au cours des 30 jours avant votre appel au PAE, jusqu’à quel point vos problèmes (physiques ou émotionnels) interféraient-ils avec vos activités sociales habituelles auprès de votre famille, ami(e)s, ou collègues de travail?
5.b Et au cours des 30 jours qui ont suivi votre dernière séance?
Remarque à l’intention de l’intervieweur : Sautez cette question si le participant a répondu par la négative au début de la section 5 (à savoir s’il travaillait ou non avant et après le PAE).
6 Engagement au travail Les énoncés suivants correspondent à des actions ou à des sentiments possibles concernant le travail. Veuillez indiquer dans quelle mesure vous êtes d’accord avec ces énoncés pour la période de 30 jours précédant la consultation du PAE ou celle suivant la dernière séance.
1.a Je trouvais mon travail motivant.
2.a Mon travail me passionnait.
3.a La plupart du temps, j’avais hâte de commencer ma journée de travail.
Et au cours des 30 jours qui ont suivi votre dernière séance?
1.b Je trouvais mon travail motivant.
2.b Mon travail me passionnait.
3.b La plupart du temps, j’avais hâte de commencer ma journée de travail.
7 Résilience et les habiletés d’autorégulation – Depuis la fin de vos séances de PAE, dans quelle mesure croyez-vous vous être amélioré dans les domaines suivants?
POINTS FORTS ET POINTS FAIBLES DES SERVICES DU PAE/AMÉLIORATIONS POUVANT ÊTRE APPORTÉES AUX SERVICES DU PAE.
Dans les 4 questions suivantes, je vous demanderai vos impressions générales au sujet de notre PAE.
À votre avis, quels sont les points forts de votre PAE?
________________________________________________________________________________________________________________________
À votre avis, quels sont les points faibles de votre PAE?
________________________________________________________________________________________________________________________
Comment pourrait-on améliorer les services offerts dans le cadre de votre PAE?
________________________________________________________________________________________________________________________
Avez-vous reçu le genre de services auxquels vous vous attendiez de votre PAE?
Si non, quelles étaient vos attentes?
________________________________________________________________________________________________________________________
Merci de partager vos réflexions et vos opinions au sujet de votre expérience avec nos services. Pour nous assurer que le PAE puisse répondre aux besoins de la clientèle diversifiée, nous vous demanderons également des informations démographiques générales, telles que votre groupe d'âge, votre sexe, votre situation quant à l'équité en matière d'emploi et votre orientation sexuelle. Chacune des quatre questions est facultative et, comme pour le reste du sondage, toutes les réponses que vous fournirez seront conservées dans la plus stricte confidentialité.
Quel est votre groupe d’âge?
Quel est votre genre?
(Par genre, on entend le genre actuel, qui peut différer du sexe assigné à la naissance ou de celui inscrit dans les documents légaux.)
Quelle est votre orientation sexuelle?
(Fait référence à l'identité sexuelle d'une personne en relation avec le (les) genre(s) auquel (auxquels) elle est attirée sexuellement. Ceci peut inclure n'être attiré sexuellement à personne, être attiré sexuellement à certains genres, à tous les genres, ou à un genre spécifique.)
Faites-vous partie d’un groupe visé par l'équité en matière d'emploi?
Faites-vous partie d’un groupe visé par l'équité en matière d'emploi? (Personnes handicapées, membres d’une minorité visible, peuples autochtones)
Je préfère ne pas répondre
Vous avez répondu à toutes les questions du sondage. Y a-t-il autre chose que vous aimeriez dire au sujet des services que vous avez reçus du PAE?
________________________________________________________________________________________________________________________
____________________________________________________________
*********************
Merci d’avoir bien voulu participer à ce sondage!
Si vous avez des questions ou des commentaires, n’hésitez pas à appeler le Service d’aide aux employés, offert jour et nuit au numéro 1-800-268-7708.
Merci encore une fois d’avoir participé à ce sondage téléphonique.
Au revoir.
(Under Separate Cover)
(Under Separate Cover)
The response rate refers to the number of people that participated in the survey compared to the actual number sampled from the target population. The response rate was calculated using the MRIA’s Empirical Method of Response Rate Calculation.
The response rate [R=R/(U+IS+R)] is calculated as the number of responding units [R] divided by the number of unresolved [U] numbers plus in-scope [IS] non-responding households and individuals plus responding units [R].