Projet de remplacement d'aéronefs de recherche et sauvetage à voilure fixe - Examen indépendant des plans, méthodes et outils d'évaluation

Le 21 novembre 2013

Les observations comprises dans ce rapport se limitent à la portée décrite à la section 2. Ce rapport doit être considéré dans son ensemble. La sélection de mots ou de passages particuliers tirés de ce rapport sans tenir compte de la portée et de la période de l'examen pourrait entraîner une mauvaise interprétation de nos observations.

Table des matières

• 1. Contexte
• 2. Objectif et portée
  • 2.1 Objectif de l'examen
  • 2.2 Portée de l'examen
  • 2.3 Exclusions de la portée de l'examen
• 3. Approche
• 4. Limites du rapport
• 5. Observations de l'examen
  • 5.1 Commentaires sur les observations portant sur l'objectif d'impartialité en matière d'approvisionnement
  • 5.2 Commentaires sur les observations portant sur l'objectif du meilleur rapport qualité-prix en matière d'approvisionnement

Acronymes

Voici les acronymes que l'on retrouve dans le présent rapport :

AQ

Assurance de la qualité

ARSVF

Aéronefs de recherche et de sauvetage à voilure fixe

BVG

Bureau du vérificateur général

CNRC

Conseil national de recherches du Canada

DP

Demande de propositions

DPF

Dirigeant principal des finances

EBO

Énoncé des besoins opérationnels

EDT

Énoncé des travaux

ERLC

Évaluation du risque lié à la livraison de la capacité

MDN

Ministère de la Défense nationale

OEPA

Outil d'évaluation de la performance des aéronefs

Projet d'ARSVF

Projet de remplacement des aéronefs de recherche et de sauvetage à voilure fixe

RIR

Retombées industrielles et régionales

RS

Recherche et de sauvetage

DE

Définitions des exigences

SES

Soutien en service

TPSGC

Travaux publics et Services gouvernementaux Canada

1. Contexte

Au Canada, la recherche et le sauvetage (RS) est une responsabilité partagée entre les organismes fédéraux, provinciaux ou territoriaux, et municipaux. Les activités de RS nécessitent des capacités sur la terre, dans les airs et en mer, et doivent s'adapter aux variations de climat qui touchent l'ensemble du pays. Le ministère de la Défense nationale (MDN) assume la responsabilité principale concernant la prestation des services RS aériens (recherche d'aéronefs écrasés au sol), alors que la Garde côtière canadienne assume la responsabilité principale concernant la prestation des services RS maritimes. Les services RS aériens du MDN sont effectués par des aéronefs à voilure fixe et à voilure tournante, chacun de ces types d'appareil remplissant un objectif distinct.

Les opérations du MDN sont actuellement menées par des aéronefs de recherche et de sauvetage à voilure fixe (ARSVF) qui approchent la fin de leur cycle de vie utile. Le MDN dispose d'une flotte de 6 avions CC115 Buffalo âgés de 45 ans et de 13 avions CC130H Hercules qui sont âgés de 20 à 39 ans. Dans le cadre de la Stratégie de défense Le Canada d'abord, le remplacement des ARSVF vieillissants est considéré comme une priorité gouvernementale.

Le Projet de remplacement des aéronefs de recherche et de sauvetage à voilure fixe (ci-après appelé le « projet d'ARSVF ») a débuté en 2002 et vise à remplacer la flotte vieillissante d'ARSVF. À l'automne 2009, à la suite d'une consultation auprès des représentants de l'industrie dans le cadre du projet d'ARSVF, le gouvernement du Canada a demandé au Conseil national de recherches du Canada (CNRC) d'effectuer un examen indépendant de l'énoncé des besoins opérationnels (EBO) du projet. Dans son rapport, le CNRC a recommandé d'apporter des améliorations aux exigences techniques ainsi qu'aux hypothèses et aux contraintes sur lesquelles les exigences du projet d'ARSVF sont fondées.

Suite aux recommandations du CNRC, le projet d'ARSVF a repris avec l'élaboration d'un nouvel EBO. Dans ce nouveau cadre, le gouvernement du Canada a cherché à mettre davantage l'accent sur les résultats attendus (les capacités) de l'ARSVF plutôt que sur les caractéristiques requises de l'appareil (ou « plateforme »). Ce changement visait à tenir compte des recommandations du CNRC et à permettre aux soumissionnaires de concevoir des solutions qui correspondent davantage aux résultats attendus. Le fait que l'approvisionnement soit axé sur les capacités a mené à l'élaboration de plans, de méthodes, de processus et d'outils ainsi que la prise de décisions, qui représentent des nouveautés pour l'achat d'aéronefs par le MDN.

La livraison du nouvel ARSVF est actuellement prévue pour 2018. L'Aviation royale canadienne a prorogé la durée de vie opérationnelle des avions Hercules et Buffalo. Comme le Bureau du vérificateur général (BVG) le l'a souligné dans son rapport du printemps 2013, les coûts d'entretien ont augmenté, et la disponibilité des ARSVF est réduite en raison de l'entretien en raison du vieillissement de la flotte.

Le remplacement des ARSVF représente pour le gouvernement du Canada un achat de plusieurs milliards de dollars. Nous comprenons que Travaux publics et Services gouvernementaux Canada (TPSGC), Industrie Canada (IC) et le MDN collaborent à la préparation de la demande de propositions (DP) en vue de sa publication en 2014, ainsi que de la livraison du premier appareil en 2018 et de la mise en œuvre de la pleine capacité opérationnelle des nouveaux appareils en 2020. Le but du projet d'ARSVF est d'obtenir le meilleur rapport qualité-prix pour la population canadienne en tenant compte des coûts d'immobilisation, de fonctionnement et d'entretien de l'appareil pendant sa durée de vie entière. La stratégie d'approvisionnement mise en œuvre dans le cadre du projet d'ARSVF vise aussi à produire des retombées industrielles.

2. Objectif et portée

En juillet 2013, dans le cadre d'un processus d'approvisionnement concurrentiel, TPSGC a mandaté Orbis Risk Consulting Inc. pour la réalisation d'un examen indépendant entre juillet et novembre 2013. L'objectif et la portée de notre examen sont détaillés dans les sections suivantes :

1. Objectif de l'examen;
2. Portée de l'examen;
3. Exclusions.

2.1 Objectif de l'examen

L'objectif était d'effectuer un examen indépendant des plans, des méthodes, des processus, des décisions et des outils du projet d'ARSVF en matière d'évaluation, qui étaient à divers stages d'élaboration. Il s'agissait aussi de faire des commentaires sur deux des objectifs du gouvernement du Canada en matière d'approvisionnement. Ces deux objectifs sont les suivants :

• assurer un approvisionnement impartial, ne favorisant pas, par mégarde, un soumissionnaire au détriment d'un autre;
• promouvoir une méthode d'approvisionnement axée sur le meilleur rapport qualité-prix.

Nous avons examiné le cadre général des plans, des méthodes, des processus, de la prise de décisions et des outils du projet d'ARSVF en matière d'évaluation des soumissions, selon leur état d'achèvement. De plus, nous avons examiné plus en profondeur certains de ces éléments lorsque leur élaboration était pratiquement terminée.^{Note de bas de page 1} Les éléments examinés plus en profondeur se trouvents à la section 2.2. La section 2.3 indique les éléments qui ne faisaient pas partie de la portée de notre examen.

Un examen ne constitue pas une vérification et, par conséquent, nous n'exprimons pas une opinion quant à l'impartialité des plans, des méthodes, des processus, de la prise de décisions et des outils du projet d'ARSVF en matière d'évaluation, non plus sur le fait qu'ils correspondent au meilleur rapport qualité-prix.

2.2 Portée de l'examen

Nous avons effectué notre examen du 9 juillet au 21 novembre 2013. Il portait sur les activités, les décisions et les documents couvrant la période du 1^er avril 2012 au 21 novembre 2013. Comme les plans, les méthodes, les processus et les outils d'évaluation des soumissions se trouvaient à différentes étapes de préparation à la fin de notre examen, celui-ci s'est limité à l'information existante fournie à l'équipe chargée de l'examen. On nous a demandé d'examiner plus en profondeur un sous-ensemble de plans et d'outils dont l'élaboration était plus avancée. Ces plans et outils sont énumérés ci-dessous. Notre examen a aussi tenu compte, sans en faire une analyse en profondeur, du cadre général des plans et des outils élaborés par le gouvernement du Canada pour soutenir l'évaluation des soumissions présentées dans le cadre du projet d'ARSVF.

Puisque, au moment du présent rapport, le gouvernement du Canada continuait à modifier et à améliorer divers éléments des plans, des méthodes, des processus, des décisions et des outils d'évaluation des soumissions, et qu'il fallait rapidement rédiger un rapport d'examen indépendant, nous avons été limités à une revue de l'information qui nous a été fournie par le MDN, TPSGC et IC en prenant pour acquis qu'elle fut à jour, pertinente, complète et exacte.

Les plans et les outils qui ont été examinés en profondeur sont les suivants :

• la structure générale prévue pour la pondération relative entre les critères de coût et de capacité;
• les méthodes employées pour appliquer les coefficients de pondération aux exigences relatives à l'approvisionnement des aéronefs, classées par priorité;
• l'étude de définition et l'étude fonctionnelle de l'outil d'évaluation du rendement des aéronefs (OEPA) élaboré par l'administration fédérale pour évaluer le rendement des solutions proposées par les soumissionnaires pour intervenir dans le cas d'un incident RS;
• les contrôles de changements, d'assurance de la qualité et de sécurité soutenant l'OEPA;
• le cadre pour mobiliser l'industrie pendant le processus d'approvisionnement;
• les processus de consultation avec l'industrie visant à recueillir ses commentaires sur l'ébauche de la DP, du 30 août au 18 octobre 2013. Au moment de la rédaction de ce rapport, le flux de travail lié à la gestion des commentaires provenant de l'industrie était en voie d'être amélioré pour permettre de gérer le volume de l'information reçue des soumissionnaires en réponse à l'ébauche de la DP. Nous avons examiné les processus de consultation visant à obtenir les commentaires sur l'ébauche de la DP, du 30 août au 18 octobre 2013, mais la portée de notre examen ne comprenait pas un examen complet du processus de consultation avec l'industrie.

2.3 Exclusions de la portée de l'examen

Les éléments suivants sont exclus de la portée de notre examen indépendant :

• Processus d'approvisionnement complet : Notre examen n'a pas porté sur le processus d'approvisionnement au complet de bout en bout du projet d'ARSVF, et il excluait tous les éléments de ce processus qui n'étaient pas associés au sous-ensemble de plans, de méthodes, de processus et d'outils d'évaluation des soumissions, ainsi que de toutes décisions prises dans ce domaine, tels qu'ils sont mentionnés à la section 2.2. Notre examen n'a pas examiné, entre autres, la budgétisation, gestion de projet, gestion du cycle de vie des aéronefs, l'engagement de l'industrie tout au long du processus d'approvisionnement, l'assurance de la qualité au complet, de bout en bout, le suivi et la surveillance ainsi que la gestion des exigences.
• Définition des exigences : L'établissement des exigences relatives à l'acquisition d'aéronefs, à la performance de l'intervention, au soutien en service (SES) et au risque lié à la capacité de livraison ne faisait pas partie de la portée de notre examen, ni les processus qui ont servi à élaborer, documenter, classer (obligatoires ou cotées), formuler et améliorer de manière répétée ces exigences ni à établir leur ordre de priorité. Concernant les exigences relatives à l'acquisition des aéronefs, bien que la portée de notre examen ait exclu la sélection itérative, le classement des exigences ainsi que l'établissement des priorités (c.-à-d. le classement des exigences selon leur importance), nous avons examiné les méthodes employées pour attribuer les coefficients de pondération aux exigences classées et cotées. Même si nous n'avons pas pu examiner le processus de classement des exigences relatives à l'acquisition des aéronefs en raison de leur interdépendance avec les processus de classement et de sélection des exigences, nous nous sommes penchés sur la façon dont les réunions menées dans le cadre du projet d'ARSVF ont permis d'atteindre un consensus relatif à l'atténuation des risques de partialité, en se fondant sur l'expertise de spécialistes internes pendant la prise de décisions sur le classement.
• Autres examens : Bien que nous avons pris connaissance du cadre de la demandes et de l'intégration d'examens de la part de spécialistes, internes et externes, notamment la façon dont ils abordaient le sous-ensemble de plans, méthodes, processus, décisions et d'outils associés à l'évaluation des soumissions, les processus utilisés pour ces examens n'ont pas été étudiés concernant la portée de notre examen. De plus, nous n'avons pas étudié les sujets couverts par ces examens. Ces derniers comprenaient entre autres : l'examen des aspects juridiques et de l'assurance de la qualité; la surveillance de l'équité; l'évaluation du modèle d'établissement des coûts; un examen complet de l'ébauche de la DP effectué par une équipe indépendante de remise en cause. Tous ces examens se sont déroulés en même temps que nous procédions à notre propre examen. Notre examen indépendant n'a pas évalué l'intégralité, l'exactitude ou l'harmonisation de ces examens d'experts.
• Document complet de l'ébauche de la DP : L'énoncé des travaux (EDT) du projet d'ARSVF, la liste spécification des exigences et l'ébauche complète de la DP, qui ont été communiqués à l'industrie le 30 août 2013, ainsi que les documents justificatifs, ont été exclus de la portée de notre examen. Nous avons examiné seulement les éléments de l'ébauche de la DP liés au sous-ensemble de plans, de méthodes, de processus et d'outils d'évaluation des soumissions, selon la portée de notre examen.

3. Approche

Notre examen indépendant a surtout consisté à faire de l'analyse, des enquêtes ainsi qu'à discuter de l'information fournie par les représentants du MDN, de TPSGC et d'IC, et les experts dans le domaine à l'extérieur du gouvernement du Canada. Plus de 750 documents ont été examinés, et 33 entrevues ont été menées. Dans la cadre de cet examen indépendant, il n'y a eu aucune communication avec les soumissionnaires potentiels connus.

Un examen ne constitue pas une vérification et, par conséquent, nos travaux ne se voulaient pas exhaustifs, et nous n'avons pas cherché à exprimer une opinion quant à l'impartialité des plans, des méthodes, des processus, des décisions et des outils du projet d'ARSVF en matière d'évaluation, ni sur le fait qu'ils correspondront au meilleur rapport qualité-prix. Cet examen indépendant repose sur l'exactitude des renseignements fournis par le MDN, TPSGC et IC.

L'examen indépendant s'est déroulé en deux phases :

• La phase I, de juillet à août 2013 – La première phase comprenait l'examen d'un sous-ensemble de plans, méthodes, de processus, de décisions et d'outils associés à l'évaluation des soumissions. Elle a été réalisée avant la publication de l'ébauche de la DP, le 30 août 2013. Durant cette phase, Orbis a fait des observations préliminaires concernant les objectifs d'approvisionnement du gouvernement du Canada à la promotion de l'impartialité et du meilleur rapport qualité-prix.
• La phase II, d'octobre à novembre 2013 – La seconde phase comprenait l'examen des changements pertinents aux plans, aux méthodes, aux processus et aux outils associés à l'évaluation des soumissions provisoires qui avaient été étudiés pendant la phase I. La phase II comprenait aussi des consultations auprès de l'industrie, afin de recueillir ses commentaires sur l'ébauche de la DP; ces consultations ont eu lieu du 30 août au 18 octobre 2013. Tel que mentionné à la section 2, le flux de travail lié à la gestion des commentaires provenant de l'industrie était en voie d'amélioration en raison du volume d'information reçue des soumissionnaires concernant l'ébauche de la DP. Le sous-ensemble de plans, de méthodes, de processus, de décisions et d'outils associés à l'évaluation des soumissions provisoires, faisant partie de la portée de notre examen, était toujours en cours d'élaboration au moment de notre examen indépendant, et nous nous attendons à ce que les éléments de ce sous-ensemble soient modifiés après notre examen.

Le présent rapport contient les observations résultant d'un examen en deux phases mené du 9 juillet au 21 novembre 2013.

4. Limites du rapport

Ce rapport est destiné exclusivement à l'usage et au profit du gouvernement du Canada dans le but d'éclairer les décisions relatives à la conception des méthodes, des processus et des outils d'évaluation des soumissions. Aucune autre personne n'est autorisée à utiliser, à copier, à reproduire ou à diffuser ce rapport ou à se fonder sur son contenu, que ce soit en partie ou en entier, et pour quelque raison que ce soit, sans le consentement écrit préalable d'Orbis Risk Consulting Inc. Ce rapport devrait être considéré dans son ensemble; avoir recours à des passages particuliers du rapport peut entraîner une mauvaise interprétation de son contenu. Toute personne qui utilise ce rapport, autre que les personnes à qui il est destiné, le fait entièrement à ses propres risques. Orbis Risk Consulting Inc. n'assume aucune responsabilité quant à l'utilisation par un tiers indépendant de ce rapport ou des constatations et des commentaires qu'il contient. Orbis Risk Consulting Inc. se réserve le droit, sans aucune obligation, de réviser ce rapport si elle le juge nécessaire.

Notre examen indépendant et le rapport subséquent se limitent à la portée décrite à la section 2. On ne doit pas donner suite à rapport sans une analyse approfondie. Le gouvernement du Canada est responsable des décisions prises à l'égard du projet d'ARSVF, et ces décisions voient influencer la réalisation des résultats prévus. Le résultat final du projet d'ARSVF et la mesure dans laquelle les méthodes, les processus et les outils d'évaluation des soumissions sont impartiaux influeront sur les décisions futures du gouvernement du Canada.

5. Observations de l'examen

Cette section présente nos observations.

Selon les travaux effectués dans le cadre de notre examen, conformément à la portée décrite à la section 2, aucun élément porté à notre connaissance ne nous permettrait de croire que les plans, les méthodes, les processus, les décisions et les outils associés au projet d'ARSVF font preuve de partialité, de telle sorte qu'un soumissionnaire aurait été favorisé par inadvertance au détriment d'un autre. De plus, nous avons constaté que les méthodes utilisées sont conformes avec l'objectif visant à promouvoir une méthode d'approvisionnement axée sur le meilleur rapport qualité-prix. Nos observations sont présentées comme suit :

1. des commentaires sur les observations portant sur l'objectif d'impartialité en matière d'approvisionnement;
2. des commentaires sur les observations portant sur l'objectif du meilleur rapport qualité-prix en matière d'approvisionnement.

5.1 Commentaires sur les observations portant sur l'objectif d'impartialité en matière d'approvisionnement

Nos observations sur l'objectif d'impartialité en matière d'approvisionnement sont détaillées dans les trois sections suivantes :

1. la participation de l'industrie;
2. l'élaboration des techniques d'évaluation;
3. la validation des décisions prises.

5.1.1 Participation des membres de l'industrie

Notre examen a mis en lumière les mesures prises par le gouvernement du Canada conformément à l'objectif de gestion des risques de partialité. Ces mesures sont les suivantes :

• Engagement anticipé : Le gouvernement du Canada a mobilisé les représentants de l'industrie dès le début du processus d'approvisionnement. En demandant, dès le début, les commentaires de soumissionnaires potentiels, le gouvernement du Canada a pu déterminer les éléments du processus d'approvisionnement qui devaient être surveillés de près afin d'atténuer le risque de favoriser par inadvertance un soumissionnaire au détriment d'un autre.
• Séances individuelles : Conformément aux principes d'achat éclairé adoptés par le gouvernement du Canada, des séances individuelles ont eu lieu avec les soumissionnaires potentiels à différentes étapes du processus d'approvisionnement. Ces séances ont servi à maintenir le dialogue entre l'équipe du projet d'ARSVF et les représentants de l'industrie, ce qui peut être utile pour connaître et gérer de manière proactive les risques de partialité.
• Participation d'un surveillant de l'équité : Le gouvernement du Canada a engagé un surveillant de l'équité pour qu'il participe à titre de conseiller objectif au projet d'ARSVF, y compris aux consultations auprès de l'industrie et aux réunions individuelles avec les soumissionnaires potentiels. Le surveillant de l'équité a fait des commentaires à l'équipe du projet d'ARSVF concernant l'objectif de gestion des cas potentiels de partialité involontaire.
• Formation à l'intention de l'industrie : Sachant que certains soumissionnaires potentiels peuvent avoir une plus grande expertise que d'autres concernant les activités canadiennes des ARSVF, ne croyons comprendre que le gouvernement du Canada a offert une formation aux soumissionnaires potentiels pour assurer une compréhension uniforme des exigences.

Au fur et à mesure que les consultations avec les représentants de l'industrie sont terminées et que leurs commentaires sont évalués et qu'ils ont obtenu une réponse, il est important que les processus utilisés et les décisions prises soient conservés afin de permettre au Canada de répondre rapidement à un examen ultérieur.

5.1.2 Élaboration des techniques d'évaluation

Nous avons constaté que le gouvernement du Canada a élaboré et appliqué les techniques et les outils suivants en vue de promouvoir une approche impartiale en matière d'approvisionnement :

• Outils de soutien pour l'évaluation axée sur la capacité : Le gouvernement du Canada a conçu un outil d'évaluation de la performance des aéronefs (OEPA) pour permettre aux soumissionnaires potentiels d'entrer les données de leurs solutions d'aéronef et de base optimales, et de calculer le temps d'intervention escompté de leurs aéronefs en réponse à divers incidents RS qui se sont produits dans le passé. Au cours de notre examen, nous avons constaté que, tout en élaborant et en améliorant l'OEPA, le gouvernement du Canada cherchait à atténuer les risques de sélection involontairement partiale d'un aéronef au détriment d'un autre, conformément aux recommandations du CNRC dans son rapport de 2010. Les spécialistes dans le domaine ont donné des conseils au gouvernement du Canada relativement à la conception de l'outil et à la pertinence des données et hypothèses sous-jacentes. Le gouvernement du Canada a aussi renforcé les mesures de sécurité entourant cet outil à la suite de la diffusion d'une ébauche auprès de l'industrie.
• Méthodes empiriques utilisées pour appuyer les décisions en matière de pondération : Le gouvernement du Canada a mis en œuvre des méthodes empiriques pour élaborer divers éléments des outils et des techniques d'évaluation, y compris les données sur les incidents pour l'OEPA. Plus particulièrement, une analyse de stabilité des données de base a été faite par un tiers indépendant au projet. Nous avons aussi constaté que le gouvernement du Canada s'est montré proactif dans la sélection des méthodes et l'établissement des processus de pondération des exigences prioritaires relatives à l'acquisition des aéronefs.
• Structures et processus de gouvernance : Nous avons étudié les comptes rendus, les cadres de référence et les exposés des réunions des divers organismes de surveillance en place pour appuyer la surveillance du projet d'ARSVF. Nous considérons que l'orientation de ces instances de surveillance contribue à cerner et à atténuer de manière proactive les risques de partialité potentiels.
• Participation d'experts et de représentants : Pour soutenir le projet d'ARSVF, le gouvernement du Canada a embauché un groupe diversifié de spécialistes qui ont contribué à cerner et à atténuer les risques de partialité. Parmi ces spécialistes, il y avait des pilotes, des spécialistes de l'approvisionnement, des experts en établissement des coûts, des techniciens de recherche et de sauvetage, des ingénieurs et divers autres experts du MDN, de TPSGC et d'IC.

Au cours de notre examen, nous avons constaté qu'une clause discrétionnaire en cas d'erreurs administratives mineures dans les propositions des soumissionnaires était en voie d'élaboration en vue de faire partie de la DP. Cette clause discrétionnaire devrait être utilisée par le gouvernement du Canada pour permettre aux soumissionnaires de corriger certaines erreurs administratives dans leurs propositions, afin d'éviter leur disqualification et accroître leurs chances de remplir avec succès leur réussite du projet d'approvisionnement. Nous avons constaté que les processus et les protocoles d'application de la clause discrétionnaire demeuraient flous au moment de la rédaction du présent rapport. Le gouvernement du Canada pourrait atténuer les risques liés à la perception de partialité associée à l'application de la clause discrétionnaire, en documentant de façon claire les processus et les protocoles par lesquels la discrétion sera exercée au cours de l'évaluation des soumissions.

Dans le cadre de l'évaluation des soumissions, nous avons constaté que le gouvernement du Canada prévoit utiliser de nouvelles méthodes d'évaluation de certains critères cotés par points, tel que l'évaluation du risque lié à la livraison de la capacité (ERLC) et l'évaluation des essais au sol et en vol. Au cours de notre examen, nous avons constaté que les processus et les protocoles pour l'évaluation des essais au sol et en vol n'étaient pas encore terminés. Le gouvernement du Canada pourrait atténuer les risques de partialité durant l'évaluation des essais au sol et en vol en établissant des protocoles clairs et documentés, détaillant les méthodes, les outils et les processus qui seront utilisés.

Comme le gouvernement du Canada continue de mettre au point les plans, méthodes, processus et outils d'évaluation des soumissions, tout en renforçant la gestion des dossiers, l'assurance de la qualité et la gestion des changements, y compris l'OEPA et ses paramètres d'entrée, il devrait être en mesure de répondre rapidement à tous examens ultérieurs.

5.1.3 Validation des décisions

Nous avons constaté que le gouvernement du Canada a appliqué les méthodes suivantes de validation des décisions afin de promouvoir une approche impartiale en matière d'approvisionnement :

• Examens menés par des experts : Le gouvernement du Canada a demandé à des experts d'examiner les décisions relatives à la conception des techniques et des outils d'évaluation qui devront être utilisés. Ces examens comprennent : les examens menés par des experts sur le code de l'OEPA ainsi que sur les données d'incidents et les hypothèses sous-jacentes de l'OEPA; les examens de l'analyse de sensibilité concernant la pondération des soumissions. De nombreux autres examens ont traité de divers autres éléments du projet d'ARSVF, comme il est indiqué à la section 5.2.3.
• Participation d'experts aux discussions : Divers experts ont participé au projet d'ARSVF à la demande du gouvernement du Canada, notamment aux réunions de concertation et aux réunions prévues pour recueillir les commentaires des membres l'industrie.
• Participation d'un surveillant de l'équité : Comme nous avons déjà mentionné, le gouvernement du Canada a engagé un surveillant de l'équité pour valider de manière indépendante et objective les décisions qui influencent sur l'équité du projet d'ARSVF.
• Gouvernance liée aux décisions prises : Nous avons constaté que des structures de gouvernance avaient été mises en place pour revoir les décisions clés sur les plans, les méthodes, les processus et les outils associés à l'évaluation des soumissions. Nous considérons que les conseils de ces organismes de surveillance contribuent à cerner et à atténuer de manière proactive les risques de partialité.

Nous avons constaté que, dans le cas de nombreux examens effectués dans le cadre du projet d'ARSVF, aucun cadre de référence clairement défini n'était facilement disponible. La tenue de dossiers et de preuves claires sur la façon dont les décisions ont été validées dans le cadre d'examens effectués par de tierces parties pourrait aider le gouvernement du Canada à gérer les risques liés à la perte d'information et à un contrôle incomplet de la qualité.

Bien que l'objectif du projet d'ARSVF ait été énoncé de façon détaillée dans des documents clés, nous avons constaté que cet énoncé n'était pas utilisé de manière uniforme dans l'ensemble des documents et dans l'ébauche de la DP publiée le 30 août 2013. Le gouvernement du Canada pourrait atténuer les risques d'interprétation erronée et de perception d'une partialité involontaire en procédant à un processus complet d'assurance de la qualité de la documentation finale avant sa diffusion à l'industrie.

5.2 Commentaires sur les observations portant sur l'objectif du meilleur rapport qualité-prix en matière d'approvisionnement

Nous avons structuré nos observations sur l'objectif du meilleur rapport qualité-prix en matière d'approvisionnement en fonction des quatre principes « d'Approvisionnement éclairé » de TPSGC. Ces principes vont au-delà de l'objectif du meilleur rapport qualité-prix, puisqu'ils renforcent les valeurs d'intégrité, de transparence et d'ouverture. Les principes d'Approvisionnement éclairé sont les suivants :

1. En engageant tôt dans le processus les clients des autres ministères et les fournisseurs, TPSGC favorise le dialogue entre les clients et les membres de l'industrie afin d'être mieux en mesure de mieux cerner les besoins et les solutions offertes sur le marché. Il est ainsi possible d'atténuer les risques, de relever les solutions novatrices et de promouvoir la concurrence. TPSGC réunit les acheteurs et les fournisseurs en organisant des journées de consultation de l'industrie, en consultant les fournisseurs individuellement ou en misant sur des outils de collaboration en ligne.
2. Des mécanismes de gouvernance efficaces définissent les règles de base régissant ces discussions et aide à gérer la prise de décisions en matière d'approvisionnements, à atténuer les risques et autres enjeux qui pourraient survenir.
3. En sollicitant des avis indépendants dans le cadre du processus d'approvisionnement, TPSGC fait appel à un tiers indépendant qui offre une expertise et des conseils afin d'évaluer et de valider les décisions.
4. L'Approvisionnement éclairé est un moteur de développement économique. Il procure des avantages pour les Canadiens en tenant compte des avantages socio-économiques tant pour les Canadien(ne)s que pour le Canada tels que la création d'emplois, l'innovation, l'augmentation des opportunités pour les fournisseurs incluant les petites et moyennes entreprises, et la réduction de barrières pour les Canadiens d'origine autochtone.

L'approche d'approvisionnement éclairé de TPSGC est conçue afin d'harmoniser la politique d'approvisionnement du Canada qui a comme objectif, entre autre, d'obtenir le meilleur rapport qualité-prix pour la population canadienne.^{Note de bas de page 2}

De plus, nous avons constaté que les méthodes utilisées sont cohérentes par rapport à l'objectif visant à promouvoir une méthode d'approvisionnement axée sur le meilleur rapport qualité-prix et conforme aux principes d'un approvisionnement éclairé. Bien que ces principes n'aient pas servi de fondement à notre examen, nous les avons utilisés comme structure de présentation de nos observations sur l'objectif visant à obtenir le meilleur rapport qualité-prix. Comme il a déjà été expliqué, les principes d'un approvisionnement éclairé vont au-delà du meilleur rapport qualité-prix. Toutefois, nos commentaires se limitent aux observations liées à l'atteinte du meilleur rapport qualité-prix.

5.2.1 Engagement précoce

Nous avons constaté que le gouvernement du Canada a entrepris plusieurs initiatives de mobilisation précoce dans le cadre du projet d'ARSVF, et ce, à divers moments du processus d'approvisionnement. Selon nos observations, le projet a su tirer profit de cette mobilisation de l'industrie, qui lui a permis d'obtenir de meilleures estimations, d'évaluer la faisabilité technique, et de cerner les éléments nécessitant plus de précisions dans la DP. Le processus de mobilisation de l'industrie à l'égard du projet d'ARSVF comprenait des journées de consultation de l'industrie, des rencontres individuelles avec les fournisseurs et des outils de collaboration en ligne permettant des échanges par écrit.

Nous avons constaté qu'il existait un risque élevé lié à la gestion des dossiers et à la gestion des changements. Le gouvernement du Canada devrait renforcer la gestion de ces éléments pour la suite du projet, afin de gérer le volume élevé de commentaires recueillis des membres de l'industrie au cours du processus d'engagement.

Bien que nous ayons constaté que diverses pratiques en place permettaient de documenter les communications avec l'industrie, notamment les rencontres individuelles, nous avons aussi constaté que les comptes rendus des réunions et des consultations avec les membres de l'industrie n'offraient pas le même niveau de détail de manière uniforme. Pour promouvoir le transfert des connaissances et permettre au gouvernement du Canada de répondre rapidement à un examen ultérieur, il est important que les communications avec les membres de l'industrie et la justification portant sur toutes les décisions soient documentées de manière appropriée. Au fur et à mesure que le processus d'approvisionnement avance et que le gouvernement du Canada réagit aux commentaires de l'industrie, il est important que les réponses à l'industrie et la justification des décisions prises suite aux commentaires des membres de l'industrie (p. ex. les changements aux plans, méthodes, processus et outils d'évaluation des soumissions) soient bien documentées. Plus précisément, la justification des décisions devrait indiquer comment l'interdépendance entre les divers éléments de l'approche d'approvisionnement ont été prises en considération et pondérées pour que le gouvernement du Canada obtienne le meilleur rapport qualité-prix, et ce, avant que des changements soient apportés. Le transfert des connaissances, la gestion des dossiers et les changements survenus tout au long des consultations avec les membres de l'industrie pourrait servir lors de projets d'approvisionnement similaires.

5.2.2 Gouvernance efficace

Les structures et les processus de gouvernance établis dans le cadre du projet d'ARSVF ne faisaient pas partie de la portée de notre examen. Toutefois, nous avons noté la façon dont la gouvernance influe sur les décisions prises associées aux éléments compris dans la portée de notre examen. À cet égard, nous avons observé de manière générale que l'orientation donnée au projet d'ARSVF était cohérente en ce qui a trait à l'élaboration des plans, des méthodes, des processus et des outils d'évaluation des soumissions ainsi qu'à l'engagement des membres de l'industrie.

Nous avons aussi noté au cours de notre examen les caractéristiques suivantes associées à une gouvernance efficace :

• La réceptivité et l'ouverture relatives à nos demandes d'information adressées au MDN et à TPSGC dans le cadre de notre examen indépendant prouvent qu'il existe un engagement solide à l'égard des principes de transparence et de rigueur;
• Dans une structure de gouvernance complexe qui exige la participation de plusieurs ministères, diverses organismes de gouvernance ont été créées pour orienter la prise de décisions et surveiller le projet;
• Des experts ont participé à l'élaboration et à la révision des plans, des méthodes, des processus, des décisions et des outils associés à l'évaluation des soumissions, y compris l'OEPA.

L'énoncé visant à communiquer les objectifs du projet a été peaufiné au cours du projet. Toutefois, malgré l'établissement d'un objectif clair en matière d'approvisionnement, cet objectif n'est pas énoncé de manière uniforme dans l'ensemble des documents du projet. Pour éviter qu'une mauvaise interprétation influence les décisions liées au meilleur rapport qualité-prix, il est important d'uniformiser davantage la communication des objectifs au fur et à mesure que le projet d'approvisionnement avance. Ce risque pourrait être atténué grâce à des processus de surveillance et de contrôle de la qualité des documents avant qu'ils soient diffusés et grâce à une communication interne concertée de l'objectif du projet d'approvisionnement.

5.2.3 Examen indépendant

Bien que l'intégralité, l'exactitude ou l'harmonisation des autres examens n'aient pas fait partie de la portée de notre examen indépendant, nous avons constaté que de nombreux autres examens entrepris par des experts portaient sur d'autres aspects du projet d'approvisionnement. Il faut aussi noter l'examen indépendant mené par le Conseil national de recherches du Canada (2010), qui a servi de catalyseur de changement en réorientant le projet d'ARSVF vers une évaluation axée davantage sur la capacité tout en visant un meilleur rapport qualité-prix pour la population canadienne. Voici des exemples des autres examens entrepris :

• Un surveillant de l'équité a été engagé pour examiner les documents, assister aux rencontres individuelles avec les représentants de l'industrie et fournir au gouvernement du Canada des commentaires objectifs;
• Un examen de l'ébauche de la DP par une équipe indépendante de remise en cause a été effectué avant la publication de cette ébauche, le 30 août 2013; l'équipe était formée de 11 spécialistes venant du MDN, de TPSGC et d'Industrie Canada;
• Une analyse de l'établissement des coûts financiers a été menée par le secteur du Dirigeant principal des finances (DPF) du MDN à partir d'une fonction d'examen interne (« DSEC ») du MDN qui, nous croyons comprendre, se poursuivra jusqu'à un dernier examen en 2014;
• Des experts externes ont été engagés pour revoir le codage de l'OEPA et la pertinence statistique des données et les hypothèses sous-jacentes relativement aux incidents RS;
• Nous comprenons que TPSGC a demandé au ministère de la Justice de procéder à un examen juridique de certains aspects du projet d'approvisionnement;
• Nous comprenons qu'un examen de la qualité de l'ébauche de la DP a été fait par la Division du contrôle de la qualité des contrats de TPSGC.

Nous avons aussi constaté que le MDN a adopté une approche proactive dans le but d'obtenir des conseils indépendants, de recueillir des données objectives pour assurer le meilleur rapport qualité-prix et de mettre en œuvre les recommandations formulées dans les examens indépendants. Cette proactivité contribue à accroître l'efficacité du processus d'examen indépendant.

Outre les observations ci-dessus, nous avons noté une possibilité d'améliorer la portée des examens indépendants, y compris la façon dont ils se chevauchent et se renforcent les uns les autres. Pour promouvoir l'efficacité des intervenants internes et leur cohérence et, en définitive, maximiser le rapport qualité-prix, le gouvernement du Canada devrait continuer à renforcer les protocoles visant à établir, à documenter et à gérer la portée des examens, notamment en conservant une description complète des aspects couverts par les examens de la qualité.

5.2.4 Retombées pour l'ensemble de la population canadienne

Notre examen ne visait pas à évaluer si le projet d'approvisionnement était conçu de manière à maximiser les avantages pour l'ensemble de la population canadienne, et nous ne l'avons pas fait. Par contre, dans le cadre de notre examen des plans, des méthodes, des processus, des décisions et des outils faisant partie de la portée de cet examen, nous avons examiné la mesure dans laquelle les décisions pertinentes étaient conformes à l'objectif du gouvernement du Canada d'acquérir des avantages pour le la population canadienne.

Le projet d'ARSVF exige que les soumissions comprennent un intégrateur canadien de soutien en service (SES) ainsi que des méthodes visant, d'une part, à être conformer à la Politique des retombées industrielles et régionales du Canada (RIR)^{Note de bas de page 3} qu'à maximiser les retombées industrielles liées aux fournisseurs canadiens en matière de soutien en service (SES). Bien que l'évaluation de la conformité à la Politique des RIR et l'évaluation des retombées industrielles ne fassent pas partie de la portée de notre examen, nous avons constaté qu'Industrie Canada participait activement au projet d'ARSVF en donnant des conseils sur les retombées industrielles et sur l'établissement d'un plan d'évaluation des RIR selon les résultats escomptés. De plus, nous avons constaté une cohérence entre l'utilisation de l'OEPA pour tenir compte du temps de réponse aux incidents RS dans l'évaluation des soumissions et les recommandations du CNRC d'axer l'évaluation vers la capacité d'en arriver à des solutions.

Tel que mentionné dans nos observations qui se trouvent dans d'autres sections de ce présent rapport, nous avons observé des cas où les documents à l'appui des plans, méthodes, des processus, des décisions et des outils pourraient être améliorés en vue d'un meilleur transfert des connaissances tant au sein du projet d'ARSVF qu'aux responsables de projets ultérieurs d'approvisionnement en défense.