Évaluation des activités de surveillance de la sécurité ferroviaire

Rapport d'évaluation décrivant les résultats de l'évaluation des activités de surveillance de la sécurité ferroviaire.

Sur cette page

• Sommaire
• Introduction
• Constatations et observations
• Conclusions et recommandations
• Annexe A: Méthodes et limites
• Annexe B : Tableaux à l'appui des analyses statistiques
• Annexe C : Plan d'action de la direction

Liste des figures

• Figure 1. Modèle logique simplifié de la sécurité ferroviaire aux fins d'évaluation
• Figure 2. Taux de défauts par groupe fonctionnel de 2015-2016 à 2021-2022, où le taux de défauts est le nombre d'inspections ayant relevé un ou plusieurs défauts divisé par le nombre total d'inspections
• Figure 3. Taux de défauts par groupe fonctionnel de 2015-2016 à 2021-2022, où le taux de défauts est une moyenne pondérée égale des défauts divisée par le nombre total d'inspections
• Figure 4. Nombre de défauts liés aux règles essentielles par inspection de 2016 à 2021
• Figure 5. Nombre de défauts liés aux règles essentielles par mille de voie ferrée inspecté de 2016 à 2021
• Figure 6. Cote moyenne de risque relatif par inspection de 2016 à 2021
• Figure 7. Cote moyenne de risque relatif par mille de voie ferrée inspecté de 2016 à 2021
• Figure 8. Cote moyenne de risque relatif multipliée par le volume du trafic, par inspection de 2016 à 2020
• Figure 9. Cote moyenne de risque relatif multipliée par le volume du trafic, par mille de voie ferrée inspecté de 2016 à 2020
• Figure 10. Accidents à signaler par million de tonnes, 2000 à 2021
• Figure 11. Incidents à signaler par million de tonnes, 2000 à 2021
• Figure 12. Décès par million de tonnes, 2000 à 2021
• Figure 13. Blessures graves par million de tonnes, 2000 à 2021
• Figure 14. Nombre de cas d'obligation légale dans la réglementation fédérale en lien avec la sécurité ferroviaire
• Figure 15. Taux d'incidents avec nombre de termes réglementaires
• Figure 16. Taux d'accidents avec nombre de termes réglementaires
• Figure 17. Risque relatif par inspection
• Figure 18. Risque relatif par mille de voie ferrée inspecté
• Figure 19. Risque relatif multiplié par le volume de trafic, par inspection
• Figure 20. Risque relatif multiplié par le volume du trafic, par mille de voie ferrée inspecté
• Figure 21. Causes des événements à signaler, de 2015 à 2021

Liste des tableaux

• Tableau 1. Liste des 11 facteurs – déterminants clés de conformité
• Tableau 2. Résultats détaillés de l'analyse statistique des inspections fondées sur les risques (composante B) et des inspections aléatoires (composante A)
• Tableau 3. Régression linéaire multiple pour le nombre de défauts (base : inspection de la composante A, en Ontario, en janvier)
• Tableau 4. Régression linéaire multiple pour la cote de risque (base : inspection de la composante A, en Ontario, en janvier)

Liste des acronymes et des abréviations

BST

Bureau de la sécurité des transports du Canada

BVG

Bureau du vérificateur général du Canada

FRA

Federal Railroad Administration (États-Unis)

ONRSR

Office of the National Rail Safety Regulator (Australie)

ORR

Office of Rail and Road (Royaume-Uni)

PAFR

Planification des activités fondée sur les risques

PISF

Passerelle intégrée de la sécurité ferroviaire

SAP

Sanction administrative pécuniaire

SGS

Système de gestion de la sécurité

TC

Transports Canada

Sommaire

Dans le cadre de son audit de suivi sur la sécurité ferroviaire de 2021, le Bureau du vérificateur général du Canada a recommandé que Transports Canada (TC) détermine « la mesure dans laquelle ses inspections et ses vérifications ont amélioré la conformité des compagnies de chemin de fer aux dispositions réglementaires qui permettent d'atténuer les risques clés en matière de sécurité ». Évaluation et services de conseils deTC a mené l'évaluation des activités de surveillance de la sécurité ferroviaire en 2021-2022 afin de donner suite à cette recommandation en examinant les trois questions suivantes :

1. Quelle incidence les inspections, les audits et les autres activités de surveillance entreprises dans le cadre du Programme de sécurité ferroviaire ont-ils sur la conformité?
2. Dans quelle mesure les activités de surveillance de la Sécurité ferroviaire contribuent-elles à la sécurité du réseau de transport ferroviaire du Canada?
3. Existe-t-il des pratiques exemplaires dans d'autres administrations que TC pourrait adopter en ce qui concerne les activités de surveillance efficaces et la démonstration de l'incidence qu'ont les programmes sur la sécurité ferroviaire?

Notre méthodologie a été conçue pour répondre directement au défi du vérificateur général consistant à évaluer dans quelle mesure les activités de surveillance de la Sécurité ferroviaire ont amélioré la conformité et la sécurité. Nous avons mis l'accent sur des preuves quantitatives au moyen de deux analyses statistiques :

• Une étude de cas des résultats des inspections du groupe fonctionnel de la Voie de la Sécurité ferroviaire afin d'évaluer le rendement de divers types d'inspection et les risques au fil du temps;
• Une analyse de la relation entre la réglementation et les événements ferroviaires au fil du temps.

Nous avons également examiné la façon dont d'autres organismes de réglementation ailleurs dans le monde ont relevé le défi consistant à mesurer l'incidence de leurs activités de surveillance. Plus particulièrement, nous avons examiné la Federal Railroad Administration aux États-Unis, le Department for Transport et l'Office of Rail and Road au Royaume-Uni et l'Office of the National Rail Safety Regulator en Australie.

Principales constatations

En ce qui a trait aux principales mesures liées aux résultats de la sécurité ferroviaire comme la conformité ou les taux d'événements, nous avons constaté ce qui suit :

• Les taux de non-conformité de la plupart des groupes fonctionnels de la Sécurité ferroviaire sont demeurés stables ou ont diminué depuis 2015.
• La sécurité ferroviaire au Canada s'est améliorée dans l'ensemble au cours des deux dernières décennies, selon l'analyse des données sur les événements.
• Quant à l'incidence des activités de surveillance sur ces résultats, nous avons constaté ce qui suit :
• Les inspections fondées sur les risques ont surpassé les inspections aléatoires dans leur capacité à cerner les cas de non-conformité à risque élevé depuis quelques années, ce qui permet à la Sécurité ferroviaire de gérer une partie plus importante du risque au sein du réseau de transport ferroviaire. Nous notons cependant que des années supplémentaires de données sont nécessaires pour confirmer la tendance, puisque les résultats ne sont pas statistiquement significatifs.
• Il existe des preuves d'une corrélation entre la contrainte réglementaire et la réduction du nombre d'incidents. L'analyse démontre que plus l'obligation légale augmente dans la réglementation avec l'utilisation de mots comme « doit », plus le nombre d'incidents a diminué. Nous n'avons pas observé le même lien avec les accidents.

Enfin, en ce qui concerne la façon dont TC se compare par rapport aux principaux organismes de réglementation ailleurs dans le monde sur le plan de l'évaluation de l'incidence de ses activités de surveillance de la sécurité ferroviaire, nous avons constaté les points suivants :

• L'évaluation directe de la mesure dans laquelle les activités de surveillance contribuent aux résultats en matière de sécurité représente un défi commun : aucun des organismes de réglementation aux États-Unis, au Royaume-Uni et en Australie n'a été en mesure d'attribuer de façon quantitative les résultats en matière de sécurité aux activités de surveillance.
• Cela dit, TC peut apprendre de ces organismes de différentes façons, y compris l'emphase accrue de la Federal Railroad Administration à l'égard de l'analyse des données, l'amélioration de l'évaluation des risques et du processus de planification de l'Office of the National Rail Safety Regulator, ainsi que le modèle de maturité et l'utilisation efficace des données sur les risques du système de gestion de la sécurité de l'Office of Rail and Road.

Nos constatations nous ont amenés à formuler les deux recommandations suivantes :

Si les définitions et les analyses connexes utilisées dans cette évaluation trouvaient un écho auprès de la Sécurité ferroviaire, le Programme pourrait se fonder sur ce travail.

Des données comme la densité de population le long des voies ferrées, la liste des règles et des règlements qui visent à influencer des types d'événements, et les renseignements qui visent à améliorer les profils de compagnie, comme les changements dans la gestion ou l'exploitation, la capacité financière et les antécédents en matière de conformité, peuvent être particulièrement utiles. Nous sommes conscients des défis liés à la collecte de certaines de ces données, en particulier les données propres aux compagnies, mais nous suggérons également que des solutions de rechange ou des substituts pourraient être identifiés.

1. Introduction

1.1 Objet et portée de l'évaluation

L'évaluation des activités de surveillance de la Sécurité ferroviaire a été menée en réponse directe à une recommandation formulée dans le cadre de l'audit de suivi sur la sécurité ferroviaire de 2021 du Bureau du vérificateur général du Canada (BVG) : « Transports Canada devrait déterminer la mesure dans laquelle ses inspections et ses vérifications ont amélioré la conformité des compagnies de chemin de fer aux dispositions réglementaires qui permettent d'atténuer les risques clés en matière de sécurité »^{Footnote 1}.

Le BVG a constaté que Transports Canada (TC) ne mesurait pas l'efficacité de ses activités de surveillance. Bien que l'audit du BVG fasse expressément référence à la conformité dans sa recommandation à ce sujet, le texte à l'appui de l'audit, les commentaires formulés par le vérificateur général au Comité des comptes publics en mai 2021 ainsi qu'une entrevue de délimitation de la portée menée auprès de l'équipe du BVG aux fins de la présente évaluation soulignent que la préoccupation ultime est de savoir si les activités de surveillance de TC ont une incidence sur la sécurité ferroviaire. L'évaluation visait par conséquent à examiner l'incidence de la surveillance exercée par TC sur la conformité ainsi que sur la sécurité du réseau de transport ferroviaire.

Dans l'évaluation, nous avons cherché à répondre aux questions d'évaluation clés suivantes :

1. Quelle incidence les inspections, les audits et les autres activités de surveillance entreprises dans le cadre du Programme de sécurité ferroviaire ont-ils sur la conformité?
2. Dans quelle mesure les activités de surveillance de la Sécurité ferroviaire contribuent-elles à la sécurité du réseau de transport ferroviaire du Canada?
3. Existe-t-il des pratiques exemplaires dans d'autres administrations que TC pourrait adopter en ce qui concerne (i) les activités de surveillance efficaces et (ii) la démonstration de l'incidence qu'ont les programmes sur la sécurité ferroviaire?

L'évaluation se concentrait sur les incidences externes des activités de surveillance de la Sécurité ferroviaire, particulièrement les inspections et les audits du système de gestion de la sécurité (SGS), et la façon dont ces incidences peuvent être évaluées et mesurées. L'évaluation n'a pas examiné les questions d'efficience du programme ou les processus internes comme la réglementation.

1.2 Approche et méthodes d'évaluation

Conformément à la Politique sur les résultats (2016) du Conseil du Trésor, cette évaluation a examiné l'incidence et les résultats du programme de surveillance de la Sécurité ferroviaire ainsi que la mesure dans laquelle les résultats observés sont attribuables au programme. Notre approche s'est appuyée sur des concepts de l'analyse de la contribution^{Footnote 2}, dans le cadre de laquelle nous avons évalué des questions de causalité et la contribution d'une intervention particulière à un résultat escompté.

L'équipe d'évaluation a mis particulièrement l'accent sur l'analyse quantitative afin de donner directement suite à la recommandation du BVG et de faire en sorte que TC puisse désormais mesurer l'incidence de ses activités de surveillance de la sécurité ferroviaire.

Voici qu'elles étaient les méthodes d'évaluation spécifiques :

Analyses statistiques

L'évaluation s'appuie sur deux analyses statistiques :

1. Une étude de cas des résultats d'inspections pour le groupe fonctionnel de la Voie afin d'évaluer le risque au fil du temps et l'efficacité de divers types d'inspection.
2. Une analyse de la relation entre la réglementation et les événements ferroviaires au fil du temps.

Les détails de ces analyses sont décrits à l'Annexe A : Méthodes et limites.

Entrevues avec des informateurs clés

L'équipe d'évaluation a mené des entrevues semi-structurées auprès de 38 intervenants internes (c.‑à-d. inspecteurs de la sécurité ferroviaire, auditeurs du SGS, gestionnaires régionaux, gestionnaires de la Sécurité ferroviaire) et de 20 intervenants externes (c.-à-d. représentants de compagnie de chemin de fer, responsables d'organismes de réglementation ferroviaire dans d'autres pays). Les entrevues ont entre autres abordé les sujets suivants :

• Perspectives sur la relation entre les activités de surveillance, la conformité et la sécurité;
• Idées sur l'approche et les méthodes de planification fondée sur les risques de la Sécurité ferroviaire;
• Activités qui ne peuvent pas être abordées sur le plan statistique au moyen de données existantes, à savoir les audits du SGS ainsi que les activités d'éducation et de sensibilisation;
• Pratiques exemplaires et expériences dans d'autres administrations.

Examen de la littérature

L'équipe d'évaluation a réalisé un examen de la littérature détaillé afin d'examiner les points suivants :

• La façon dont d'autres administrations (organismes de réglementation ferroviaire dans d'autres pays) ont relevé le défi d'évaluer l'efficacité de leurs activités de surveillance de la sécurité ferroviaire;
• La façon dont la surveillance a de manière générale une incidence sur la conformité, y compris une description des déterminants clés de la conformité;
• Les facteurs externes qui influent sur la sécurité du réseau de transport ferroviaire, comme les facteurs environnementaux, les solutions technologiques et les facteurs humains.

Examen des documents

L'équipe d'évaluation a procédé à un examen approfondi des documents du programme, comme les manuels d'inspection et d'audit, les procédures de planification fondée sur les risques, les plans de surveillance nationaux annuels et les méthodes d'évaluation des risques, qui fournissent des détails sur les objectifs, les processus de planification interne, les méthodes d'évaluation des risques, les priorités et les changements connexes au fil du temps de la Surveillance de la sécurité ferroviaire. Des exemples d'audits des SGS récents ont également fait l'objet d'un examen pour donner un aperçu de l'approche actuelle et des types de constatations.

1.3 Profil du programme

1.3.1 Structure et logique du programme

La Direction générale de la sécurité ferroviaire de TC est responsable du renforcement de la sécurité ferroviaire par voie de réglementation et de surveillance. Bon nombre de groupes au sein de la Direction générale contribuent à ces efforts, notamment :

• Direction des affaires réglementaires;
• Direction de la gestion des opérations;
• Groupes fonctionnels, c.-à-d. Voie, Équipement, Passages à niveau, Signaux et Exploitation;
• Directeurs régionaux, gestionnaires régionaux ainsi qu'inspecteurs et auditeurs de la sécurité ferroviaire dans les cinq régions de TC;
• Centre d'expertise en matière d'application de la loi et unités régionales d'application de la loi.

La logique sous-jacente de la Sécurité ferroviaire découle de la réglementation à la surveillance et de la conformité à la réduction des risques et à un comportement sécuritaire, ce qui contribue à un réseau de transport ferroviaire sécuritaire (figure 1). Plus précisément, la Direction des affaires réglementaires élabore des lois, des règlements et des politiques visant la sécurité du réseau de transport ferroviaire. Le Programme de surveillance de la sécurité ferroviaire est chargé de suivre les compagnies de chemin de fer sous réglementation fédérale, de transport de passagers et de marchandises, et de confirmer qu'elles se conforment aux règles et aux règlements et règlent les situations de non-conformité cernées. Les compagnies qui respectent leurs obligations devraient mener à un comportement sécuritaire et à une atténuation des risques liés aux principaux domaines de surveillance, ce qui appuie l'objectif global consistant à avoir un réseau de transport ferroviaire sécuritaire.

Description longue

Cette figure montre un modèle logique simplifié de la sécurité ferroviaire. Il commence par la réglementation, qui mène aux activités de surveillance de la Direction générale. Les activités de surveillance visent à confirmer la conformité avec les règles et les règlements pertinents. La conformité devrait entraîner un comportement sécuritaire et une réduction des risques, ce qui contribuera à la sécurité du réseau de transport ferroviaire dans son ensemble. Les hypothèses qui sous-tendent cette logique de programme sont les suivantes : les inspecteurs et les auditeurs sont adéquatement formés; les pratiques d'inspection et d'audit permettent de détecter avec exactitude les cas de non-conformité; les compagnies peuvent raisonnablement mettre en œuvre et respecter des règlements; les compagnies connaissent et acceptent les exigences; les règles et les règlements, s'ils sont suivis, permettent de régler les problèmes et d'améliorer la sécurité; les responsables de la sécurité ferroviaire cernent et ciblent avec exactitude les risques.

Il est important de noter que même si la conformité est une étape clé dans cette chaîne de résultats, il ne s'agit pas de l'unique facteur contributif à la sécurité du réseau de transport ferroviaire; d'autres facteurs comme la technologie, les conditions environnementales et la culture au sein des compagnies ont une incidence sur les résultats en matière de sécurité. De plus, la sécurité ferroviaire est une responsabilité partagée entre TC et d'autres intervenants (comme les compagnies de chemin de fer, les autorités responsables du service de voirie et le grand public).

1.3.2 Activités de surveillance

La Direction générale de la sécurité ferroviaire encourage, surveille et met en application les mesures de conformité et de sécurité. Les activités de surveillance officielles comprennent les inspections et les audits.

Inspections

Il existe trois types d'inspections :

• Inspections aléatoires ou de la composante A, qui sont des inspections prévues de sites choisis au hasard;
• Inspections fondées sur les risques ou de la composante B, qui sont des inspections prévues liées à des enjeux propres à la gestion de la sécurité et du programme;
• Inspections réactives ou de la composante C, qui sont des inspections non prévues qui peuvent être des suivis (c.-à-d. effectuées au besoin pour vérifier si les enjeux ont été réglés), des inspections d'occasion (c.-à-d. effectuées pendant une inspection prévue sur place, si le temps le permet), ou être fondées sur des enjeux nouveaux.

Les activités d'inspection comprennent une réunion sur place avec la compagnie pour expliquer la portée et répondre aux questions, l'inspection elle-même et une réunion finale afin de discuter des résultats. Pendant l'inspection, l'inspecteur vérifie la conformité à des règles et à des règlements précis. Les détails et les constatations de l'inspection sont consignés dans la Passerelle intégrée de la sécurité ferroviaire (PISF). Si des défauts (c.-à-d. non-conformités) sont constatés, une lettre de non-conformité est envoyée. Si d'autres préoccupations en matière de sécurité sont constatées, une lettre de préoccupation est envoyée. La compagnie de chemin de fer doit répondre en prenant les mesures correctives prévues. Les inspecteurs sont responsables de déterminer si la mesure corrective est suffisante. Les inspecteurs peuvent également cerner des risques potentiels ou imminents compromettant la sécurité qui nécessitent une mesure immédiate.

Audits

Les inspections du système de gestion de la sécurité (SGS) des compagnies de chemin de fer sont appelées audits. Les audits visent à cerner les lacunes du SGS d'une compagnie et à vérifier la conformité au Règlement de 2015 sur le système de gestion de la sécurité ferroviaire. Un SGS est un système visant à gérer la sécurité et à permettre la prise de décisions fondée sur les risques; il comprend divers processus conçus pour cerner les préoccupations et gérer les événements ainsi que les connaissances au sein d'une compagnie.

Un audit comprend habituellement une analyse environnementale de la compagnie et de son contexte opérationnel, un examen des documents, des constatations et des entrevues. Un audit peut relever des non-conformités de même que des lacunes : le premier cas se produit lorsqu'une exigence réglementaire n'a pas été respectée alors que le second s'applique lorsqu'une compagnie de chemin de fer s'est conformée, mais qu'il y a des lacunes ou que la compagnie n'a pas exécuté entièrement un processus ou une procédure. Après un audit, un rapport d'audit est rédigé et transmis à la compagnie de chemin de fer. Ensuite, la compagnie de chemin de fer doit élaborer un plan de mesures correctives.

1.3.3 Planification de la surveillance

La Sécurité ferroviaire met en œuvre une procédure de planification des activités fondée sur les risques (PAFR). Ce processus définit les priorités nationales et régionales ainsi que le nombre d'inspections prévues pour chaque secteur fonctionnel. Les enjeux sont cernés en fonction des données clés comme les données sur les événements du Bureau de la sécurité des transports du Canada (BST), les données sur les inspections et les audits, les plaintes et les demandes de renseignements, et enfin les soumissions au titre du Règlement sur les renseignements relatifs au transport. Une série de réunions sont tenues à l'échelle régionale et au sein de secteurs fonctionnels pour discuter des enjeux, des niveaux de risque et des activités proposées, et les cerner. Le plan est ensuite approuvé par la haute direction.

La Sécurité ferroviaire a mis en œuvre sa procédure de PAFR pour la première fois en 2007^{Footnote 3}. Un cadre d'échantillonnage amélioré a été conçu en 2012 et a été mis en œuvre par la suite en 2014, partiellement en réponse à l'audit sur la surveillance de la sécurité ferroviaire de 2013 du BVG. Ce cadre comprenait des recommandations pour la répartition des ressources pour trois composantes : A (prévues proactives), B (prévues réactives) et C (enjeu émergent et occasion non prévus)^{Footnote 4}. En 2017, la Sécurité ferroviaire a travaillé à peaufiner ses méthodes d'échantillonnage et a mis en œuvre sa nouvelle procédure de planification fondée sur les risques en 2018-2019^{Footnote 5}. Les changements apportés comprenaient une réduction du nombre d'inspections de la composante A au profit des inspections de la composante B, et des analyses de risques mises à jour. L'audit de suivi de 2021 du BVG a constaté que la Sécurité ferroviaire avait amélioré sa planification fondée sur les risques et augmenté le nombre d'inspections fondées sur les risques.

2. Constatations et observations

Les constatations ci-dessous visent à répondre de la façon la plus directe possible au défi du BVG qui consiste à déterminer la mesure dans laquelle les activités de surveillance de TC à l'égard des compagnies de chemin de fer ont amélioré la conformité et la sécurité.

L'attribution et la quantification de la partie du résultat de la conformité attribuable aux activités de surveillance de TC est une entreprise presque impossible, et encore plus lorsqu'il s'agit des résultats en matière de sécurité. Cela s'explique par le fait que de nombreux autres facteurs influent également sur ces résultats, comme notre examen d'ouvrages faisant autorité et nos entrevues le corroborent. TC n'est pas seul; notre évaluation a confirmé que d'autres importants organismes de réglementation sur la sécurité ferroviaire ont également eu du mal à relever ce défi.

C'est dans ce contexte que nous avons planifié notre méthodologie. Nous avons accordé la priorité à l'analyse quantitative, en gardant à l'esprit la mise en garde du vérificateur général à la réunion du Comité permanent des comptes publics^{Footnote 6} tenue le 6 mai 2021 au sujet de la dépendance excessive à l'égard des données empiriques. Notre priorité consistait donc à déterminer ce qui était réalisable à l'égard de l'analyse quantitative et de le mettre en œuvre au meilleur de notre capacité dans un délai raisonnable.

Nous présentons d'abord nos constatations à l'égard de la contribution des activités de surveillance de la Sécurité ferroviaire à la conformité et à la sécurité, suivis d'une discussion sur la façon dont d'autres pays débattent cette question.

2.1 Efficacité des activités de surveillance de Transports Canada

2.1.1 Conformité

Les sources de données suivantes orientent nos constatations sur les contributions de la Surveillance de la sécurité ferroviaire à la conformité des compagnies de chemin de fer aux dispositions réglementaires :

• Analyse statistique d'inspections aléatoires et fondées sur les risques du groupe fonctionnel de la Voie;
• Entrevues auprès d'intervenants internes et externes;
• Examen dans la littérature des déterminants clés de la conformité et relation entre la surveillance et la conformité;
• Examen des documents de programme liés aux procédures de planification, aux méthodologies de mesure des risques et aux procédures d'inspection.

Résultats en matière de conformité

La Surveillance de la sécurité ferroviaire est chargée de surveiller les compagnies de chemin de fer et de vérifier si elles sont conformes à la Loi sur la sécurité ferroviaire et aux règlements, règles et normes connexes. Pour mesurer la conformité, le Programme suit les taux de non-conformité ou de défauts dans chaque secteur fonctionnel. Cette démarche permet de déterminer la mesure dans laquelle les compagnies de chemin de fer respectent les exigences réglementaires et dans laquelle la Surveillance de la sécurité ferroviaire détecte les problèmes.

En général, les taux de défauts sont calculés en utilisant les résultats des inspections aléatoires, puisque ceux-ci doivent servir de représentation impartiale de l'industrie dans son ensemble.

Les données internes de TC indiquent que les taux de défauts de la plupart des groupes fonctionnels sont demeurés stables ou ont diminué depuis 2015-2016 (voir la figure 2 et la figure 3). Nous fondons nos constatations sur deux méthodes différentes de calculer un taux de défauts.

Dans l'une des méthodes, le taux est obtenu en divisant le nombre d'inspections ayant relevé un défaut ou plus par le nombre total d'inspections effectuées^{Footnote 7}. Cette méthode nous permet de constater que les taux de défauts de l'Équipement et de la Voie ont diminué entre 2015-2016 et 2021-2022 et sont demeurés relativement stables pour les Signaux et l'Exploitation (figure 2). Le taux de défauts des Passages à niveau a augmenté, ce qui laisse entendre que la proportion des inspections non conformes a augmenté. Nous constatons que cette méthode ne fait pas la distinction entre une inspection relevant un défaut et une autre relevant plusieurs défauts.

Description longue

Cette figure est un graphique linéaire qui montre les taux de défauts pour chaque groupe fonctionnel par exercice, de 2015-2016 à 2021-2022. Dans ce graphique, les taux de défauts sont fondés sur le nombre d'inspections au cours desquelles un ou plusieurs défauts ont été constatés divisé par le nombre total d'inspections. Pour la plupart des groupes fonctionnels, à l'exception des Passages à niveau, le taux de défauts a diminué ou est demeuré stable.

Le taux de défauts pour les Passages à niveau était de 25,5 % en 2015-2016, de 42,6 % en 2016-2017, de 50,7 % en 2017-2018, de 37,9 % en 2018-2019, de 43 % en 2019-2020, de 45,9 % en 2020-2021 et de 44,4 % en 2021-2022.

Le taux de défauts pour les Signaux était de 78,2 % en 2015-2016, de 80,7 % en 2016-2017, de 89 % en 2017-2018, de 89,4 % en 2018-2019, de 85,8 % en 2019-2020, de 78 % en 2020-2021 et de 79,2 % en 2021-2022.

Le taux de défauts pour la Voie était de 13,4 % en 2015-2016, de 16,3 % en 2016-2017, de 10,2 % en 2017-2018, de 7,8 % en 2018-2019, de 7,2 % en 2019-2020, de 7,1 % en 2020-2021 et de 5,4 % en 2021-2022.

Le taux de défauts pour l'Exploitation était de 9,9 % en 2017-2018, de 9,5 % en 2018-2019, de 12,4 % en 2019-2020, de 6,2 % en 2020-2021 et de 7,1 % en 2021-2022.

Le taux de défauts pour l'Équipement était de 27,3 % en 2015-2016, de 24,3 % en 2016-2017, de 28,3 % en 2017-2018, de 18,6 % en 2018-2019, de 21,3 % en 2019-2020, de 19,2 % en 2020-2021 et de 16,4 % en 2021-2022.

Au moyen d'une autre méthode utilisée actuellement pour rendre compte à la haute direction de la Sécurité ferroviaire, une moyenne pondérée égale des taux de défauts de toutes les inspections est divisée par le nombre total d'inspections. Ce calcul démontre que les taux des Passages à niveau, des Signaux, de l'Exploitation et de la Voie ont diminué de façon générale entre 2015-2016 et 2021‑2022, démontrant des améliorations de la conformité globale (figure 3). Le taux de défauts pour les opérations est resté relativement stable avec cette méthode. Le taux de défauts de l'Équipement a augmenté, ce qui signifie que le taux de défauts moyen par inspection a augmenté. Nous constatons que, contrairement à la méthode précédente, celle-ci fait la distinction entre une inspection relevant un défaut et une autre qui en relève de nombreux. Toutefois, nous constatons également qu'une méthode n'est pas nécessairement meilleure que l'autre, et que la méthode à utiliser est fonction des besoins d'information de la Sécurité ferroviaire.

Description longue

Cette figure est un graphique linéaire qui montre les taux de défauts pour chaque groupe fonctionnel par exercice, de 2015-2016 à 2021-2022. Dans ce graphique, les taux de défauts sont fondés sur une moyenne pondérée de manière égale des défauts divisée par le nombre total d'inspections. Pour la plupart des groupes fonctionnels, à l'exception de l'Équipement, le taux de défauts a diminué ou est demeuré stable.

Le taux de défauts pour les Passages à niveau était de 2,8 % en 2015-2016, de 9 % en 2016-2017, de 5,9 % en 2017-2018, de 3,2 % en 2018-2019, de 3,2 % en 2019-2020, de 3,5 % en 2020-2021 et de 1,4 % en 2021-2022.

Le taux de défauts pour les Signaux était de 6,4 % en 2015-2016, de 22,7 % en 2016-2017, de 7 % en 2017-2018, de 7,3 % en 2018-2019, de 8,7 % en 2019-2020, de 6,7 % en 2020-2021 et de 4,1 % en 2021-2022.

Le taux de défauts pour la Voie était de 11,3 % en 2015-2016, de 19,1 % en 2016-2017, de 11 % en 2017-2018, de 8,8 % en 2018-2019, de 10,1 % en 2019-2020, de 8,9 % en 2020-2021 et de 5,7 % en 2021-2022.

Le taux de défauts pour l'Exploitation était de 1,1 % en 2017-2018, de 0,6 % en 2018-2019, de 0,7 % en 2019-2020, de 0,3 % en 2020-2021 et de 0,3 % en 2021-2022.

Le taux de défauts pour l'Équipement était de 14,3 % en 2015-2016, de 10,5 % en 2016-2017, de 10,2 % en 2017-2018, de 17,4 % en 2018-2019, de 15,3 % en 2019-2020, de 22 % en 2020-2021 et de 17,2 % en 2021-2022.

Il existe une troisième méthode pour calculer les taux de défauts, qui tient compte du rapport entre le nombre total de défauts pour toutes les inspections, qui est divisé par le nombre total de vérifications de la logique^{Footnote 8} effectuées pour toutes les inspections^{Footnote 9}. Toutefois, cette méthode n'est généralement plus utilisée par la Sécurité ferroviaire, puisqu'en additionnant tous les défauts et les vérifications de la logique, le taux de défauts est probablement biaisé et plus petit que ce qui s'est réellement produit dans le système.

Contribution de Transports Canada à la conformité

L'examen de la littérature et les entrevues auprès des intervenants démontrent qu'un ensemble complexe de variables a une incidence sur la conformité ou non d'une entité réglementée. Bien que ces sources de données ne fournissent pas des preuves quantitatives de la mesure dans laquelle les activités de surveillance de TC ont une incidence sur l'application des règlements, elles fournissent des commentaires utiles et un contexte qui permettent de comprendre le lien entre la surveillance et la conformité.

Les sciences du comportement et les études sur le terrain permettent d'établir que la conformité se résume à savoir si une entité réglementée connaît et comprend les règles, veut s'y conformer et est en mesure de le faire^{Footnote 10}. La peur de se faire prendre et d'être puni, la pression liée à l'atteinte à la réputation et un sens général du devoir justifient généralement la conformité^{Footnote 11}. La liste des 11 facteurs fréquemment mentionnée (tableau 1 ci-dessous) regroupe les déterminants de conformité en catégories de conformité spontanée (c.-à-d. conformité volontaire sans application de la loi), les dimensions du contrôle (c.-à-d. l'influence d'une détection possible) et les dimensions des sanctions (c.-à-d. l'influence de l'application de la loi en cas de non-conformité)^{Footnote 12}. Entre autres facteurs, le risque d'une inspection, le risque de détection, et le risque et la gravité des mesures d'application^{Footnote 13} jouent un rôle important dans la conformité des entités réglementées.

Tableau 1. Liste des 11 facteurs – déterminants clés de conformité

Spontané	Contrôle	Sanctions
Connaissance des règles Coûts et avantages Acceptation des règles Volonté de se conformer à la loi Détection informelle menant à des sanctions informelles (p. ex., atteinte à la réputation)	Probabilité de détection informelle Probabilité d'être assujetti à une inspection Probabilité de la détection d'une infraction pendant l'inspection Probabilité d'être sélectionné en fonction de l'analyse des risques	Possibilité de l'imposition d'une sanction après la détection Gravité et type de sanction

Nous avons examiné plus en détail avec les personnes que nous avons interrogées à l'interne et à l'externe les facteurs qui, selon eux, ont une incidence positive et négative sur la conformité des compagnies de chemin de fer aux dispositions réglementaires. Leurs commentaires reprenaient en grande partie la documentation sur la conformité. Les personnes interrogées ont fait mention des variables suivantes :

• La présence sur place d'inspecteurs et d'auditeurs de la Sécurité ferroviaire;
• Les défis liés au roulement du personnel et à la dotation dans une compagnie de chemin de fer;
• Les niveaux d'expérience et la formation du personnel ferroviaire, et la compréhension générale de la façon d'interpréter les règlements;
• Les ressources financières d'une compagnie qui sont particulièrement pertinentes dans un secteur à faible marge;
• Les considérations commerciales, comme l'efficacité de l'exploitation et la perception du public;
• La présence de superviseurs ou de gestionnaires ferroviaires sur place;
• L'emplacement géographique de la voie ferrée ou du triage (c.-à-d. corridors importants par rapport aux lignes secondaires, régions éloignées, etc.).

Plusieurs (n=5) personnes interrogées à l'interne ont mentionné que la présence d'un inspecteur sur place encourage la conformité et un comportement approprié, tout comme la présence policière a une incidence sur le comportement des conducteurs sur une autoroute. Cela est particulièrement pertinent dans le contexte d'exploitation où des inspecteurs observent habituellement sur place les employés de compagnie de chemin de fer effectuer leurs tâches.

Les inspecteurs et les auditeurs ont également échangé diverses anecdotes de non-conformité qu'ils avaient détectées et qui ont par la suite été corrigées en raison des activités d'inspection ainsi que les mesures correctives requises de la part des compagnies de chemin de fer. Bien que quelques (n=3) participants interrogés aient indiqué que le personnel des compagnies de chemin de fer veut bien faire son travail, d'autres ont souligné le fait que la présence d'inspecteurs est essentielle pour éviter la complaisance.

La plupart des personnes interrogées à l'externe (10 sur 12 représentants de compagnie l'ont mentionné) ont indiqué que les activités d'inspection et d'audit contribuent à la capacité de leur compagnie de se conformer, mais il ne semblait pas y avoir de consensus sur l'importance de cette contribution. Elles ont souligné que la Surveillance de la sécurité ferroviaire effectue de la surveillance afin de cerner des enjeux que leur compagnie aurait pu autrement avoir omis. Les interactions avec le personnel de la Sécurité ferroviaire représentent également une occasion d'apprentissage pour les employés de compagnie de chemin de fer, que ce soit dans le cadre d'une inspection ou d'un audit officiel, ou encore de conversations informelles.

Un certain nombre de participants interrogés ont soulevé la question de l'uniformité dans le cadre d'une discussion sur la conformité. Certains règlements et règles sont sujets à interprétation, surtout dans le contexte du SGS, ce qui peut s'avérer une source de confusion pour les compagnies de chemin de fer, les inspecteurs et les auditeurs. Deux personnes interrogées à l'interne et à l'externe ont remarqué les disparités d'une région à l'autre, ou d'un inspecteur ou d'un auditeur à l'autre, en ce qui concerne la réalisation des inspections et l'interprétation des règles. Plusieurs facteurs peuvent expliquer cette situation. Par exemple, les inspecteurs ont des connaissances et des antécédents différents et peuvent donc avoir une interprétation différente de la même règle. De même, une personne interrogée a mentionné que les procédures d'inspection sont quelque peu générales et qu'elles peuvent prêter à interprétation. Il a également été noté que certaines régions peuvent imposer plus ou moins de sanctions administratives pécuniaires (SAPs) que d'autres. Bien que ce soit considérée comme un défi, les éléments de preuve recueillis lors des entrevues ne montrent pas que l'uniformité nuise considérablement à la conformité. Certains (n=4) inspecteurs ont indiqué que les camps de formation et les réunions à l'interne ont amélioré l'uniformité.

Dans le but de mesurer les répercussions des inspections sur la conformité, l'équipe d'évaluation, en collaboration avec des spécialistes des risques, a mené une analyse quantitative des résultats des inspections afin d'évaluer le rendement de différents types d'inspection ainsi que le risque au fil du temps. Les résultats de notre analyse sont présentés ci-dessous.

La Surveillance de la sécurité ferroviaire a concentré ses efforts sur ses inspections fondées sur les risques depuis quelques années : 75 % des activités de surveillance prévues en 2020-2021 étaient fondées sur les risques par rapport à 25 % en 2015-2016.

Afin d'évaluer l'incidence de ces efforts accrus sur les inspections fondées sur les risques, l'équipe d'évaluation, en collaboration avec des spécialistes des risques^{Footnote 14}, a mené une analyse statistique qui a comparé les inspections fondées sur les risques et les inspections aléatoires (voir l'encadré 1). Nous voulions savoir si les inspections fondées sur les risques donnaient de meilleurs résultats que les inspections aléatoires. Nous avons défini meilleur rendement comme étant la capacité à cerner les cas de non-conformité à risque plus élevé. Si la Surveillance de la sécurité ferroviaire est en mesure de cerner une partie plus importante des cas de non‑conformité à risque plus élevé, elle peut donc régler ces cas et réduire une partie plus importante du risque au sein du réseau de transport ferroviaire. Cela justifierait l'accent accru mis par la Sécurité ferroviaire sur les inspections fondées sur les risques.

L'analyse a révélé que sur cinq des six années entre 2016 et 2021, les inspections fondées sur les risques du groupe fonctionnel de la Voie (B) ont fréquemment surpassé les inspections aléatoires (A) :

• Lors de cinq des six années, les inspections fondées sur les risques ont permis de relever un plus grand nombre de cas de non-conformité critiques par inspection (figure 4) et par mille de voie ferrée inspecté (figure 5) que les inspections aléatoires.
• Les cas de non-conformité présentaient des cotes de risque plus élevées par inspection (figure 6) et par mille de voie ferrée inspecté (figure 7) que ceux relevés par les inspections aléatoires.

Les résultats suggèrent que les inspections fondées sur les risques réussissent à relever un plus grand nombre de cas de non-conformité plus risqués. Il s'agit d'une première indication que la réalisation d'un plus grand nombre d'inspections fondées sur les risques est un pas dans la bonne direction pour la Sécurité ferroviaire, puisque la détermination et l'élimination des cas de non‑conformité à risque élevé lui permettent d'aider à réduire le risque dans le réseau de transport ferroviaire.

Ceci étant dit, la tendance observée manque de signification statistique (voir le tableau 2 à l'annexe B), ce qui signifie que nous ne pouvons pas affirmer actuellement que la raison pour laquelle les inspections fondées sur les risques ont surpassé les inspections aléatoires est due à autre chose que le fruit du hasard. Nous devons toutefois souligner que l'accent mis par la Sécurité ferroviaire sur les inspections fondées sur les risques est un phénomène relativement nouveau, ce qui signifie qu'il n'y avait pas autant d'années de données disponibles que nous l'aurions voulu pour notre analyse. À l'heure actuelle, les résultats de l'analyse statistique suggèrent uniquement une tendance, laquelle pourrait être confirmée au fur et à mesure que des années de données supplémentaires deviendront disponibles.

L'équipe d'évaluation a abordé l'analyse statistique d'une autre façon, utilisant cette fois les données d'inspection d'une seule année. L'équipe d'évaluation a utilisé des données de 2019^{Footnote 15}. La réalisation d'une analyse à un niveau plus détaillé, comme la comparaison d'inspections individuelles plutôt que de moyennes annuelles, offre plus de points de données (415 par rapport aux 12), et par conséquent, plus de puissance statistique. Cependant, cette analyse exige également plus de variables de contrôle pour tenir compte d'autres facteurs qui peuvent avoir une incidence sur les inspections et qui ne sont pas pertinents à une plus grande échelle (p. ex., tendances météorologiques ou répercussions saisonnières), ce qui est un inconvénient majeur lorsque l'on se concentre sur une seule année de données d'inspections.

Les résultats de l'analyse, qui consistait à effectuer une régression linéaire multiple pour le nombre de défauts (tableau 3 à l'annexe B) et la cote de risque relatif d'une inspection (tableau 4 à l'annexe B), n'ont pas permis de révéler une différence statistiquement significative entre les inspections fondées sur les risques et les inspections aléatoires. Les résultats du modèle montrent des signes des autres variables mentionnées dans le paragraphe précédent ayant une incidence sur les cotes de risque ^{Footnote 16}.

Nous avons peaufiné davantage notre analyse statistique en tenant compte du volume du trafic. L'analyse a démontré que les cas de non-conformité relevés au moyen des inspections fondées sur les risques avaient une cote de risque moyenne plus élevée pour trois des cinq années, par inspection et par mille de voie ferrée inspecté (figure 8, figure 9). Cependant, ces résultats manquaient également de signification statistique (voir le tableau 2 à l'annexe B).

À l'appui de ces analyses statistiques, les résultats des entrevues (n=11 inspecteurs et gestionnaires, n=6 auditeurs et gestionnaires du SGS) ont généralement démontré un soutien à l'égard du ratio actuel d'inspections fondées sur les risques par rapport aux inspections aléatoires, assurant un processus plus uniforme et plus robuste qui équilibre la perspective nationale avec les connaissances régionales. Cependant, d'autres ont cerné un besoin concernant des données de meilleure qualité, une plus grande capacité régionale pour l'analyse des risques et la prise en compte d'un plus grand nombre de variables dans le processus de mesure des risques. Le dernier point correspond à nos constatations dans notre analyse statistique. Bien que les données suggèrent que les inspections fondées sur les risques puissent surpasser les inspections aléatoires, des années supplémentaires de données seront nécessaires pour confirmer les résultats de façon plus concluante. En outre, des facteurs de risque et des variables supplémentaires seraient déterminés et pris en compte dans les analyses futures, où les cotes de risque pourraient être validées et renforcées en sollicitant davantage l'opinion des experts. Notre analyse fournit un cadre que la Sécurité ferroviaire pourrait peaufiner, et sur lequel elle pourrait s'appuyer davantage.

En plus de l'analyse statistique ci-dessus qui suggère que les inspections fondées sur les risques pourraient améliorer l'efficacité de la surveillance, les éléments de preuve recueillis lors des entrevues ont souligné l'éducation de l'industrie comme étant un autre aspect important de la surveillance.

Les conversations avec les inspecteurs et les auditeurs ont révélé que les activités d'éducation et de sensibilisation pour l'industrie et, dans certaines circonstances, pour le public, font partie de leurs rôles, bien qu'elles ne soient pas nécessairement structurées ou formellement suivies. Au cours des activités de surveillance, les inspecteurs et les auditeurs passent en revue les règles ou règlements, soulignent les changements et s'assurent que le personnel ferroviaire connaît et comprend ces exigences, leurs rôles, les pratiques exemplaires et les principaux enjeux. En dehors des activités, les compagnies de chemin de fer peuvent communiquer avec le personnel de la Sécurité ferroviaire pour poser des questions ou demander des présentations. Des séances d'information formelles sont également tenues à l'occasion, comme lors de la publication d'un nouveau règlement ou d'une nouvelle règle. Les régions peuvent prendre des approches différentes, car les activités d'éducation et de sensibilisation ne sont pas un processus formalisé, mais certaines personnes interrogées (n=4 des 6 personnes ayant discuté du temps alloué) ont laissé entendre qu'il s'agit d'une partie importante de leur travail.

Même s'il peut être complexe de mesurer les répercussions des activités d'éducation et de sensibilisation, les participants internes et externes aux entrevues ont souligné la valeur de l'éducation par le biais de ces interactions et discussions. Certains (n=4) intervenants externes ont indiqué apprécier leurs relations avec le personnel de la Sécurité ferroviaire. La Surveillance de la sécurité ferroviaire et les Affaires réglementaires sont disponibles pour répondre aux questions et discuter des interprétations des règles et des règlements. Les intervenants ont généralement (n=4 des 7) affirmé que la Sécurité ferroviaire est réactive.

« Les interactions les plus précieuses sont les inspections sur le terrain, le temps en personne avec les inspecteurs, où ils peuvent voir les défis et communiquer leurs idées. Ce niveau de compréhension aide énormément. »

Les inspecteurs sont perçus comme étant compétents et comme étant des sources d'information clé pour le personnel ferroviaire. Les discussions ayant lieu pendant les inspections et les audits sont considérées comme étant une possibilité d'apprentissage.

Cet aspect de la surveillance est reflété dans les documents décrivant le rôle des organismes de réglementation. Par exemple, la boîte à outils de l'OCDE sur le contrôle et la mise en œuvre de la réglementation énumère la promotion de la conformité, y compris les documents d'orientation, la sensibilisation active et les conseils sur le terrain, comme l'un des principes clés^{Footnote 17}. Divers autres organismes de réglementation au Canada (p. ex., l'Agence d'évaluation d'impact du Canada, l'Agence canadienne d'inspection des aliments) citent la promotion de la conformité – comme l'échange de renseignements lors des interactions quotidiennes, et la diffusion de publications – comme faisant partie de leurs rôles. TC reconnaît l'éducation et la sensibilisation comme faisant partie de son rôle. Par exemple, dans le Plan national de surveillance intégré, l'éducation, le rayonnement et la sensibilisation sont indiqués à titre d'éléments du travail des programmes de sécurité et de sûreté, même si ces activités sont souvent informelles et qu'elles ne bénéficient pas de financement particulier, comme c'est le cas pour la Sécurité ferroviaire^{Footnote 18}.

Il s'agit également de l'une des hypothèses sous-jacentes de la logique du programme précédemment présentée (voir la figure 1) : les compagnies de chemin de fer connaissent et comprennent les règlements auxquels elles doivent se conformer.

Quelques (n=3) personnes interrogées ont indiqué que davantage de discussions et de collaboration entre l'industrie et l'organisme de réglementation seraient utiles, et qu'il y a des possibilités pour bâtir la confiance et acquérir des connaissances. Deux intervenants ont indiqué que les interactions avec les inspecteurs locaux ont été peu fréquentes, ce qui est possiblement partiellement dû à la pandémie de COVID-19 des dernières années. Au-delà des séances d'information pour les nouvelles exigences, du soutien continu et des séances de formation sur les interprétations et les rôles pourraient être utiles, surtout pour les nouveaux employés qui se joignent à l'industrie.

2.1.2 Sécurité

Les sources de données suivantes orientent nos constatations sur les contributions de la Surveillance de la sécurité ferroviaire à la sécurité du réseau de transport ferroviaire :

• Analyse statistique des éléments suivants :
  • La relation entre les modifications de la réglementation et les tendances des données sur les événements au fil du temps,
  • Les inspections aléatoires et fondées sur les risques du groupe fonctionnel de la Voie;
• Entrevues auprès d'intervenants internes et externes;
• Examen de la littérature sur la culture de la sécurité et d'autres facteurs qui contribuent à la sécurité.

Résultats en matière de sécurité

L'objectif ultime de la Surveillance de la sécurité ferroviaire est d'assurer un réseau de transport ferroviaire sécuritaire. Les paramètres actuels de sécurité comprennent les taux d'accidents, d'incidents, de décès et de blessures graves. Les données du Bureau de la sécurité des transports du Canada (BST) révèlent que, de façon générale, la sécurité dans l'industrie ferroviaire s'est améliorée au fil du temps. Les accidents à signaler^{Footnote 19} suivent une tendance à la baisse depuis 2000, et cette tendance est particulièrement évidente lorsque l'on tient compte du volume du trafic (figure 10). Les incidents à signaler ont augmenté en 2014 et 2015, mais, dans l'ensemble, le taux d'incidents par million de tonnes a diminué (figure 11). Des détails du BST indiquent qu'un plus grand nombre de déraillements en voie non principale se produisent que d'autres types d'accidents et d'incidents, et que les accidents en voie non principale sont généralement mineurs.

Le taux de décès et de blessures graves par million de tonnes a également suivi une tendance à la baisse au fil du temps (figure 12 et figure 13). Les données montrent que les blessures graves et les décès sont fréquemment attribuables à des accidents liés à des intrusions ou à des passages à niveau.

Contribution de Transports Canada à la sécurité

Les entrevues ont fait ressortir qu'il est difficile de déterminer directement l'incidence des activités de surveillance sur la sécurité. En général, il était convenu que la surveillance contribue à la conformité, et que la conformité est importante pour la sécurité. Après tout, comme certains (n=4) l'ont mentionné, les règles sont en place parce qu'elles visent à avoir un effet sur la sécurité. Cependant, comme l'un des participants l'a indiqué :

« Nous ne savons jamais exactement combien d'accidents nous contribuons à prévenir. Vous savez que vous avez un impact [en voyant les changements] et que vous faites une différence, mais vous ne savez pas combien d'accidents vous évitez. »

En ce qui concerne les participants aux entrevues, même si beaucoup (n=26) d'entre eux estimaient que la surveillance est importante, sa contribution à la sécurité était moins évidente que celle de la conformité. Comme pour les discussions sur le lien entre la surveillance et la conformité, les inspecteurs et les auditeurs ont raconté des anecdotes liées aux corrections et aux améliorations précises qu'ils ont observées à la suite de leurs activités de surveillance. En ce qui concerne les participants externes aux entrevues, les commentaires positifs étaient souvent liés à la collaboration et à l'éducation, indiquant que celles-ci contribuent à améliorer la sécurité. Il y a de la valeur dans les discussions entre l'industrie et l'organisme de réglementation au sujet des exigences réglementaires, des préoccupations en matière de sécurité et des tendances.

Même si les entrevues ont permis de fournir des commentaires utiles et un contexte, les analyses statistiques ont offert des éléments de preuve préliminaires d'une relation entre le travail de la Sécurité ferroviaire et les résultats en matière de sécurité.

Une hypothèse dans la logique du programme de la Surveillance de la sécurité ferroviaire est que les règles et les règlements faisant l'objet d'activités de surveillance et d'application de la loi sont ceux qui, s'ils sont respectés, auront une incidence positive sur les résultats en matière de sécurité.

En 2021, à la demande de l'équipe d'évaluation, l'équipe des analyses multimodales a entrepris une analyse de la relation entre « la contrainte réglementaire » (l'action d'être contraint de se conformer à un règlement) et les données sur les événements ferroviaires (voir l'encadré 2)^{Footnote 20}. Plus précisément, l'analyse comparait les changements dans la contrainte réglementaire liée au domaine ferroviaire aux tendances des événements liés à la sécurité ferroviaire au fil du temps, en examinant l'obligation légale (p. ex., « doit ») dans la réglementation sur les transports du Canada.

Les données indiquent que le degré de contrainte dans les règlements était relativement constant jusqu'au milieu des années 2010 (figure 14). Au fil du temps, nous voyons une augmentation de la contrainte réglementaire et une diminution du nombre d'événements, ce qui suggère une relation possiblement négative entre l'obligation légale dans les règlements et les événements.

Description longue

Ce diagramme à barres montre le nombre de mentions obligatoires dans les règlements fédéraux relatifs à la sécurité ferroviaire de 2006 à 2021. Le nombre de mentions obligatoires est demeuré relativement stable jusqu'au milieu des années 2010, et on observe une augmentation de 2014-2015 à 2020-2021. Le nombre moyen de conditions réglementaires était de 801,5 en 2006-2007, de 791 en 2008-2009, de 791 en 2010-2011, de 802,5 en 2012-2013, de 914 en 2014-2015, de 1 033 en 2016-2017, de 1 368,5 en 2018-2019 et de 1 630 en 2020-2021.

Une étude plus approfondie de cette relation au moyen d'une série de tests statistiques a permis d'évaluer l'importance de la relation. Les analyses statistiques ont démontré que l'augmentation de l'obligation légale depuis environ 2015 est corrélée à la diminution des incidents (figure 15). Cependant, on ne peut pas en dire autant du taux d'accidents. Même si le taux d'accidents a diminué avant 2014, il est demeuré relativement stable par la suite et ne démontre pas la même relation avec la contrainte réglementaire (figure 16).

La relation déterminée entre la contrainte réglementaire et les incidents au fil du temps suggère que les règlements de la Sécurité ferroviaire ont une incidence. Il s'en suit que les activités de surveillance vérifiant la conformité à ces règlements jouent un rôle dans cette relation.

Nous constatons que cette analyse examine les règlements, mais pas les règles, qui sont également une partie importante du cadre de réglementation ferroviaire. Les règles sont des exigences « soumises par l'industrie et approuvées par le ministre des Transports^{Footnote 21} ». L'outil utilisé pour quantifier l'obligation légale a été élaboré précisément pour analyser le texte réglementaire du portail des lois et des règlements du ministère de la Justice Canada; par conséquent, il ne peut pas être étendu aux règles à l'heure actuelle. Les analyses futures pourraient étudier s'il existe aussi une relation observable entre les règles et les incidents ou les accidents.

En résumé, cette analyse a révélé une relation négative entre les règlements et les incidents depuis 2015, qui est la suivante : à mesure que la contrainte réglementaire augmente, le taux d'incidents diminue. La diminution observée du nombre d'accidents ne semblait pas être liée statistiquement aux changements apportés aux règlements, car la diminution s'est amorcée avant 2015. Il est possible que la diminution du nombre d'accidents soit liée aux règles ou à d'autres facteurs, ce qui pourrait être étudié lors d'analyses futures.

L'étude de cas des données d'inspection du groupe fonctionnel de la Voie a également permis d'examiner les changements dans les niveaux de risque au fil du temps (voir l'encadré 3). L'hypothèse qu'il y a une diminution dans les cotes de risque globales d'année en année – c'est-à-dire moins de cas de non-conformité à haut risque relevés au fil du temps – impliquerait qu'il y a eu une amélioration dans la sécurité des voies ferrées.

Selon le niveau de risque global par inspection par le groupe de la Voie, l'analyse a relevé qu'entre 2016 et 2018, un nombre croissant de cas de non-conformité critiques par inspection a été relevé, avec un pic en 2018 (figure 17). Depuis, moins de cas sont relevés, ce qui signifie que le niveau de risque global par inspection connaît une tendance à la baisse ces dernières années. La cote de risque par mille de voie ferrée inspecté (figure 18) montre aussi l'augmentation en 2018 et la diminution de la cote de risque depuis ce temps.

La prise en compte du volume du trafic avec ces données montre une diminution globale dans les cotes de risque pour ces mesures (figure 19 et figure 20).

Même si la diminution dans les cotes de risque depuis 2018 pourrait indiquer une amélioration récente dans la sécurité des voies ferrées, il n'y a pas suffisamment d'années de données pour déterminer si cela constitue une tendance. Même s'il n'est pas possible d'établir de conclusions définitives à ce stade, au fur à mesure que des années de données deviendront disponibles, le suivi du risque au fil du temps pourrait être utilisé à titre de mesure supplémentaire concernant les améliorations à la sécurité.

En résumé, les résultats décrivent les cotes de risque annuelles récentes pour les cas de non‑conformité relevés par le groupe fonctionnel de la Voie. Le fait de continuer de surveiller les cotes de risque au fil du temps permet de confirmer les tendances ainsi que la présence d'améliorations repérables dans la sécurité.

La sécurité au-delà de la conformité

Il est convenu de façon générale que la Surveillance de la sécurité ferroviaire contribue aux résultats en matière de sécurité par le biais de ses efforts visant à surveiller et à encourager la conformité. Cependant, même si la conformité aux règles et règlements est un élément contributeur à la sécurité, la conformité n'est pas le seul facteur déterminant de la sécurité. Les éléments de preuve recueillis au cours des entrevues ont permis de relever un certain nombre de limites quant au recours à la conformité à titre d'indicateur de sécurité :

• Les accidents peuvent être attribuables à une combinaison de conditions, plutôt qu'à un cas précis de non-conformité. Il se peut que toutes les conditions respectent les exigences minimales, mais qu'une combinaison de facteurs crée un moment d'échec.
• Une pièce d'équipement peut être conforme au moment de l'inspection, mais peut soudainement faire défaut en raison d'une défectuosité interne qui n'a pas été détectée.
• L'erreur humaine est toujours une possibilité.
• Certains contextes ou certaines nuances d'une activité individuelle ne sont pas explicitement visés par les règles et les règlements. Par exemple, certaines règles peuvent s'appliquer davantage au transport ferroviaire de marchandises qu'aux conditions d'un service de train de banlieue. De même, les ponts ne sont pas visés actuellement par un ensemble de dispositions réglementaires.
• Il y a des règles qui peuvent ou non être aussi importantes pour la sécurité; par conséquent, ce ne sont pas tous les cas de non-conformité qui sont une préoccupation majeure en matière de sécurité.

Les participants aux entrevues ont mentionné une variété d'autres facteurs, comme la technologie, les conditions environnementales, les niveaux d'expérience et de connaissances du personnel ferroviaire, le comportement du public, la culture de la compagnie, et le comportement humain et l'erreur humaine, qui ont tous une incidence sur la sécurité du réseau de transport ferroviaire. La littérature met en évidence des facteurs semblables, comme :

• Technologie : Les solutions technologiques novatrices comme le système de commande des trains améliorée (CTA), les enregistreurs audio-vidéo de locomotive (EAVL), les drones et les capteurs et détecteurs intelligents peuvent aider à réduire les erreurs humaines, à détecter les possibles problèmes mécaniques et à prévenir les collisions ou les déraillements^{Footnote 22}.
• Changement climatique et dangers d'ordre météorologique : Les changements de température, les phénomènes météorologiques extrêmes, la dégradation du pergélisol, et la hausse du niveau de la mer ont tous des répercussions sur l'intégrité du réseau de transport ferroviaire. Par exemple, la chaleur extrême et les changements au pergélisol peuvent avoir une incidence sur la stabilité de la voie ferrée^{Footnote 23}.
• Fatigue des travailleurs : La fatigue est un enjeu important pour les travailleurs de chemins de fer. La fatigue peut entraîner des répercussions importantes sur le rendement et le bien-être, et la gestion de celle-ci peut être difficile en raison des heures de travail imprévisibles, des quarts rotatifs, et des longues heures de travail^{Footnote 24}. TC a approuvé les nouvelles Règles relatives aux périodes de service et de repos du personnel d'exploitation ferroviaire en 2020, et continue de travailler sur une façon d'améliorer la gestion de la fatigue.
• Comportement du public : Le comportement des piétons, des conducteurs et des cyclistes et la prise en compte de la capacité de traitement humaine et du temps de prise de décisions peuvent entraîner des accidents aux passages à niveau ou le long de la voie^{Footnote 25}.

Cela se reflète dans les données sur les événements recueillies par le BST (figure 21). Les accidents et les incidents à signaler sont fréquemment attribuables à des facteurs humains dans l'exploitation des trains (p. ex., défaut de se conformer à la limite de vitesse, défaut de s'arrêter, aiguillage mal aligné, fatigue de l'employé, etc.) ou à des causes diverses comme les conditions météorologiques (p. ex., neige, glace, boue), le comportement du conducteur aux passages à niveau et les intrus.

Description longue

Ce graphique à colonnes empilées montre la proportion d'événements à signaler par type de cause de 2015 à 2021. Au cours de chaque année, deux types de causes représentent la plus grande proportion : « exploitation ferroviaire – facteur humain » et « causes diverses non précisées ». Cette dernière catégorie comprend les conditions environnementales ou météorologiques, les intrusions et les passages à niveau.

En 2015, environ 7 % des événements étaient attribuables à des défaillances mécaniques et électriques, 32 % à des causes diverses, 1 % aux signaux et aux communications, 17 % aux voies, aux routes et aux structures, et 43 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 1 % des événements.

En 2016, environ 7 % des événements étaient attribuables à des défaillances mécaniques et électriques, 35 % à des causes diverses, 1 % aux signaux et aux communications, 16 % aux voies, aux routes et aux structures, et 40 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 1 % des événements.

En 2017, environ 8 % des événements étaient attribuables à des défaillances mécaniques et électriques, 31 % à des causes diverses, moins de 1 % aux signaux et aux communications, 15 % aux voies, aux routes et aux structures, et 44 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 1 % des événements.

En 2018, environ 6 % des événements étaient attribuables à des défaillances mécaniques et électriques, 33 % à des causes diverses, moins de 1 % aux signaux et aux communications, 15 % aux voies, aux routes et aux structures, et 43 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 2 % des événements.

En 2019, environ 7 % des événements étaient attribuables à des défaillances mécaniques et électriques, 37 % à des causes diverses, moins de 1 % aux signaux et aux communications, 14 % aux voies, aux routes et aux structures, et 40 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 1 % des événements.

En 2020, environ 7 % des événements étaient attribuables à des défaillances mécaniques et électriques, 34 % à des causes diverses, moins de 1 % aux signaux et aux communications, 14 % aux voies, aux routes et aux structures, et 42 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 2 % des événements.

En 2021, environ 10 % des événements étaient attribuables à des défaillances mécaniques et électriques, 36 % à des causes diverses, moins de 1 % aux signaux et aux communications, 11 % aux voies, aux routes et aux structures, et 33 % à l'exploitation ferroviaire et à des facteurs humains, et il n'y avait pas de données ou des données étaient manquantes pour 11 % des événements.

Les facteurs humains et la culture organisationnelle sont difficiles à gérer au moyen de la réglementation prescriptive traditionnelle. Cependant, ceux-ci peuvent faire l'objet d'un suivi et être améliorés à l'aide du SGS d'une compagnie. Le système de gestion de la sécurité peut aller au-delà d'une approche axée sur la conformité à l'égard de la sécurité en mettant l'accent sur le rendement et en encourageant une culture qui favorise un comportement sécuritaire. Le SGS cherche aussi la cause fondamentale des incidents et permet à la compagnie de chemin de fer de régler les enjeux systémiques.

TC a mis en place des exigences dans le cadre du Règlement de 2015 sur le système de gestion de la sécurité ferroviaire afin que les compagnies de chemin de fer se munissent d'un SGS. Depuis la mise en œuvre, les audits sur la sécurité ferroviaire ont mis l'accent sur la garantie de la conformité, en confirmant que les compagnies ont un SGS en place avec tous les processus et les procédures exigés. Cependant, la conformité à ces exigences réglementaires ne garantit pas l'efficacité du SGS. Même si une compagnie a mis en place des processus, les auditeurs de la Sécurité ferroviaire doivent être en mesure de déterminer si ces processus sont utilisés et s'ils atteignent leurs objectifs attendus en pratique. Les évaluations précédentes de la Sécurité ferroviaire, y compris l'examen de la Loi sur la sécurité ferroviaire 2018 et le récent audit de suivi sur la sécurité ferroviaire 2021 effectué par le BVG, ont mentionné la nécessité que TC évalue l'efficacité des SGS.

Les travaux à ce sujet ont été amorcés par la Surveillance de la sécurité ferroviaire en 2020. Ceux-ci comprenaient l'établissement d'un cadre et d'une méthodologie à l'appui pour mesurer l'efficacité des SGS. La Sécurité ferroviaire a élaboré un outil d'évaluation à l'intention des auditeurs, lequel définit l'efficacité pour chaque processus des SGS et fournit des suggestions sur les questions à poser, les documents à demander, et des indicateurs possibles d'efficacité^{Footnote 26}. Un processus inefficace est noté comme étant une lacune, et non comme une non-conformité à un règlement, puisque « l'efficacité » ne fait pas partie des règlements.

Ce travail a eu lieu parallèlement à l'évaluation, et les audits sur l'efficacité ont commencé en 2022, alors l'évaluation n'a pas pu évaluer entièrement les contributions des audits sur les SGS aux résultats en matière de sécurité. Cependant, l'équipe d'évaluation a noté ce qui suit :

1. Une analyse des lacunes des SGS et des systèmes de gestion de la sûreté (SGSu) effectuée par la Direction générale des programmes de transport multimodal et de sécurité routière de TC a révélé que la Sécurité ferroviaire possède un cadre réglementaire solide en place pour les SGS.

2. Les audits sur les SGS menés par la Surveillance de la sécurité ferroviaire évoluent. Comme il est indiqué ci-dessus, il y a un revirement vers l'évaluation de l'efficacité. Plusieurs auditeurs (n=4) ont mentionné que le fait d'avoir les critères et l'outil d'évaluation pour l'efficacité sera utile. L'accent est également mis sur les audits ciblés afin d'aborder les principales préoccupations.

   Selon les entrevues, certains défis persistent malgré les progrès au chapitre des outils (p. ex., PISF et TeamMate), ainsi qu'un manque de compréhension perçu dans l'industrie et parmi les auditeurs du rôle des SGS. Deux intervenants externes ont aussi indiqué qu'afin de mieux soutenir une attitude d'amélioration continue, la Surveillance de la sécurité ferroviaire devrait encourager des cibles ambitieuses dans un SGS, même si les compagnies n'arrivent parfois pas à atteindre ces cibles internes.

3. Les groupes fonctionnels (c.-à-d. Voie, Équipement, Passages à niveau, Signaux et Exploitation) et les SGS sont distincts dans la structure de la Surveillance de la sécurité ferroviaire. Les auditeurs et les inspecteurs fonctionnels effectuent leurs activités de surveillance séparément et ne croisent pas d'autres secteurs au cours de leurs activités de surveillance. Cette façon de faire est différente de la structure au sein de l'Aviation civile de TC, où les inspecteurs sont chargés d'examiner les SGS également.

   De nombreuses personnes interrogées (n=9) ont indiqué que cette distinction est un défi pour l'échange de renseignements, la collaboration et le repérage et l'élimination des enjeux systémiques. Cela semble varier d'une région à l'autre, car certaines personnes interrogées ont mentionné la bonne collaboration et la bonne communication entre leurs équipes locales en raison des activités menées dans des locaux partagés et du travail en étroite collaboration (n=4), du bon leadership (n=5) et de la participation aux audits (n=3).

   Même si ces cloisonnements ont été soulignés, les entrevues ont également révélé que la collaboration et l'échange de renseignements entre les SGS et les groupes fonctionnels ont augmenté. Par exemple, l'ensemble du personnel de la Sécurité ferroviaire est invité aux comptes-rendus sur les audits, et le processus de planification des activités fondée sur les risques du programme a été mis à jour récemment pour inclure le personnel des SGS dans le processus de planification pour les secteurs fonctionnels. Comme indiqué, les audits ciblés ont aussi été soulignés comme étant une progression, puisque les inspecteurs peuvent participer et fournir des commentaires sur les enjeux clés.

2.1.3 Conclusion

L'audit de suivi sur la sécurité ferroviaire 2021 du BVG a fait remarquer que TC ne mesure pas l'efficacité globale de ses activités de surveillance, c'est-à-dire ses répercussions sur la conformité et la sécurité dans l'industrie ferroviaire. Selon nos analyses quantitatives, nous pouvons affirmer qu'il y a des éléments de preuve suggérant que les inspections fondées sur les risques de la Sécurité ferroviaire atteignent leurs objectifs, ce qui permet à cette dernière de cerner les cas de non‑conformité à risque élevé, et la place donc dans une position favorable pour éliminer davantage de risques dans le réseau de transport ferroviaire. Nous constatons aussi une relation entre la contrainte réglementaire accrue et la diminution du nombre d'incidents. De plus, nous suggérons que le suivi des cotes de risque puisse être une mesure de la sécurité au fil du temps.

Cependant, il existe d'importants défis méthodologiques dans la tentative de quantifier l'influence directe de la surveillance dans le contexte de divers autres facteurs qui touchent eux aussi la conformité et la sécurité.

En gardant cela à l'esprit, nous cherchons à comprendre si d'autres organismes de réglementation ferroviaire dans le monde ont été en mesure de surmonter ces obstacles méthodologiques et de mesurer les répercussions de la surveillance. Finalement, nous en sommes venus à la conclusion que TC n'est pas le seul à devoir relever ce défi. Les résultats de ce champ d'enquête de notre évaluation sont examinés ci-dessous.

2.2 Autres pays

L'équipe d'évaluation a mené des recherches approfondies afin de sélectionner des expériences et des pratiques exemplaires d'autres administrations, et a concentré ses efforts sur la mesure de l'efficacité et la démonstration de l'incidence de leurs activités de surveillance sur la sécurité ferroviaire. L'objectif était de situer TC par rapport aux autres organismes de réglementation ferroviaire. D'après la comparabilité du contexte opérationnel et de l'environnement réglementaire, nous avons sélectionné des organismes de réglementation ferroviaire dans trois pays aux fins d'examen :

• Federal Railroad Administration (FRA) – États-Unis
• Department for Transport (DfT) et l'Office of Rail and Road (ORR) – Royaume-Uni
• Office of the National Rail Safety Regulator (ONRSR) – Australie

Comme TC, d'autres organismes de réglementation font le suivi de la conformité et rendent compte des paramètres comme les accidents, les blessures et les décès afin d'évaluer les tendances en matière de sécurité et les progrès au fil du temps. En voici des exemples :

• La FRA transmet publiquement des données sur les accidents ferroviaires, les décès, les incidents aux passages à niveau et les incidents liés à des intrusions. En interne, l'organisme a modélisé le risque, tenu compte de la gravité des accidents et examiné l'analyse économique des conséquences pour chaque règle.
• L'ORR publie un rapport annuel sur la santé et la sécurité qui met en évidence le rendement au moyen du risque modélisé et des indices de préjudice réel (p. ex., décès et blessures) de même qu'au moyen de son Risk Management Maturity Model (RM3) qui évalue la capacité des compagnies de chemin de fer à gérer le risque et la sécurité.
• L'ONRSR publie des données sur les principaux événements ferroviaires comme les décès, les blessures graves, les collisions, les déraillements, les incidents aux passages à niveau, et les signaux passés en situation de danger, en plus de publier un rapport annuel sur la sécurité ferroviaire qui met en évidence ces événements ainsi que d'autres statistiques clés sur les priorités nationales.

Comme au Canada, même si ces organismes de réglementation peuvent enregistrer des progrès dans des secteurs de risque précis et montrer des tendances dans les indicateurs de sécurité, ils sont confrontés au même défi de l'attribution, c'est-à-dire être en mesure de faire correspondre ces résultats spécifiquement à leurs activités de surveillance. Comme il a été mentionné précédemment dans ce rapport, cette situation est attribuable en grande partie au nombre de variables qui ont une incidence sur les résultats en matière de sécurité et en partie au délai entre la mise en place de règles et les priorités en matière de surveillance.

Cela dit, TC peut apprendre d'autres administrations de diverses façons, notamment en ce qui concerne l'analyse des données, l'évaluation et la modélisation des risques, et les systèmes de gestion de la sécurité.

2.2.1 États-Unis: Federal Railroad Administration

Aux États-Unis, on distingue trois types d'activités ferroviaires : le transport interurbain de passagers, les trains de banlieue et les trains de marchandises. Plus de 760 chemins de fer sont réglementés par la Federal Railroad Administration (FRA), qui a la responsabilité d'assurer la sécurité et l'efficacité de l'exploitation des trains. Pour ce faire, elle fait appel à plus de 400 inspecteurs, qui se spécialisent dans les six disciplines suivantes : les passages à niveau, les matières dangereuses, le matériel moteur et l'équipement, les pratiques opérationnelles, le contrôle de la signalisation et des voies ferrées, et les voies ferrées. Outre les inspections, la FRA élabore des règles et des normes, mène des enquêtes et collabore avec des intervenants.

Dans le cadre de l'évaluation de l'efficacité de la surveillance, des représentants de la FRA ont indiqué qu'en plus d'examiner les données sur les taux d'accidents, de blessures et de décès, ils étudiaient diverses tendances des données, notamment en tenant compte des données sur les événements en ce qui concerne les inspections en fonction de la discipline, la mise en œuvre de règles et la gravité des accidents mesurée en coûts.

La FRA accorde une importance accrue à la qualité des données et à la capacité d'analyse. Des représentants de l'organisation ont souligné l'accent mis sur la capacité d'analyse, le risque et la sécurité des systèmes par l'affectation de ressources à l'analyse des données, l'amélioration de la qualité des données et la modélisation du risque. Quelques exemples de ces efforts :

• Par suite d'une réorganisation structurelle opérée en 2021, les inspecteurs et les spécialistes sont passés sous l'autorité de directeurs dans chaque domaine fonctionnel au sein de l'administration centrale, plutôt qu'en fonction des régions. En plus de faciliter l'adoption d'une approche plus axée sur les systèmes, cette réorganisation vise à uniformiser la façon dont les inspecteurs réalisent les inspections et en rendent compte, d'où une amélioration de la qualité des données recueillies.
• Par ailleurs, la FRA cherche à obliger l'industrie à respecter des normes plus élevées en matière de qualité des données dans ses rapports. La pratique antérieure consistait à sélectionner de façon aléatoire des rapports d'accident et à signaler les incohérences entre les codes de cause et les renseignements à l'appui. Aujourd'hui, des experts en la matière examinent la plupart des rapports et règlent les incohérences en conséquence.
• Des scientifiques de données travaillent à l'élaboration de modèles de risque et contribuent à orienter les efforts d'inspection vers les secteurs les plus à risque. En janvier 2022, l'équipe d'évaluation a participé à une démonstration du modèle de risque de la FRA, qui a été mis en œuvre en 2021. À ce moment-là, le modèle tenait compte des taux de conformité et de défectuosité, des données sur les accidents et les incidents, des trains-milles, du tonnage et de données connexes. L'objectif est de recueillir des données sur les changements liés aux opérations au sein d'une compagnie de chemin de fer, les types de marchandises et les activités liées aux gares de triage, ainsi que de tenir compte de ces renseignements et de l'historique des inspections dans les calculs du risque.

Pour TC, les éléments de preuve recueillis lors des entrevues laissent entendre que la qualité, l'uniformité et l'actualité des données constituent également un défi constant. Comme la FRA, le Ministère pourrait prendre des mesures pour accorder la priorité à la qualité des données, afin de faire en sorte que l'établissement de rapports et l'analyse du risque soient plus exacts et plus fiables. En outre, tout comme la FRA s'efforce de recueillir des données sur d'autres facteurs à prendre en considération pour mener leurs activités de modélisation du risque, TC améliorerait ses futures analyses sur les risques et l'efficacité de la surveillance en tenant compte d'autres variables.

2.2.2 Royaume-Uni: Office of Rail and Road

Au Royaume-Uni, le Department for Transport est le ministère gouvernemental responsable du cadre législatif et réglementaire en matière de sécurité ferroviaire, tandis que l'Office of Rail and Road (ORR) est l'organisme gouvernemental non ministériel responsable de la supervision directe des exploitants de chemin de fer (c.-à-d. l'organisme de réglementation ferroviaire). La législation sur les chemins de fer s'applique aux compagnies de chemin de fer desservant les lignes principales et non principales, aux métros (dont le métro londonien), aux tramways, aux systèmes légers sur rail et aux compagnies de chemin de fer à valeur patrimoniale. L'ORR réalise des inspections et des audits, recueille et analyse des données à l'appui d'une approche fondée sur les risques, intervient en cas d'incidents de sécurité et prend des mesures de mise en application, au besoin. Pour évaluer l'efficacité, le Department for Transport et l'ORR tiennent compte des examens de la réglementation postérieurs à la mise en œuvre, des statistiques clés sur les événements et le risque, ainsi que de la sensibilisation et de la rétroaction des intervenants. Le Department for Transport détermine également l'efficacité en analysant les résultats en matière de sécurité présentés dans les rapports annuels sur la sécurité de l'ORR et du Rail Safety and Standards Board, ce qui peut ensuite avoir une incidence sur l'axe et l'orientation stratégiques.

Pour orienter les priorités et les plans, l'ORR évalue le risque au moyen d'un certain nombre de sources de données, notamment les données sur les accidents et les incidents et les constatations découlant des enquêtes et des activités de surveillance, ainsi que du Safety Management Intelligence System et du Safety Risk Model, des outils développés et hébergés par le Rail Safety and Standards Board. Le Safety Management Intelligence System fournit des renseignements sur les risques à des exploitants donnés et à l'industrie. Ces renseignements sont utilisés par l'industrie et l'ORR pour apporter des améliorations et régler des problèmes clés. Dans la mesure du possible, un éventail de facteurs sont pris en compte, comme les statistiques sur la population active, les changements climatiques et des facteurs humains tels que la fatigue.

Fait important, l'ORR met également l'accent sur des SGS et, de concert avec l'industrie, a élaboré le Risk Management Maturity Model (RM3) pour évaluer la maturité d'un SGS. Le modèle permet d'évaluer, sur une échelle de 1 à 5, 26 critères liés au niveau de maturité. Cet outil permet à l'ORR d'évaluer l'habileté d'une compagnie de chemin de fer à gérer le risque. Les exploitants ferroviaires y ont également accès pour autoévaluer la maturité de leur SGS.

L'évaluation remarque que tant l'industrie que l'organisme de réglementation ont accès à ces outils clés, ce qui signifie que tous les intervenants peuvent évaluer les risques en fonction des mêmes renseignements. Cette situation peut favoriser une compréhension et des attentes communes entre l'organisme de réglementation et l'industrie. De plus, l'outil RM3, qui permet d'évaluer la maturité du SGS, énonce des critères clairs auxquels les intervenants de l'industrie peuvent se reporter.

2.2.3 Australie: Office of the National Rail Safety Regulator

L'Office of the National Rail Safety Regulator (ONRSR) de l'Australie est responsable de l'accréditation de l'industrie, de l'éducation et de la sensibilisation d'exploitants donnés et à l'échelle de l'industrie, en assurant un suivi pour évaluer la mise en œuvre et le rendement du SGS, ainsi que de l'application de la loi. Le cadre réglementaire est fondé sur le rendement, et l'ONRSR accorde beaucoup d'importance au SGS. Les agents de la sécurité ferroviaire (inspecteurs) sont des généralistes possédant des connaissances sur une vaste gamme de sujets, et une division composée d'experts techniques (p. ex., ingénieurs en signalisation, ingénieurs en matériel roulant, spécialistes des facteurs humains) est disponible pour travailler sur des audits, des inspections et des enquêtes, au besoin.

Pour évaluer l'efficacité, l'ONRSR assure le suivi de données, notamment sur les accidents et les incidents, et recherche des changements dans des secteurs de risque où la surveillance est ciblée. De plus, l'organisme de réglementation s'efforce actuellement de recueillir et d'évaluer des éléments de preuve qualitatifs relativement aux répercussions de la surveillance, comme des témoignages sur les changements qui sont survenus à la suite de mesures de surveillance, le cas échéant.

Comme il a été mentionné, l'ONRSR se concentre sur le SGS et la réglementation fondée sur le rendement : tous les exploitants doivent avoir un SGS en place pour obtenir et maintenir une accréditation. Les représentants de l'ONRSR ont fait remarquer que, même si l'attention était au départ centré sur l'accréditation et le fait de déterminer si les systèmes requis étaient en place, cette approche a évolué pour englober également le fait de déterminer si les risques étaient gérés au moyen du système. Pour évaluer le rendement du SGS d'un exploitant donné, les agents de la sécurité ferroviaire tiennent compte à la fois des attentes décrites dans la réglementation et les documents d'orientation sur le SGS et du contexte particulier de l'exploitant. Un outil interne relatif au SGS a été développé pour uniformiser l'approche à l'égard de l'accès au SGS. Ce guide définit les éléments d'un SGS et donne des exemples de conformité et de types d'éléments de preuve qui peuvent être pris en compte.

En ce qui concerne la planification des activités de surveillance, l'ONRSR adopte une approche fondée sur les risques, en particulier en appliquant un processus de hiérarchie analytique pour cerner les principaux risques au sein de l'industrie, ainsi qu'un calcul du risque pour déterminer les niveaux de risque d'exploitants donnés. Pour déterminer les priorités nationales, un processus d'évaluation est mis en œuvre tous les deux ans, et les problèmes sont cernés au moyen de diverses sources (p. ex., audits, enquêtes, rapports d'exploitant, consultation auprès de l'industrie). Le processus de hiérarchie analytique comprend des comparaisons par paires pour établir l'importance relative de critères de risque précis et d'enjeux relevés pour ensuite déterminer le classement du risque. En ce qui concerne les plans d'exploitants donnés, un outil de profilage du risque de l'exploitant tient compte des antécédents en matière de conformité, du rendement de sécurité, ainsi que des cotes de risque inhérent et de risque dynamique, pour déterminer les cotes de risque relatif des exploitants. Ainsi, il est plus facile de déterminer le niveau de surveillance requis.

Ces approches sont susceptibles d'orienter les améliorations futures des outils nouvellement développés de TC pour évaluer l'efficacité du SGS et du processus de planification des activités fondée sur les risques.

2.2.4 Conclusion 

Dans l'ensemble, nous avons constaté que d'autres pays utilisent des paramètres semblables pour assurer la surveillance ferroviaire, notamment les taux de conformité et les données sur les accidents et les incidents, mais n'ont pas mesuré directement l'incidence de la surveillance sur ces résultats. La question de la quantification de la contribution est un défi commun.

Cela dit, nous notons que TC peut apprendre d'autres organismes de réglementation de différentes façons, y compris l'accent accru mis par la FRA à l'égard de l'analyse des données, l'amélioration de l'évaluation des risques et du processus de planification de l'ONRSR, ainsi que l'utilisation des données sur les risques et d'un modèle de maturité du SGS par l'ORR.

Conclusions et recommandations

Notre évaluation a révélé qu'il est difficile de quantifier la contribution des activités de surveillance aux résultats en matière de conformité et de sécurité dans le réseau de transport ferroviaire, et que cette quantification est limitée par les données actuellement disponibles et la compréhension d'autres facteurs qui jouent également un rôle dans ces résultats. Il s'agit d'un défi commun chez les principaux organismes de réglementation ferroviaire à l'échelle mondiale.

Grâce aux éléments de preuve disponibles, nous sommes en mesure d'affirmer ce qui suit :

• Depuis quelques années, les inspections fondées sur les risques surpassent les inspections aléatoires sur le plan de la capacité à cerner les cas de non-conformité à risque élevé. Cependant, les modèles courants ne peuvent pas prouver que ces résultats sont directement attribuables aux efforts de la Sécurité ferroviaire, et non au hasard.
• Il existe un lien entre l'augmentation de la contrainte réglementaire et la réduction des incidents. Le même lien n'a pas été observé dans le cas des accidents. Les analyses ultérieures sur ce sujet pourraient être élargies pour inclure des règles.
• La cote moyenne de risque relatif par inspection du groupe fonctionnel de la Voie a augmenté entre 2016 et 2018, et elle diminue depuis 2018. Pour l'instant, le nombre d'années de données est insuffisant pour déterminer s'il s'agit d'une tendance. Le suivi du risque au fil du temps pourrait constituer une mesure de sécurité supplémentaire.

En fonction des constatations découlant de l'évaluation, nous recommandons ce qui suit :

Il est important de bien comprendre l'efficacité pour déterminer si la Sécurité ferroviaire réalise ses objectifs et joue un rôle déterminant dans le réseau de transport ferroviaire. En affirmant que TC n'a pas mesuré l'efficacité de ses activités de surveillance, le BVG a relevé deux caractéristiques de l'« efficacité » : 1) amélioration de la sécurité ferroviaire; 2) incidence sur la conformité. L'évaluation a tenu compte de cette définition pour mesurer l'incidence de la surveillance par la Sécurité ferroviaire. Dorénavant, la Sécurité ferroviaire devrait déterminer ce que signifie pour elle une « surveillance efficace » afin d'établir des paramètres significatifs.

Si les définitions et les analyses connexes utilisées dans cette évaluation trouvaient un écho auprès de la Sécurité ferroviaire, le Programme pourrait se fonder sur ce travail.

Les mesures typiques de la sécurité (c.-à-d. les taux d'accidents, d'incidents, de blessures et de décès) ne portent pas sur la question de l'attribution (incidence des activités de surveillance sur ces résultats). Si l'« efficacité de la surveillance » s'entend d'une amélioration de la sécurité, les paramètres doivent tenir compte du rôle de la surveillance dans la prévention des événements. Dans le cadre de cette évaluation, une analyse s'est penchée sur le lien entre les règlements et les événements, en tenant pour acquis que la surveillance était un intermédiaire dans cette relation. Si la Sécurité ferroviaire intègre l'amélioration de la sécurité dans sa définition de surveillance efficace, l'analyse s'inscrivant dans le cadre de cette évaluation pourrait être élargie pour aborder l'incidence des règles, en plus des règlements, sur les événements.

De même, le suivi des taux de conformité ne permet pas à lui seul de mesurer l'incidence de la surveillance sur ces taux de conformité; d'autres facteurs peuvent déterminer si une compagnie est en situation de conformité. Nous avons supposé qu'en se concentrant sur le respect des règles et des règlements qui portent sur les enjeux de sécurité, la Sécurité ferroviaire vise à réduire le risque qu'un événement se produise. Dans le cadre de l'évaluation, on considérait que la réduction du risque et le fait de cibler avec exactitude les cas de non-conformité présentant un risque étaient des signes d'efficacité de la surveillance. Si la Sécurité ferroviaire intègre le ciblage et la réduction du risque à sa définition d'« efficacité », le Programme pourrait envisager d'élargir l'étude de cas concernant le groupe de la Voie présentée dans cette évaluation en élaborant des modèles de risque liés aux cas de non-conformité pertinents pour les autres groupes fonctionnels.

Une fois que la Sécurité ferroviaire aura défini l'« efficacité », il faudra déterminer les données nécessaires pour assurer une mesure précise. Comme il a été mentionné, d'autres points de données et années de données seront nécessaires pour bâtir sur les analyses statistiques effectuées dans le cadre de cette évaluation. Par ailleurs, en améliorant la collecte de données et en assurant son uniformité, la Sécurité ferroviaire sera en mesure de mieux définir et prendre en compte différents facteurs contributifs de la conformité et de la sécurité.

Les données actuellement disponibles comprennent les données sur les événements, les taux de non-conformité, les détails des inspections, l'état des mesures correctives, les plaintes et demandes de renseignements, les avis et ordres, ainsi que les renseignements sur les sanctions administratives pécuniaires (SAPs). Ces renseignements sont utilisés pour la planification par secteur fonctionnel, l'établissement de profils de compagnie individuelle et la détermination des enjeux.

Au cours de cette évaluation, certaines données qui auraient renforcé nos analyses statistiques n'étaient pas disponibles.

Des données comme les suivantes permettraient d'améliorer l'analyse des cotes de risque :

• Autres facteurs susceptibles d'influer sur la probabilité ou la gravité d'un événement, comme la densité de la population le long des voies ferrées;
• Liste des règles ou des règlements qui visent à avoir une incidence sur des types d'événements, afin de relier directement les données sur la non-conformité aux risques liés aux événements;
• Renseignements qui visent à améliorer les profils de compagnie, comme les changements dans la gestion ou l'exploitation, la capacité financière et les antécédents en matière de conformité, afin de tenir compte du risque associé à des types particuliers d'activités et de changements;
• Autres renseignements sur des variables confusionnelles pour permettre l'utilisation de modèles statistiques plus détaillés.

Il serait possible d'élargir l'analyse de la relation entre la contrainte réglementaire et les événements en extrayant des données sur des règles semblables à celles découlant de règlements au moyen de la plateforme d'évaluation réglementaire.

Nous comprenons les défis inhérents à la collecte de données sur certaines de ces variables, en particulier des données propres aux compagnies. Dans le cas de certaines variables, des solutions de rechange ou des substituts pourraient être proposés. Par exemple, au lieu d'utiliser des renseignements sur la capacité financière d'une compagnie, on pourrait classer les compagnies de chemin de fer en fonction de données disponibles comme le tonnage, les bénéfices ou la quantité de matériel.

De plus, bien que certaines données soient recueillies et gérées par le Ministère, d'autres sont détenues par d'autres parties (p. ex., les données sur les événements sont suivies et gérées par le BST). Néanmoins, la Sécurité ferroviaire peut améliorer ses données internes. Les éléments de preuve recueillis lors des entrevues ont fait ressortir des défis permanents liés à la PISF, comme la complexité, le manque de champs de données concernant les exemptions aux règles, notamment, et des enjeux liés à la qualité des données. Le fait de s'assurer que les inspections sont menées de manière uniforme et que les données sont entrées avec précision permettra d'améliorer la fiabilité des futures analyses effectuées par la Sécurité ferroviaire.

L'accessibilité et la convivialité des données pour le personnel de la Sécurité ferroviaire constituent également un facteur important. L'échange de données entre les SGS et les groupes fonctionnels permettra de renforcer la collaboration et de mieux intégrer ces aspects. Enfin, une formation supplémentaire sur la PISF et l'analyse de données de manière globale pourrait permettre de s'assurer que les inspecteurs et les auditeurs sont en mesure de tirer parti des données disponibles pour la planification et la prise de décisions.

Annexe A : Méthodes et limites

Pour mesurer le rendement, la Surveillance de la sécurité ferroviaire assure le suivi des taux de cas de non-conformité, d'accidents, d'incidents, de décès et de blessures graves. Bien qu'elles concernent des résultats clés, ces mesures ne permettent pas d'évaluer l'incidence de la surveillance sur ces résultats. L'évaluation avait pour objectif de déterminer la mesure dans laquelle les inspections et les audits contribuaient à la conformité, au risque et à la sécurité, et s'il était possible de quantifier et de mesurer cette contribution au moyen de données actuellement disponibles.

Aux fins de sélection de méthodes statistiques, un groupe de travail informel a été créé pour discuter des options et des limites éventuelles. Ce groupe était composé de membres de l'équipe d'évaluation, de consultants de Risk Sciences International, d'un représentant de l'équipe des analyses multimodales de TC et d'un statisticien. Les conversations ont porté, entre autres sujets, sur la causalité, la définition de « sécurité » et d'« efficacité », ainsi que les types de données nécessaires à la réalisation de différentes analyses.

Deux approches ont été cernées :

1. Utilisation du risque comme mesure de la sécurité et examen de la question de savoir si les inspections fondées sur les risques sont plus efficaces que les inspections aléatoires pour cibler les cas de non-conformité à risque élevé;
2. Évaluation de la relation entre les règlements et les événements pour avoir une idée générale du rôle de la Sécurité ferroviaire dans les résultats en matière de sécurité.

Ces méthodes sont décrites ci-après.

Analyse statistique des inspections du groupe fonctionnel de la voie

But

Cette analyse visait à évaluer le rendement des inspections fondées sur les risques du groupe fonctionnel de la Voie par rapport aux inspections aléatoires. Le groupe de la Voie a été sélectionné pour l'analyse en raison de la disponibilité de données et de la présence d'experts en la matière pour participer à une étude de cas.

Deux questions ont été abordées :

1. Les inspections fondées sur les risques du groupe fonctionnel de la Voie permettent-elles de relever des emplacements à risque plus élevé et de repérer un plus grand nombre de cas de non-conformité à risque élevé que les inspections aléatoires?
2. Quelle est la variation globale, au fil du temps, du nombre de cas de non-conformité relevés au moyen d'activités d'inspection, ainsi que de leur gravité?

Raisonnement et hypothèses

Cette analyse est fondée sur le principe que chaque cas de non-conformité est susceptible de poser un risque, mais que l'ampleur de ce risque varie d'un cas de non-conformité à l'autre. Chaque cas de non-conformité peut se voir attribuer une cote de risque relatif qui représente la probabilité d'un type particulier d'événement, et chaque événement, une cote de risque relatif correspondant à l'incidence. Il est ainsi possible de mesurer le risque décelé au moyen d'inspections au fil du temps, ainsi que de brosser un tableau du risque au sein du réseau de transport ferroviaire au fil du temps.

Les hypothèses précises utilisées dans le cadre de cette analyse sont les suivantes :

• La détermination et l'élimination des cas de non-conformité à risque plus élevé entraînent une réduction plus importante du risque au sein du réseau de transport ferroviaire. Si une comparaison des résultats d'une inspection de la composante A et d'une inspection de la composante B indique que la composante B fait ressortir un nombre plus élevé de cas de non-conformité à risque élevé, cela donne à penser que l'algorithme du risque de l'équipe de la Voie réussit à cerner des emplacements à risque plus élevé, ce qui lui permet de régler des cas de non-conformité plus critiques, d'où une réduction plus importante du risque au sein du réseau de transport ferroviaire. L'inspection de la composante B est alors considérée comme « surpassant » celle de la composante A.
• La conformité aux règlements clés réduit le risque et entraîne une augmentation de la sécurité. Ainsi, dans le cadre de cette analyse, nous tenons pour acquis qu'un plus petit nombre de cas de non-conformité à risque élevé et une plus faible cote de risque globale au fil du temps indiquent une augmentation de la sécurité des voies ferrées.

Méthodes

Les cotes de risque liées aux cas de non-conformité ont été établies en fonction d'avis d'experts fondés sur un consensus. Trois experts de l'équipe de la Voie ont participé à trois ateliers avec Évaluation et services de conseils et Risk Sciences International pour estimer le risque relatif associé à chaque règle essentielle^{Footnote 27} et à chaque type d'accident concernant l'équipe de la Voie (c.-à-d. déraillements en voie principale et déraillements en voie non principale). Les experts ont estimé la probabilité relative qu'un cas de non-conformité à une règle essentielle donnée entraîne un déraillement.

L'analyse a également tenu compte du volume de marchandises (tonnes brutes) qui passe par le segment où la non-conformité a été décelée.

Deux dénominateurs ont été utilisés afin de normaliser les données pour l'équipe de la Voie : les milles de voie ferrée inspectés et les inspections.

Ces données ont ensuite fait l'objet d'une analyse statistique et d'une comparaison pour, d'une part, déterminer si les inspections fondées sur les risques avaient surpassé les inspections aléatoires et, d'autre part, étudier les niveaux de risque au fil du temps.

En raison des données limitées sur le plan du nombre d'années, une deuxième analyse, portant sur les données d'inspection, a été effectuée pour une période d'un an (2019). La comparaison des inspections fondées sur les risques et des inspections aléatoires au niveau des inspections a fourni plus de points de données et, par conséquent, plus de puissance statistique. Il s'agissait d'une analyse de régression multivariée. Les contrôles étaient la région, le mois, le type d'inspection, le nombre de milles de voie ferrée inspectés et, indirectement, tous les facteurs pris en compte dans l'algorithme utilisé pour sélectionner et planifier les inspections fondées sur les risques. L'analyse a été effectuée deux fois : la première fois, elle portait sur le nombre de cas de non-conformité décelés par inspection, et la deuxième fois, sur la cote de risque de chaque inspection.

Limites

• Compte tenu des changements apportés en matière de planification fondée sur les risques et de la mise en œuvre de la PISF en 2015, relativement peu d'années de données d'inspection uniformes étaient disponibles pour cette analyse.
• Seuls les cas de non-conformité critiques ont été pris en compte dans cette analyse. Ces derniers présentent un risque accru. Cependant, il est possible qu'un plus grand nombre de cas de non-conformité non critiques combinés posent un risque plus élevé que quelques cas de non-conformité critiques.
• Cette analyse constituait une étude de cas d'un groupe fonctionnel. Les résultats d'autres groupes fonctionnels pourraient varier.
• Les cotes de risque ont été établies en fonction d'avis d'experts fondés sur un consensus recueillis auprès de trois inspecteurs. Toutefois, les autres inspecteurs de l'équipe de la Voie pourraient être en désaccord avec les cotes attribuées.
• L'interprétation de ce modèle suppose qu'une fois décelés, les cas de non-conformité sont corrigés de façon appropriée, ce qui se traduit par une réduction du risque.
• Compte tenu des données disponibles, la régression de 2019 ne pouvait pas tenir compte de toutes les variables confusionnelles.

Mesure de la relation entre la sécurité ferroviaire et les règlements

But

Menée par l'équipe des analyses multimodales de TC^{Footnote 28}, cette analyse visait à déterminer si le régime de réglementation de la Sécurité ferroviaire pouvait être associé à la sécurité globale du réseau de transport ferroviaire du Canada. Il s'agissait d'une analyse de la relation entre les modifications apportées à la réglementation et les tendances en matière d'accidents et d'incidents ferroviaires au fil du temps.

Raisonnement et hypothèses

Le lien entre la conformité et la sécurité est fondé sur l'hypothèse selon laquelle les règlements qui sont respectés ont une incidence sur la sécurité. Cette analyse consistait à examiner cette hypothèse de façon générale afin de déterminer s'il existait une relation entre les règlements et les événements.

Méthodes

Le changement dans la réglementation a été mesuré au moyen de la plateforme d'évaluation réglementaire de TC, qui utilise des algorithmes d'apprentissage automatique et des techniques de traitement du langage naturel pour tirer des données du portail des lois et des règlements du ministère de la Justice, en décelant des mots précis (p. ex., « doit ») indiquant une contrainte réglementaire dans les règlements liés à la sécurité ferroviaire.

Les données sur les événements proviennent de la Base de données sur les événements ferroviaires du BST. Les événements ont été classés dans deux catégories, soit les accidents et les incidents, et les relations ont été évaluées séparément.

Pour tenir compte de la variation des niveaux d'activité, des données sur le trafic marchandises ont été obtenues auprès de Statistique Canada et utilisées comme dénominateur pour calculer les taux d'événements.

Les tests statistiques et de transformation des données comprenaient ce qui suit :

• désaisonnalisation, afin d'éliminer les influences saisonnières;
• utilisation d'une technique de spline, afin d'éliminer la volatilité et de montrer les tendances dans les changements;
• décalage des données, afin de déterminer l'incidence des règlements mis en œuvre au cours d'une année donnée;
• corrélation de Spearman, afin de mesurer la force des relations statistiques;
• tests des points de rupture, afin d'évaluer les ruptures ou changements importants dans des séries chronologiques.

Limites

• L'analyse porte sur le transport ferroviaire de marchandises, et non de passagers. Les services ferroviaires voyageurs représentent une faible part des activités ferroviaires totales du Canada, et il est difficile d'obtenir des renseignements sur le niveau d'activité total lié à ces services.
• Les règles, qui constituent une autre partie importante du régime de réglementation de la Sécurité ferroviaire, ne pouvaient pas être prises en compte dans cette analyse.
• L'analyse ne permet pas de déterminer la contribution, mais plutôt la corrélation.

Annexe B : Tableaux à l'appui des analyses statistiques

Tableau 2. Résultats détaillés de l'analyse statistique des inspections fondées sur les risques (composante B) et des inspections aléatoires (composante A)

Mesure (composante B – composante A)	Moyenne	Écart-type	Limite inférieure (2,5 %)	Limite supérieure (97,5 %)
Nombre par mille de voie ferrée inspecté	0,007	0,010	–0,013	0,026
Nombre par inspection	0,476	0,410	–0,327	1,278
Risque relatif par mille de voie ferrée inspecté	17	31	–43	78
Risque relatif par inspection	1 413	1 272	–1 079	3 906
Risque relatif x volume par mille de voie ferrée inspecté	–146 458	1 739 860	–3 556 521	3 263 605

Tableau 3. Régression linéaire multiple pour le nombre de défauts (base : inspection de la composante A, en Ontario, en janvier)

Variable	Estimation	Erreur-type	Pr(>|t|)
Composante B	2,12972	1,78424	0,233337
Milles inspectés	0,08399	0,01782	3,37e-06***
Composante C	–0,83807	2,02766	0,679595
Février	–13,39436	3,90012	0,000657***
Mars	–11,97438	4,32052	0,005843**
Avril	–9,89541	3,83184	0,010169*
Mai	–10,39558	3,57557	0,003850**
Juin	–5,57236	3,73830	0,136860
Juillet	–6,11534	3,79639	0,108013
Août	–9,71890	3,93145	0,013852*
Septembre	–11,21812	3,96779	0,004932**
Octobre	–9,92603	3,58502	0,005892**
Novembre	–10,83189	3,87693	0,005460**
Décembre	–12,47291	4,56895	0,006617**
PAC	5,02009	1,99759	0,012365*
RPN	3,09128	1,81512	0,089339
QUÉ	5,19354	2,04136	0,011333*
ATL	–1,59558	2,62368	0,543440
Point d'intersection	8,28736	3,79110	0,029400*

R carré multiple : 0,1757

R carré ajusté : 0,1383

Tableau 4. Régression linéaire multiple pour la cote de risque (base : inspection de la composante A, en Ontario, en janvier)

Variable	Estimation	Erreur-type	Pr(>|t|)
Composante B	12,2425	22,7093	0,539
Milles inspectés	0,9159	0,2268	6,45e-05***
Composante C	3,6367	25,8075	0,888
Février	–46,7457	49,6397	0,347
Mars	–51,9724	54,9904	0,347
Avril	–51,9724	54,9904	0,345
Mai	–20,3851	48,7706	0,676
Juin	45,5671	47,5801	0,339
Juillet	–11,4583	48,3194	0,813
Août	–21,2562	50,0384	0,671
Septembre	–24,8255	50,5010	0,623
Octobre	–12,9929	45,6292	0,776
Novembre	–23,0830	49,3446	0,640
Décembre	–40,8585	58,1523	0,483
PAC	20,0378	25,4248	0,431
RPN	31,5119	23,1024	0,173
QUÉ	11,2862	25,9819	0,664
ATL	–12,0533	33,3935	0,718
Point d'intersection	–0,2331	48,2521	0,996

R carré multiple : 0,09521

R carré ajusté : 0,05408

Annexe C: Plan d'action de la direction

Le présent plan d'action de gestion donne suite aux recommandations de l'évaluation en précisant les mesures proposées, les dates d'achèvement prévues et le bureau de première responsabilité (BPR).

Recommandation	Mesure proposées	Date d'achèvement prevue	BPR
Recommandation 1 : Pour permettre l'établissement d'indicateurs adéquats, la Sécurité ferroviaire devrait définir à l'interne ce qui constitue « l'efficacité de la surveillance » et déterminer les manières dont ses activités de surveillance y contribuent.	La Sécurité ferroviaire accepte cette recommandation. Nous définirons ce qu'est l'efficacité de la surveillance et nous déterminerons les activités qui font progresser cet objectif.		SMA, Sécurité et sûreté
	Nous dresserons une liste d'indicateurs de l'efficacité de la surveillance afin de prendre en considération leur élaboration et leur mise en œuvre. La proposition provisoire sera présentée au Comité des activités de programme (CAP) en mars 2023. Elle énoncera notamment les données qui seront nécessaires à l'appui de la définition.	31 mars 2023
	Les indicateurs devront recevoir l'approbation finale du CAP en juin 2023. Les indicateurs seront adaptés au fil du temps, au besoin.	Juin 2023
Recommendation 2: La Sécurité ferroviaire devrait envisager d'inclure dans sa collecte de données des variables, autres que la surveillance, qui peuvent avoir une incidence sur les résultats attendus. Elle disposerait ainsi de données pertinentes et de bonne qualité pour effectuer une analyse quantitative de l'efficacité de la surveillance.	Nous évaluerons les diverses sources de nos données (comment elles sont obtenues, leur degré d'actualité, etc.) et les méthodes de collecte (critères de déclaration) dans le but d'améliorer les données pouvant être utilisées.	Octobre 2023	SMA, Sécurité et sûreté
	Enfin, nous avons obtenu du financement afin que des membres du personnel se consacrent à veiller à la qualité de nos données sur la surveillance, dans chaque région, pour promouvoir une meilleure analyse quantitative et l'efficacité de la surveillance. Nous formons actuellement nos membres du personnel et nous nous attendons à ce que l'examen de la qualité des données soit terminé d'ici décembre 2023.	Décembre 2023
	Lorsque la Sécurité ferroviaire aura approuvé la définition de l'efficacité de la surveillance, elle commencera à recueillir les données qui lui permettront de superviser cette efficacité d'ici avril 2024. Nous accumulerons ces données au fil du temps et nous les examinerons tous les six mois pour déterminer l'efficacité du programme.	Avril 2024
	Nous collaborerons avec les Services numériques afin que des données provenant de toutes les sources soient incluses dans le lac de données; nous pourrons ensuite examiner ces données de façon intégrée dans le but d'obtenir une vision globale de la surveillance.	Avril 2024