Résumé de l'évaluation, décembre 2022
L'audit de suivi sur la sécurité ferroviaire de 2021 du Bureau du vérificateur général du Canada (BVG) a constaté que Transports Canada (TC) ne pouvait pas démontrer l'impact de ses activités de surveillance ferroviaire sur la conformité réglementaire ou sur la sécurité ferroviaire en général.
En réponse, Évaluation et services de conseils de TC ont mené l'évaluation des activités de surveillance de la sécurité ferroviaire en 2021-22. Nous avons examiné l'incidence des activités de surveillance sur la conformité et sur la sécurité, ainsi que la façon dont les organismes de réglementation ferroviaire d'autres pays abordent cette question.
L'évaluation a mis l'accent sur les preuves quantitatives par le biais de deux analyses statistiques :
- Une étude de cas des résultats des inspections du groupe fonctionnel de la Voie de 2015-16 à 2021-22 pour évaluer la performance des différents types d'inspection et le risque dans le temps.
- Une analyse de la relation entre la réglementation et les événements ferroviaires au fil du temps.
Pour compléter et améliorer ces analyses, nous avons également mené 58 entrevues avec des informateurs clés, des parties prenantes internes et externes, ainsi qu'un examen de la littérature et des documents détaillée.
Sur cette page
Ce que nous avons découvert sur l'efficacité de la surveillance de la sécurité ferroviaire
Les mesures clés montrent que les résultats escomptés sont atteints. Les taux de non-conformité sont pour la plupart restés stables ou ont diminué depuis 2015. Les données sur les événements montrent que la sécurité ferroviaire s'est globalement améliorée au cours des deux dernières décennies.
Les entrevues suggèrent que la surveillance contribue effectivement à la conformité et, par là, à la sécurité.
Les entrevues ont également montré que les activités d'éducation des parties prenantes de l'industrie, bien que ponctuelles, sont une partie importante de la surveillance.
Il semble qu'au cours des dernières années, les inspections fondées sur le risque ont atteint leur objectif d'identifier les non-conformités présentant un risque plus élevé que les inspections aléatoires. L'identification des non-conformités à risque plus élevé devrait permettre à la Sécurité ferroviaire de contribuer à réduire davantage les risques dans le système ferroviaire. Toutefois, des années supplémentaires de données sont nécessaires pour confirmer la tendance, car les résultats ne sont pas statistiquement significatifs.
Le cote moyenne de risque relative par inspection pour le groupe fonctionnel Voie a augmenté de 2016 à 2018 et a diminué de 2018 à 2021. Une diminution des scores de risque au fil du temps impliquerait une amélioration de la sécurité. La diminution depuis 2018 pourrait suggérer une amélioration récente de la sécurité, mais il n'y a pas assez d'années de données pour identifier une tendance. Lorsque davantage d'années de données seront disponibles, le suivi du risque au fil du temps pourrait être utilisé comme une mesure supplémentaire de la sécurité.
Il existe des preuves d'une corrélation entre la contrainte réglementaire (par exemple, des mots comme « doit ») et les améliorations de la sécurité. À partir de 2015, les incidents ont diminué à mesure que le langage obligatoire dans les règlements augmentait. Cela suggère que les réglementations ont un impact, et que la surveillance — qui vérifie la conformité à ces réglementations — devrait jouer un rôle dans cette relation. Si les accidents ont également diminué au fil du temps, il n'a pas été démontré que ce changement était statistiquement lié à l'évolution de la contrainte réglementaire.
Comment d'autres pays mesurent l'efficacité de la surveillance
Nous avons comparé TC à la Federal Railroad Administration (États-Unis), au Department for Transport et à l'Office for Rail and Road (Royaume-Uni), et à l'Office of the National Rail Safety Regulator (Australie).
Nous avons constaté que l'évaluation directe de la mesure dans laquelle les activités de surveillance contribuent aux résultats en matière de sécurité est un défi commun : bien que des paramètres communs (p. ex., accidents, blessures, décès) soient utilisés pour suivre les progrès, aucun de ces organismes de réglementation n'a été en mesure d'attribuer quantitativement les résultats en matière de sécurité aux activités de surveillance.
Cela dit, TC peut apprendre de ces autres pays de plusieurs façons, notamment en ce qui concerne l'analyse des données, l'évaluation et la modélisation des risques et les systèmes de gestion de la sécurité.
Recommandations
Pour permettre l'établissement d'indicateurs adéquats, la Sécurité ferroviaire devrait définir à l'interne ce qui constitue « l'efficacité de la surveillance » et déterminer les manières dont ses activités de surveillance y contribuent.
La Sécurité ferroviaire devrait envisager d'inclure dans sa collecte de données des variables, autres que la surveillance, qui peuvent avoir une incidence sur les résultats attendus. Elle disposerait ainsi de données pertinentes et de bonne qualité pour effectuer une analyse quantitative de l'efficacité de la surveillance.
Actions
- La Sécurité ferroviaire définira ce qu'est l'efficacité de la surveillance et les activités connexes.
- La Sécurité ferroviaire dressera une liste d'indicateurs de l'efficacité de la surveillance afin de prendre en considération leur élaboration et leur mise en œuvre. La proposition provisoire sera présentée au Comité des activités de programme. (31 mars 2023)
- Les indicateurs devront recevoir l'approbation finale du CAP en juin 2023. Les indicateurs seront adapté au fil du temps, au besoin. (Juin 2023)
- La Sécurité ferroviaire évaluera les diverses sources de nos données et les méthodes de collecte dans le but d'améliorer les données pouvant être utilisées. (Octobre 2023)
- La Sécurité ferroviaire aura des effectifs dans chaque région qui se consacreront à veiller à la qualité des données sur la surveillance. (Décembre 2023)
- Lorsque que la Sécurité ferroviaire aura approuvé la définition de l'efficacité de la surveillance, elle commencera à recueillir les données, les accumulera au fil du temps et les examinera deux fois par an. (Avril 2024)
- La Sécurité ferroviaire collaborera avec les Services numériques afin que des données provenant de toutes les sources soient incluses dans le lac de données afin qu'elles puissent être examinées de façon intégrée et permettre une vision globale de la surveillance. (Avril 2024)