Évaluation de la contribution de Transports Canada à Opération Gareautrain

| Version imprimable |

Table des matières

• Aperçu des constatations et des recommandations
• Contexte
• Pertinence
• Rendement
• Conclusions
• Recommandations
• Plan d'action de la direction
• À propos de l'évaluation
  • Méthode d'évaluation
  • Limitations

Aperçu des constatations et des recommandations

Les Services d'évaluation et de conseils de Transports Canada (TC) ont effectué une évaluation de la contribution de Transports Canada à l'initiative Opération Gareautrain conformément à l'article 42.1 de la Loi sur la gestion des finances publiques et en réponse aux engagements pris envers le Conseil du Trésor dans le cadre du renouvellement du programme en 2009 2010. Les constatations de cette évaluation visaient à orienter les délibérations stratégiques en prévision d'un renouvellement à l'automne 2013; les activités d'évaluation ont donc été accélérées. Les tâches liées à la planification, à la collecte et l'analyse des données ainsi qu'à la présentation du rapport à la haute direction ont été réalisées de la fin mai à juillet 2013. Vous trouverez de plus amples détails sur la méthode d'évaluation à la fin du présent rapport.

Dans l'ensemble, les évaluateurs ont conclu qu'il est nécessaire de sensibiliser de façon permanente le public à la sécurité ferroviaire. Le gouvernement fédéral et les intervenants, notamment l'industrie ferroviaire et les provinces, ont tous un rôle à jouer dans les activités de sensibilisation. En appuyant l'initiative Opération Gareautrain, le gouvernement fédéral contribue à l'élaboration de matériel de sensibilisation en matière de sécurité ferroviaire et à sa diffusion dans les écoles et autres lieux publics. Au cours des trois années civiles couvertes par cette évaluation, les représentants d'Opération Gareautrain ont présenté près de 1 500 exposés dans les écoles et ont distribué au grand public du matériel de sensibilisation à 900 autres occasions. Étant donné que ce niveau d'activité correspond à une baisse par rapport à la période précédente, la direction d'Opération Gareautrain envisage de nouveaux moyens pour promouvoir la sécurité ferroviaire auprès de son public cible. L'accord de contribution actuel ne précise pas le niveau de rendement attendu par le Ministère. Le programme de contribution permet d'assurer une surveillance étroite de l'initiative Opération Gareautrain. En raison du faible niveau de risque que représente cet accord de contribution de faible envergure, il semble toutefois excessif que la Sécurité ferroviaire surveille l'initiative d'Opération Gareautrain en participant aux comités et aux activités de cette dernière.

Les évaluateurs recommandent que Transports Canada définisse mieux les activités que l'initiative Opération Gareautrain devrait exécuter et qu'il adapte ses pratiques de surveillance en fonction du niveau de risque correspondant à cette contribution et aux bonnes pratiques en matière de surveillance du financement.

Contexte

L'initiative Opération Gareautrain est un projet national administré par l'Association des chemins de fer du Canada (ACFC). Elle vise à intensifier les efforts de sensibilisation et d'éducation auprès du public au sujet des collisions aux passages à niveau et des cas d'intrusion sur l'emprise ferroviaire. Les activités réalisées dans le cadre de l'initiative comprennent des exposés sur la sécurité ferroviaire présentés dans les écoles et à d'autres occasions dans des lieux publics au cours de la Semaine de la sécurité ferroviaire. Elles sont soutenues par un financement sous la forme d'une contribution de Transports Canada et un financement à parts égales de l'unique bénéficiaire, l'Association des chemins de fer du Canada. Des contributions en nature sont offertes par les intervenants de l'industrie. Les activités d'Opération Gareautrain sont en grande partie réalisées par des bénévoles de l'industrie ferroviaire, des services de police, des ministères fédéraux et provinciaux responsables des transports et de l'éducation, des organisations commerciales locales (p. ex., sociétés minières) et d'autres organismes publics (p. ex., universités). (Voir le modèle logique présenté à la figure 1 à la fin du présent rapport.)

Le programme de contribution est actuellement administré par la Direction générale de la sécurité ferroviaire au sein du Groupe de la sécurité et de la sûreté.

L'initiative Opération Gareautrain est régie par une structure de comités multi-niveaux.

• Le Comité consultatif national fournit appui et conseils au directeur national sur l'élaboration et la mise en œuvre de la stratégie et du programme d'Opération Gareautrain au Canada. Parmi les tâches de ce Comité, mentionnons la création de partenariats, l'établissement des priorités pour ce qui est du plan pluriannuel, l'affectation des ressources aux activités provinciales et la surveillance de l'efficacité du programme. Le Comité est composé de représentants de Transports Canada, de l'Association des chemins de fer du Canada, de la Compagnie des chemins de fer nationaux du Canada, du chemin de fer Canadien Pacifique, de VIA Rail Canada Inc., de Go Transit, de la Conférence ferroviaire de Teamsters Canada, du Conseil canadien de la sécurité, de la Fédération canadienne des municipalités, de l'Agence métropolitaine de transport et de représentants provinciaux des ministères des Transports ou de la Sécurité.

• Le Comité de révision des programmes examine le programme d'Opération Gareautrain et facilite sa mise en œuvre au Canada. Parmi les tâches de ce Comité, mentionnons l'élaboration et la mise à jour du matériel du programme et l'offre de directives et de soutien aux comités, aux formateurs et aux présentateurs d'Opération Gareautrain. Le Comité est composé de représentants de Transports Canada, de l'Association des chemins de fer du Canada, de la Compagnie des chemins de fer nationaux, du chemin de fer Canadien Pacifique, de VIA Rail Canada Inc., de la Conférence ferroviaire de Teamsters Canada, de Go Transit et des ministères provinciaux des Transports.

• Les comités provinciaux d'Opération Gareautrain sont chargés de promouvoir les activités du programme, d'exercer un leadership et d'apporter un soutien à l'exécution du programme d'Opération Gareautrain au sein de leur région. Les comités locaux doivent collaborer avec d'autres intervenants pour assurer un soutien général, établir les priorités locales, prévoir un budget, établir un calendrier et exécuter les activités pour les événements locaux. À l'heure actuelle, un comité est en place pour chaque province, à l'exception de la Colombie-Britannique et de la Saskatchewan. Même si la composition des comités provinciaux varie, ces derniers sont généralement composés de représentants de Transports Canada, de compagnies de chemin de fer, de ministères provinciaux, de services de police régionaux et d'importants utilisateurs commerciaux de chemins de fer ou d'établissements locaux (p. ex., universités).

L'initiative Opération Gareautrain est administrée par un directeur national appuyé par une adjointe administrative à temps plein et d'autres employés selon les besoins et sur approbation du Comité consultatif national. Le directeur national est responsable de l'établissement de partenariats stratégiques, de l'administration du budget opérationnel, de la planification et de l'organisation des programmes d'Opération Gareautrain dans l'ensemble du Canada de sorte qu'il puisse prendre en considération les propositions des comités provinciaux tout en les harmonisant avec le mandat national.

En signant cet accord de contribution, Transports Canada s'est engagé à verser un total de 1,45 million de dollars au bénéficiaire sur une période allant de 2009-2010 jusqu'à 2013-2014. En retour, le bénéficiaire s'est engagé à « sensibiliser le public aux risques potentiels liés aux passages à niveau rail route et aux dangers associés à l'intrusion sur une propriété ferroviaire en vue de réduire le nombre d'accidents, de décès et de blessures le long des chemins de fer du Canada dans les collectivités partout au pays ». Pour ce faire, le bénéficiaire a entrepris de relever les problèmes liés aux passages à niveau ou aux intrusions, d'élaborer des stratégies pour résoudre les problèmes recensés, de conserver des statistiques sur les activités d'Opération Gareautrain et d'évaluer la sensibilisation du public à la suite de ses activités.

En raison de la faible valeur de l'accord de contribution, on ne s'attend pas à ce que les activités d'Opération Gareautrain aient un effet discernable sur les opinions ou les comportements du public canadien en général. Par conséquent, nous avons limité la présente évaluation à l'analyse des résultats atteints à court terme.

Pertinence

Constatation sommaire de la pertinence : Il est nécessaire de sensibiliser de façon permanente le public à la sécurité ferroviaire. Cette activité est conforme aux résultats stratégiques du Ministère et du gouvernement fédéral en général et est largement considérée comme étant une responsabilité partagée avec l'industrie et les autres ordres de gouvernement.

Constatation n^o 1 : La persistance d'incidents liés aux passages à niveau et aux intrusions porte à croire que les interventions sont toujours nécessaires pour renforcer la sécurité ferroviaire.

La justification principale de la pertinence de ce programme est que les Canadiens continuent d'être impliqués dans des incidents liés aux passages à niveau ou aux intrusions. De 2009 à 2012, en moyenne 180 personnes par année ont été impliquées dans des incidents liés aux passages à niveau et 74 personnes dans des incidents liés aux intrusions. Plus de 30 %des incidents liés aux passages à niveau signalés et plus de 65 % des cas liés aux intrusions signalés se sont traduits par des décès au cours de ces années (voir le tableau 2 à la fin du présent rapport). Par conséquent, les représentants du gouvernement et du bénéficiaire interrogés ont convenu qu'il était toujours nécessaire d'appuyer les activités de promotion de la sécurité ferroviaire.

Constatation n^o 2 : Les interventions de nature technique sont généralement perçues comme étant plus efficaces, mais la persuasion sociale a sa place dans la boîte à outils servant à renforcer la sécurité ferroviaire.

Les incidents ferroviaires ont diminué considérablement au cours des trois dernières décennies. On ignore cependant si l'éducation du public permet de réduire les incidents récurrents, et le gouvernement et les intervenants de l'industrie remettent ce point en question. Néanmoins, tous semblent s'entendre pour dire que les interventions de nature technique, comme les sauts de mouton, le contrôle de l'accès, la signalisation, les dispositifs d'avertissement (cloches) et les lignes de vision aux passages à niveau, sont des mesures efficaces pour réduire le nombre d'incidents ferroviaires, et beaucoup d'études le démontrent. (Lobb, 2006; Radbo, 2005; Silla & Luoma, 2011).

Les personnes interrogées ont indiqué à l'unanimité que les activités de communication axées sur la sensibilisation du public pouvaient contribuer à la sécurité ferroviaire dans le cadre d'une gamme étendue d'interventions. Dans le même ordre d'idées, les rapports de recherche laissent également entendre que les activités éducatives pourraient jouer un rôle prépondérant dans une approche systémique axée sur la prévention des incidents ferroviaires (p. ex., Silla & Kallberg, 2012).

Dans cette optique, le Bureau de la sécurité des transports (Liste de surveillance, 2010, 2012) a indiqué qu'une solution globale concernant la sécurité des passages à niveau « devrait permettre d'accroître la sensibilisation du public aux dangers existants aux passages à niveau », de modifier des règlements, des normes ou des lignes directrices et de réaliser des évaluations continues de la sécurité. Parallèlement, le Comité d'examen de la Loi sur la sécurité ferroviaire (2006) a appuyé l'utilisation des programmes d'éducation du public à la sécurité ferroviaire (OG, Direction 2006), entre autres efforts, et a recommandé au Ministère de les renouveler ou de les améliorer (recommandation 37).

Constatation n^o 3 : Le programme de contribution est conforme à l'engagement du gouvernement fédéral d'assurer la sécurité et la sûreté des Canadiens.

Le gouvernement du Canada s'est engagé à assurer la sécurité et la sûreté des Canadiens (résultat 2.2 des Affaires sociales, pangouvernementales). Les activités visant à renforcer la sécurité ferroviaire s'harmonisent avec cet objectif.

Constatation n^o 4 : Le programme de contribution est conforme au mandat du Ministère.

La mission de Transports Canada est de servir l'intérêt public en favorisant un réseau de transport au Canada qui soit sûr et sécuritaire, efficace et respectueux de l'environnement. Pour ce faire, le Ministère régit plusieurs lois liées aux transports, notamment la Loi sur la sécurité ferroviaire, qui confie au ministre la responsabilité de la réglementation en matière de sécurité ferroviaire. L'article 14 de cette loi confère au ministre le pouvoir d'autoriser le versement d'une subvention pour appuyer un projet d'études lié à l'éducation ou à la recherche s'il est de nature à promouvoir la sécurité ferroviaire ou à y contribuer, ce qui prouve la légitimité de la contribution à Opération Gareautrain, et des articles précédents confirment la légitimité de l'attribution de subventions pour les programmes de fermeture et de construction de passages à niveau en vue de renforcer la sécurité ferroviaire.

Constatation n^o 5 : Les efforts d'éducation et de sensibilisation du public à la sécurité ferroviaire sont considérés comme une responsabilité partagée de l'industrie et des gouvernements fédéral et provinciaux.

Même si le Comité d'examen de la Loi sur la sécurité ferroviaire a appuyé le financement permanent des programmes de sensibilisation du public par le Ministère, il a souligné que cette éducation du public devrait être considérée comme une responsabilité partagée entre les gouvernements fédéral et provinciaux et l'industrie (page 130). Notamment, le Comité a indiqué que les provinces devraient participer plus activement à l'éducation du public à la sécurité ferroviaire, comme elles le font pour la sécurité routière, et a recommandé que les compagnies de chemin de fer élargissent leurs programmes de sensibilisation pour stimuler de meilleures communications avec toute la communauté (recommandation 36).

Les personnes interrogées représentant le gouvernement et le bénéficiaire ont formulé des observations quant à cette responsabilité partagée. Bon nombre d'intervenants participent à l'exécution de programmes de sensibilisation à la sécurité ferroviaire, particulièrement les grandes compagnies de chemins de fer nationaux, mais également un organisme à but non lucratif et des représentants des groupes de premiers intervenants. Les personnes interrogées ont indiqué que des agents de police ferroviaire d'une compagnie de chemin de fer présentaient environ 10 à 15 exposés par année dans les écoles à proximité de ses lignes de chemin de fer, alors qu'une deuxième compagnie de chemin de fer était déterminée à veiller à ce que chaque élève de 7e et 8e année aux alentours de ses lignes de chemin de fer reçoive des renseignements relatifs à la sécurité au moins une fois au cours d'une période de trois ans. VIA Rail offre le programme de sécurité Vélo Plaisir qui est axé sur la sécurité à vélo près des trains. L'organisme à but non lucratif, Parachute, offre maintenant le Programme Traversez en sécurité dans les écoles primaires. On dit que les services de police et les services d'urgence collaborent avec l'industrie à l'exécution des programmes de sécurité dans les écoles et à l'occasion d'événements organisés dans le cadre de la Semaine de sensibilisation de la sécurité ferroviaire. Enfin, les représentants de l'industrie canadienne siègent à des comités d'organismes internationaux qui se soucient de la sécurité ferroviaire et/ou qui organisent des événements liés à la sécurité ferroviaire (p. ex., la Journée internationale de sensibilisation aux passages à niveau, l'Union internationale des chemins de fer, le Programme de vérification de la sécurité et de la sûreté des services de trains de banlieue de l'American Public Transportation Association et l'Association des chefs de police).

Rendement

Constatation sommaire du rendement : Aucune cible de rendement n'a été établie dans le cadre de cet accord; toutefois, on constate un déclin des activités opérationnelles dans le mandat actuel par rapport au mandat précédent. Il y a peu de preuves que les programmes d'Opération Gareautrain aient une incidence sur l'attitude ou les connaissances des participants et aucune preuve de leur incidence sur les comportements de ces derniers. Les données tirées du sondage révèlent que le public est sensibilisé dans une certaine mesure aux problèmes et aux incidents liés à la sécurité ferroviaire.

Constatation n^o 6 : Les produits d'Opération Gareautrain (exposés, autres événements) ont diminué dans le mandat actuel par rapport au mandat précédent.

Même si aucune attente en matière de rendement n'a pas été établie par le Ministère, les personnes interrogées ont souligné à l'unanimité que le présent mandat est difficile pour Opération Gareautrain. Le programme a moins de réalisations à son actif par année au cours du présent mandat qu'au cours du mandat précédent. D'après ses rapports annuels, le nombre d'exposés est passé de 1 521 par an en moyenne au cours de la période précédente à 323 en 2012 et le nombre d'autres événements est passé de 686 par an en moyenne au cours de la période précédente à 226 en 2012 (voir le tableau 2).

Constatation n^o 7 : Les bénévoles d'Opération Gareautrain ont été moins disponibles au cours du présent mandat pour exécuter les programmes d'Opération Gareautrain comparativement au mandat précédent.

Les personnes interrogées ont attribué à l'unanimité le déclin des activités à la disponibilité réduite des bénévoles. On rapporte qu'une pression semblable s'est fait sentir au sein des comités, lesquels sont composés de bénévoles. Ces dernières années, certains membres du Comité de révision des programmes et des comités provinciaux auraient été moins disponibles pour participer aux réunions et contribuer aux travaux des comités (p. ex., élaboration de nouveaux produits, organisation d'événements à venir). Les personnes interrogées ont constamment fait remarquer que le même groupe principal assumait une grande partie de la charge de travail. Après analyse de la banque de données sur les bénévoles, on constate qu'il y aurait une dépendance à quelques organismes, et que 67 % de la formation des bénévoles inscrits actuellement auraient été parrainés par les deux mêmes organismes membres.

Constatation n^o 8 : En 2013, Opération Gareautrain a entrepris d'adopter une approche stratégique officielle pour cerner et régler les problèmes liés aux passages à niveau ou aux intrusions.

Dans l'évaluation d'Opération Gareautrain de 2008-2009, il a été recommandé que l'organisme adopte une approche stratégique pour cerner et régler les problèmes (p. ex., lieux à risque élevé) en matière d'incidents liés aux passages à niveau et aux intrusions. Cette recommandation a été intégrée à l'accord de contribution signé en 2009.

En réponse, les membres du Comité consultatif national ont préparé un plan stratégique quinquennal au printemps 2013. Le plan officiel prévoit une approche démographique visant les groupes à risque élevé. Le plan aurait découlé d'un échange entre les organismes membres du Comité consultatif national, de renseignements, tout particulièrement de nature organisationnelle, qui, dans certains cas, sembleraient provenir d'un processus d'examen régulier et rigoureux.

Constatation n^o 9 : Des preuves qualitatives indiquent que les programmes d'Opération Gareautrain peuvent avoir influencé les attitudes ou les connaissances des participants.

Les programmes d'Opération Gareautrain ne comportent aucune évaluation officielle de l'apprentissage des participants. Cependant, les personnes interrogées ont raconté des anecdotes de leurs expériences lors d'événements publics où des visiteurs estimaient qu'ils avaient appris quelque chose de nouveau dans le cadre de cet événement ou que leurs enfants avaient appris quelque chose à la suite d'un exposé présenté à leur école. De plus, les personnes interrogées se sont entendues sur la grande qualité du matériel didactique produit par Opération Gareautrain, et les personnes ayant elles-mêmes des programmes de sécurité ont indiqué qu'elles utiliseraient ou personnaliseraient le matériel d'Opération Gareautrain dans le cadre d'exposés dans les écoles plutôt que de récréer ce matériel. Cela est conforme aux constatations des deux évaluations antérieures, particulièrement l'enquête de 2008 2009 attestant la qualité du matériel des exposés et des études de cas de 2002 2003 démontrant une meilleure sensibilisation à la suite d'une exposition aux événements d'Opération Gareautrain. Par conséquent, on peut faire valoir de nouveau que l'utilisation de matériel didactique de grande qualité convenant au public cible a probablement eu une certaine incidence sur les croyances et les sentiments des membres du public au cours de la période visée.

Constatation n^o 10 : Un sondage d'opinion publique montre que les Canadiens connaissent les enjeux liés à la sécurité ferroviaire.

En mars 2012, l'Association des chemins de fer du Canada a commandé un sondage d'opinion publique qui comprenait des questions sur la sensibilisation à la sécurité ferroviaire et Opération Gareautrain comme tel. D'après les résultats obtenus de la part de 2 508 répondants, le public est sensibilisé dans une certaine mesure à la sécurité ferroviaire (« 15 % des Canadiens indiquent avoir vu, entendu ou lu quelque chose fait par le secteur ferroviaire pour promouvoir la sécurité ferroviaire ») et à l'activité principale d'Opération Gareautrain (« 5 % des Canadiens indiquent avoir vu, entendu ou lu quelque chose sur la Semaine annuelle de sensibilisation à la sécurité ferroviaire »), mais moins quant à Opération Gareautrain comme tel (c. à d., 16 % de ceux étant sensibilisés à la sécurité ferroviaire, ou environ 2 à 3 % des Canadiens).

Démonstration de l'efficience et de l'économie

Constatation n^o 11 : Le budget du Ministère pour administrer le programme est élevé à 19 % de sa contribution. Les dépenses administratives réelles sont inconnues. Les dépenses administratives du bénéficiaire par rapport à l'exécution du programme ne sont pas claires.

Transports Canada s'est engagé à verser un financement de 1,45 M$ sous la forme d'une contribution de 2009 2010 à 2013 2014. Les dépenses totales sont évaluées à environ 1,8 M$ sur une période de cinq ans (voir plus bas).

Tableau 1 : Affectation ministérielle

	2009-2010	2010-2011	2011-2012	2012-2013	2013-2014	TOTAL
Salaires	41 700 $	41 700 $	41 700 $	71 700 $	41 700 $	238 500 $
RASE	8 340 $	8 340 $	8 340 $	14 340 $	8 340 $	47 700 $
ACF	10 000 $	10 000 $	10 000 $	10 000 $	10 000 $	50 000 $
Contribution	250 000 $	300 000 $	300 000 $	300 000 $	300 000 $	1 450 000 $
TOTAL	310 040 $	360 040 $	360 040 $	396 040 $	360 040 $	1 786 200 $

Les frais généraux ministériels pour le programme de 2009 à 2014 étaient élevés, atteignant près de 19 % du montant du financement. Dans une certaine mesure, le résultat peut être considéré comme un effet secondaire de la faible valeur de la contribution. Cela dit, certaines ressources doivent être consacrées à la surveillance des programmes, et par conséquent les petits programmes comme Opération Gareautrain représenteront un plus grand fardeau administratif par comparaison aux autres activités du Ministère. Les frais généraux réels à l'appui d'Opération Gareautrain ne sont pas bien documentés. L'activité serait gérée de façon informelle. Le temps que la direction et le personnel de TC passent à appuyer le programme de diverses manières (qui comprend, en fonction de l'employé, des examens de demandes d'indemnisation, une participation aux comités d'Opération Gareautrain, un examen du matériel d'Opération Gareautrain, l'élaboration de matériel pour Opération Gareautrain, la présentation d'exposés pour Opération Gareautrain et l'explication du programme au public dans le cadre d'autres événements) n'est pas inscrit et les coûts réels pour le Ministère sont alors inconnus.

L'accord de contribution n'impose pas de plafond aux dépenses administratives d'Opération Gareautrain. {Supprimé AIPRP}. Toutefois, les fonctionnaires ne sont pas en mesure d'utiliser les renseignements financiers fournis par Opération Gareautrain pour distinguer les dépenses salariales d'administration des salaires des consultants qui élaborent des produits de communication ou des personnes qui présentent les programmes de sécurité ferroviaire au public.

Constatation n^o 12 : Les avantages découlant des possibilités d'optimisation s'érodent.

La rentabilité de l'initiative Opération Gareautrain est fondée sur les possibilités d'optimisation qu'elle offre. L'accord exige une contribution de contrepartie de la part du bénéficiaire, l'Association des chemins de fer du Canada. Cette condition a été respectée au moyen de cotisations prélevées auprès des membres de l'Association.

La contribution du Ministère peut également être perçue comme une façon d'obtenir du soutien non financier des organismes membres. {Supprimé AIPRP}. Dans le cas qui nous occupe, les contributions en nature représentent les menues dépenses assumées par les membres des comités ou leurs organismes lorsque les membres assistent aux réunions des comités et par les conférenciers lorsqu'ils effectuent des activités pour Opération Gareautrain. La diminution des contributions en nature est donc une autre manifestation de la réduction de l'optimisation sur le plan des ressources humaines, phénomène auquel on a déjà fait allusion au terme « essoufflement » de la participation des bénévoles.

Conception et mise en œuvre des programmes

Constatation n^o 13 : La surveillance ministérielle d'Opération Gareautrain est excessive compte tenu du niveau de risque présenté par cet accord.

Conformément à la Politique sur les paiements de transfert du Secrétariat du Conseil du Trésor, les programmes de paiement de transfert doivent être conçus, mis en œuvre et gérés de façon à tenir compte des risques (c.-à-d., risques propres à un programme, importance du financement et profil de risque des bénéficiaires) et à clairement démontrer l'optimisation des ressources (section 5). Opération Gareautrain est un accord de faible valeur visant à appuyer les messages de sécurité publique, dont le seul bénéficiaire est un organisme professionnel doté d'une capacité de gestion et une capacité technique importantes. De toute évidence, l'accord comporte un risque relativement faible.

Transports Canada a entrepris de surveiller les dépenses d'Opération Gareautrain au moyen d'un examen trimestriel de ses demandes de remboursement, de surveiller ses activités en participant aux comités d'Opération Gareautrain, de surveiller son rendement dans le cadre d'un examen des rapports annuels et de fournir une orientation technique et un soutien en participant aux réunions de son Comité consultatif national. Par conséquent, les fonctionnaires sont actuellement membres de tous les comités d'Opération Gareautrain et du Groupe de travail sur les communications d'Opération Gareautrain. En raison du faible risque que représente l'accord et du degré de sophistication des organismes membres, il semblerait que le temps consacré par les fonctionnaires à la surveillance et/ou à la supervision d'Opération Gareautrain soit trop élevé.

Constatation n^o 14 : Des lacunes sont apparentes sur le plan de la surveillance.

Malgré la présence de Transports Canada au sein des comités d'Opération Gareautrain et les documents reçus du bénéficiaire, il semblerait y avoir des lacunes sur le plan de la surveillance.

Premièrement, tel que mentionné, les demandes de remboursement ne présentent pas assez de détails pour permettre aux fonctionnaires d'examiner les dépenses importantes au chapitre des salaires, des avantages et des contrats afin de différencier les dépenses liées aux frais généraux et celles liées à l'exécution des programmes. Deuxièmement, étant donné qu'aucun objectif n'a été fixé pour le bénéficiaire, le rendement peut être décrit, mais le niveau de réussite ne peut être évalué. Troisièmement, certaines exigences en matière d'établissement de rapports dans l'accord actuel sont mal définies ou difficilement réalisables pour un accord de cette ampleur (p. ex., le rapport sur les répercussions de fin de mandat). Quatrièmement, la surveillance de la demande et des activités d'Opération Gareautrain en participant aux réunions des comités d'Opération Gareautrain signifie que le Ministère respecte les décisions prises par Opération Gareautrain concernant les activités qu'il financera après que le Ministère ait signé l'accord de contribution et que le versement des fonds ait commencé.

Constatation n^o 15 : Les employés de TC entreprennent des activités pour lesquelles Opération Gareautrain reçoit un financement sous la forme d'une contribution.

En réponse à l'examen de 2007 de la Loi sur la sécurité ferroviaire, le Ministère a mis sur pied un programme de sensibilisation à la sécurité ferroviaire. Auparavant, en l'absence d'un programme de sensibilisation à la sécurité ferroviaire propre au Ministère, les personnes interrogées ont indiqué qu'Opération Gareautrain servait d'outil de sensibilisation pour le Ministère. Par conséquent, il ne semblait pas anormal que les fonctionnaires participent à l'exécution des programmes d'Opération Gareautrain.

En créant un programme officiel de sensibilisation au Ministère, l'intention était de veiller à ce que les activités de Transports Canada soient complémentaires à celles d'Opération Gareautrain et qu'elles ne fassent pas double emploi. Toutefois, les fonctionnaires continuent de faire des présentations sur Opération Gareautrain dans les écoles. Par ailleurs, grâce à leur participation aux réunions des comités d'Opération Gareautrain, les fonctionnaires continuent de travailler pour Opération Gareautrain d'autres façons, comme donner de la formation, élaborer du matériel didactique et planifier les événements et les présentations à venir dans les régions. La plus récente description de travail fournie pour les agents de la promotion de la sécurité indique que leur rôle est de « préparer des séances d'information et de sensibilisation en matière de sécurité et de les présenter à des écoles et des organisations du secteur privé […] dans le cadre d'Opération Gareautrain et dans d'autres contextes ».

Il est important de noter que le rôle des fonctionnaires concernant les paiements de transfert est de gérer l'accord comme tel (p. ex., s'acquitter des paiements et vérifier que le bénéficiaire respecte les modalités de l'accord), et non d'administrer le projet ou de réaliser les activités du projet.

Conclusions

La sensibilisation du public à la sécurité ferroviaire est un besoin permanent. Cette activité s'harmonise avec les résultats stratégiques du Ministère et du gouvernement fédéral en général et est largement perçue comme une responsabilité partagée avec d'autres ordres de gouvernement et l'industrie ferroviaire.

Même si aucun objectif de rendement ou d'exécution n'a été fixé dans l'accord conclu avec l'Association des chemins de fer du Canada pour Opération Gareautrain, on a constaté un déclin des activités organisationnelles du mandat actuel comparativement au mandat précédent. Les répercussions d'Opération Gareautrain sur les attitudes, les connaissances ou les comportements des participants sont très peu documentées; toutefois, selon les données tirées du sondage d'opinion publique, le grand public est sensibilisé dans une certaine mesure aux questions et aux événements en matière de sécurité ferroviaire.

Des améliorations peuvent être apportées à la gestion de ce programme par le Ministère. Étant donné la faible valeur de contribution associée à Opération Gareautrain, l'administration de cette dernière est relativement coûteuse. De plus, étant donné que le Ministère et le bénéficiaire participent à la réalisation d'activités semblables, il est important de veiller à ce qu'un modèle de prestation adéquat assorti de modalités particulières soit déterminé pour ce programme.

Recommandations

1. Le Groupe des programmes, en consultation avec la Sécurité ferroviaire, devrait clairement définir les activités qu'il s'attend à ce qu'Opération Gareautrain réalise, tout en veillant à ce que les activités complètent les propres efforts de sensibilisation du Ministère, et ce, proportionnellement au niveau de financement offert.
2. Transports Canada devrait adapter ses activités de surveillance de l'accord de contribution pour mieux refléter l'importance et le niveau de risque de ce dernier. Particulièrement, TC devrait exiger un rapport annuel du bénéficiaire portant principalement sur les activités décrites dans l'accord de contribution.

Plan d'action de la direction

Recommandations	Mesure proposée	Date d'achèvement prévue	BPR
Le Groupe des programmes, en consultation avec la Sécurité ferroviaire, devrait clairement définir les activités qu'il s'attend à ce qu'Opération Gareautrain réalise, tout en veillant à ce que les activités complètent les propres efforts de sensibilisation du Ministère, et ce, proportionnellement au niveau de financement offert.	Le Groupe des programmes et la Sécurité ferroviaire travailleront ensemble pour s'assurer que les activités d'Opération Gareautrain sont conformes et complémentaires aux efforts de sensibilisation déployés par TC. Pour veiller à ce que les activités menées par le bénéficiaire d'Opération Gareautrain soient conformes aux efforts de sensibilisation déployés par TC, TC exigera que l'ACFC présente une demande de financement. Le processus de demande sera soutenu par une nouvelle version du Guide du demandeur qui définira clairement les objectifs et les activités particulières et qui exigera une stratégie de mesure du rendement pour l'établissement de rapports sur ses activités.	Avril 2014	Directeur général, Programmes de gérance et de transport durable
Transports Canada devrait adapter ses activités de surveillance de l'accord de contribution pour mieux refléter l'importance et le niveau de risque de ce dernier. Particulièrement, TC devrait exiger un rapport annuel du bénéficiaire portant principalement sur les activités décrites dans l'accord de contribution.	L'accord de contribution pour le programme comprendra une exigence concernant la production d'un rapport annuel comportant assez de détails pour assurer la surveillance des dépenses et les progrès réalisés dans l'atteinte des objectifs TC modifiera la conception du programme pour assurer qu'il ne participe pas directement à la réalisation des activités d'Opération Gareautrain.	Mise en œuvre Automne 2013	Directeur général, Programmes de gérance et de transport durable

À propos de l'évaluation

Méthode d'évaluation

L'initiative Opération Gareautrain a déjà été évaluée en 2003 et en 2009. La présente évaluation porte sur les dépenses, les activités et les résultats du programme de l'exercice 2009 2010 jusqu'à l'exercice actuel (2012-2013). Conformément à la Politique sur l'évaluation du Secrétariat du Conseil du Trésor, l'évaluation permet de déterminer la pertinence et le rendement du programme et, plus particulièrement, les préoccupations et les questions existantes relativement au programme, en prenant comme point de départ les modalités d'établissement de la preuve de l'évaluation de 2009 et en évaluant les mesures de suivi en réponse aux recommandations de l'évaluation de 2009.

L'évaluation a été réalisée au moyen de modalités d'établissement de la preuve comportant différentes méthodes, notamment :

• une recherche documentaire ciblée sur les travaux de recherche sur la prévention des incidents ferroviaire publiés depuis 2007;

• une analyse des médias pour la période s'étendant de 2004 à aujourd'hui afin d'obtenir des renvois à Opération Gareautrain ou à la promotion de la sécurité ferroviaire dans les médias populaires à l'échelle nationale et internationale;

• un examen des lois, des politiques et des documents de programme du gouvernement fédéral et du Ministère;

• un examen des statistiques sur l'industrie ferroviaire produites par le Bureau de la sécurité des transports du Canada et l'Association des chemins de fer du Canada;

• un examen des documents d'Opération Gareautrain comme les rapports annuels, le plan stratégique, les comptes rendus des réunions des comités, le matériel préparé à l'intention du public et les données administratives;

• des entrevues semi structurées avec les employés de l'Administration centrale et des Régions de la Direction générale de la sécurité ferroviaire et des Programmes environnementaux et des programmes de transport de Transports Canada (onze au total) et les représentants du bénéficiaire et de l'entité financée (sept au total).

Conformément à la Directive sur la fonction d'évaluation (2009) du Secrétariat du Conseil du Trésor, les questions suivantes ont été posées dans le cadre de l'évaluation :

1. Le programme est-il toujours nécessaire?

2. Le programme s'harmonise-t-il aux priorités actuelles du gouvernement fédéral?

3. Le programme appuie-t-il les priorités ministérielles actuelles?

4. Les résultats attendus ont-ils été atteints grâce à la mise en œuvre du programme?

5. Les ressources ont-elles été utilisées de façon efficace et économique sur le plan de l'exécution du programme?

Limitations

La collecte de données primaires pour l'évaluation s'est limitée aux entrevues avec les fonctionnaires et les intervenants. Aucun sondage ou groupe de discussion n'a été organisé pour tenter d'évaluer les répercussions du programme. Pour surmonter cette limitation, la direction d'Opération Gareautrain et les membres du conseil national ont été invités à fournir tout document qui pourrait porter sur le niveau d'intervention (p. ex., évaluation des connaissances avant et après les séances) ou les répercussions au niveau du programme. Une recherche documentaire ciblée a également été menée pour obtenir des preuves que les campagnes de sensibilisation du public à la sécurité ferroviaire avaient été efficaces ailleurs au cours des dix dernières années environ, et pour examiner les mesures d'intervention en matière de sécurité ferroviaire qui ont été adoptées et évaluées au cours de cette période. Une deuxième limite tient au fait que l'évaluation est fondée sur un petit groupe de personnes interrogées représentant le gouvernement et le bénéficiaire. Pour maximiser le caractère adéquat de la portée tout en limitant le nombre absolu de personnes interrogées, la haute direction du Ministère a été consultée dans le cadre de l'élaboration de la liste et on a demandé aux représentants du bénéficiaire de déterminer les personnes avec qui nous devrions discuter. Un noyau de personnes a été mentionné à plusieurs reprises; ce noyau a donc participé à l'évaluation.

Cette évaluation repose davantage sur des données secondaires que sur des données primaires. Les renseignements de nature administrative du bénéficiaire, c'est-à-dire les données sur les finances et les données sur le rendement, représentent une source clé d'information secondaire. Les deux types de données sont limités dans une certaine mesure. Les données sur les finances ne sont pas vérifiées, et les rapports annuels du mandat précédent (servant de données comparatives) contiennent des erreurs qui, dans certains cas, ont été reproduites. Lorsque les données peuvent être validées par deux sources ou plus (p. ex., les renseignements préparés par l'administration actuelle pour cette évaluation par rapport aux rapports annuels précédents et à l'évaluation de 2009), ces chiffres sont utilisés. Les dépenses par catégorie figurant dans les rapports annuels ne peuvent être validées de cette façon, et les chiffres peuvent alors ne pas être exacts. Pour toutes les années, la répartition par catégorie de dépenses est illustrée comme il est indiqué dans les rapports annuels d'Opérations Gareautrain. Les données sur le rendement ont été entrées par les bénévoles et, bien que claires et simples, les données brutes contiennent des lacunes et se chevauchent lorsque deux bénévoles ou plus ont participé aux mêmes événements. Par conséquent, les données doivent être épurées, et il faut faire des analyses pour résumer l'information aux fins de rapports et d'évaluation. Les représentants d'Opération Gareautrain ont résumé les renseignements à notre demande, mais le résumé fourni par la nouvelle administration pour 2009 à 2012 n'était pas conforme au résumé figurant dans le rapport de 2012 pour les mêmes années formulé par l'ancien directeur. Pour ce qui est des comparaisons avec le mandat précédent, l'évaluation est fondée sur le résumé du rendement préparé par l'ancien directeur. Pour ce faire, le nombre total d'exposés et d'autres événements reconnu par l'évaluation est de 5 % et 43 % plus élevé respectivement.

Figure 1

Modèle logique pour le programme de contribution appuyant Opération Gareautrain

Secteur d'activité	Portée	Résultats immédiats	Résultats intermédiaires	Résultat ultime
Fournir un financement à l'Association des chemins de fer du Canada pour Opération Gareautrain Coprésider le Comité consultatif national d'Opération Gareautrain Fournir des avis et des directives au Comité consultatif et au directeur national d'Opération Gareautrain Surveiller les priorités, les activités et les résultats du programme	Jeunes (écoles, groupes sociaux comme les scouts) Conducteurs professionnels (camionneurs, conducteurs de véhicules d'urgence, d'autobus scolaires) Collectivités ciblées Usagers récréatifs du domaine ferroviaire (p. ex., chasseurs, motoneigistes) Bandes autochtones Autorités policières Employés des compagnies de chemin de fer Conseils de la sécurité Autres parties intéressées	Mise en évidence des secteurs problématiques liés aux passages à niveau et aux intrusions sur les emprises Élaboration de stratégies de traitement des secteurs problématiques recensés Exécution de programmes de sécurité (exposés, salons professionnels, conférences, matériel promotionnel, exercices de simulation d'une catastrophe)	Sensibilisation accrue aux dangers liés aux passages à niveau et aux intrusions dans le domaine ferroviaire Adoption de pratiques sécuritaires en ce qui concerne les passages à niveau et les intrusions sur les emprises	Renforcement de la sécurité Hausse de la confiance du public envers la sécurité du système des chemins de fer

Source : Le modèle est fondé sur celui présenté dans le cadre de mesure du rendement d'Opération Gareautrain (2009)

Tableau 2 Statistiques sur les incidents, les finances et les activités

Année civile	2005	2006	2007	2008	2009	2010	2011	2012
Statistiques de l'industrie (provenant du sommaire statistique des événements ferroviaires 2012 du Bureau de la sécurité des transports du Canada, tableau 1)
Volumes du transport ferroviaire (millions de trains-milles en voie principale)	85.8	86.9	84.5	83.1	72.2	77.6	78.4	80.1
Tous les incidents	1 476	1 371	1 320	1 179	1 043	1 074	1 022	1 011
Pourcentage d'incidents liés aux passages à niveau	18 %	18 %	17 %	19 %	18 %	17 %	17 %	18 %
Pourcentage d'incidents liés aux intrusions	6 %	7 %	8 %	6 %	7 %	8 %	7 %	7 %
Incidents devant être signalés	245	220	223	216	207	160	204	204
Décès liés aux incidents devant être signalés	103	95	84	74	71	81	71	82
Pourcentage d'incidents liés aux passages à niveau	36 %	29 %	30 %	35 %	27 %	30 %	35 %	35 %
Pourcentage d'incidents liés aux intrusions	62 %	62 %	67 %	64 %	73 %	68 %	63 %	60 %
Blessures graves liées aux incidents devant être signalés	78	71	58	64	50	62	52	72
Pourcentage d'incidents liés aux passages à niveau	71 %	41 %	36 %	56 %	42 %	45 %	42 %	44 %
Pourcentage d'incidents liés aux intrusions	22 %	39 %	47 %	31 %	32 %	31 %	40 %	29 %
Statistiques des compagnies de chemin de fer (provenant des Tendances ferroviaires 2012 de l'Association des chemins de fer du Canada)
Produits marchandises par tonne-km (dollars par tonne)	28,22	30,63	31,04	34,44	34,55	33,71	33,70
Produits d'exploitation (en millions de dollars)	9 940	10 613	10 704	11 197	10 034	10 768	11 532
Nombre moyen d'employés	35 389	34 558	34 938	35 208	32 337	32 565	33 624
Statistiques du bénéficiaire (provenant des rapports annuels non vérifiés d'Opération Gareautrain)
Bénévoles actifs (nombre)					257	256	162	307
Visiteurs uniques – Site Web d'Opération Gareautrain						7 833		17 856
Exposés	1 463	1 643	1 533	1 446	1 568	596	538	323
Autres événements	667	693	316	371	1 381	561	110	226
Moyenne des dépenses par événement (dollars)	288	252	333	278	184	548	957	1 122
Données financières (provenant de rapports annuels 2006, 2008-2012; contributions, autres revenus, services de soutien, contribution en nature fournis par Opération Gareautrain)
Contribution de TC (dollars)	250 000	231 500	250 000	250 000	250 000	300 000	300 000	300 000
Contribution de l'ACFC (dollars)	250 000	231 500	250 000	250 000	271 943	333 818	320 406	315 628
Autres revenus (dollars)	113 786	125 571	115 966	4 854	3 550	0	200	400
Total des revenus (dollars)	613 786	588 571	615 966	504 854	525 493	633 818	620 606	616 028
Salaires, avantages, services contractuels (dollars)	229 381	232 035	235 346	281 694	295 225	352 049	416 272	412 142
Subventions et dons (dollars)	36 190	39 010	91 477	61 331	48 653	35 873	27 996	33 562
Autres dépenses (dollars)	416 064	360 811	297 620	211 212	178 065	245 896	171 378	169 924
Total des dépenses (dollars)	681 635	631 856	634 042	554 237	521 943	633 818	615 646	615 628
Services de soutien de l'ACFC	Supprimé AIPRP
Contribution en nature

Documents examinés

Gouvernement du Canada

Loi sur le ministère des Transports (L.R.C. (1985), ch. T-18)
http://laws-lois.justice.gc.ca/fra/lois/T-18/

Loi sur la sécurité ferroviaire (L.R.C. (1985), ch. 32 (4^e suppl.)
http://laws-lois.justice.gc.ca/fra/lois/R-4.2/

Transports Canada

Rapport final (2003) des Services d'évaluation et de conseils – Vérification du programme Opération Gareautrain.

Rapport final (2009) des Services d'évaluation – Évaluation de la contribution de TC à Opération Gareautrain.

Sécurité ferroviaire (2010) Guide de mise en place et d'amélioration des systèmes de gestion de la sécurité ferroviaire.

Secrétariat du Conseil du Trésor (2008) Politique sur les paiements de transfert
http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?section=text&id=13525

Secrétariat du Conseil du Trésor (2013) Cadre pangouvernemental
http://www.tbs-sct.gc.ca/ppg-cpr/frame-cadre-fra.aspx

Opération Gareautrain

Comptes rendus des réunions du Comité consultatif national (de 2010 à 2013).

Comptes rendus des réunions du Comité de révision des programmes (2009, de 2011 à 2013).

Comptes rendus des réunions des comités provinciaux d'Opération Gareautrain du Nouveau Brunswick (2009, 2010), de la Nouvelle-Écosse (de 2009 à 2013), de Terre-Neuve-et-Labrador (de 2010 à 2012), de l'Ontario (de 2012 à 2013), du Québec (de 2010 à 2013).

Rapports annuels d'Opération Gareautrain de 2006, 2008, 2009, 2010, 2011 et 2012.

Opération Gareautrain (2013) Plan stratégique quinquennal 2012-2017 (ébauche no 2).

Mandat du Comité consultatif national, du Comité de révision des programmes et des comités provinciaux d'Opération Gareautrain de l'Alberta, du Nouveau-Brunswick, de la Nouvelle-Écosse et de l'Ontario.

Association des chemins de fer du Canada

Léger Marketing (2012) Perceptions of the Railway Industry in Canada a public opinion poll commissioned by the Railway Association of Canada (Summary Deck of Project # 11575_004).

Association des chemins de fer du Canada (2012) Tendances ferroviaires 2012.
http://www.railcan.ca/assets/images/publications/2012_Rail_Trends/2012_RAC_TrendsFR_Jan17a.pdf

Recherches universitaires citées

Lobb, B. (2006) Trespassing on the tracks: A review of railway pedestrian safety research. Journal of Safety Research 37(4), 359-365.

Lobb, B.; Harré, N.; & Suddendorf, T. (2001) An evaluation of a suburban railway pedestrian crossing safety programme. Accident Analysis and Prevention 33(2), 157-165.

Lobb, B.; Harré, N.; & Terry, N. (2003) An evaluation of four types of railway pedestrian crossing safety intervention. Accident Analysis and Prevention 35(4), 487-494.

Silla, A.; & Kallberg, V. (2012) The development of railway safety in Finland. Accident Analysis and Prevention 45:737-744.

Silla, A.; & Luoma, J. (2011) Effect of three countermeasures against the illegal crossing of railway tracks. Accident Analysis and Prevention 43(3), 1089-1094.

Bases de données consultées

Bureau de la sécurité des transports du Canada (2013) Statistiques sur les incidents ferroviaires.
http://www.tsb.gc.ca/fra/stats/rail/index.asp

Opération Gareautrain (2013) extraits de la base de données de 2009 à 2012 fournis par l'administration d'Opération Gareautrain.