V zgodovino Olimpije se je vpisal kot eden največjih trenerjev. Na klopi zmajev je Elsner skupaj sedel štiri sezone, leta 1965 je klub popeljal tudi do prve jugoslovanske zvezne lige. Pod njegovim vodstvom sta v članskem moštvu debitirala Danilo Popivoda in Branko Oblak.

Velik pečat je pustil v Avstriji, kjer je vodil tudi reprezentanco, in sicer leta 1975 in v obdobju med 1985 in 1987. Pohvalil se je lahko, da je pod njegovim vodstvom Avstrija na Dunaju s 4:1 premagala Nemčijo. Za življenjsko delo je leta 1999 prejel Bloudkovo nagrado.

Branku Elsnerju zdravstvene težave v zadnjih letih niso prizanašale. Zaradi dveh operacij hrbtenice je težko hodil, nato pa je zbolel še za alzheimerjevo boleznijo.

V njegovo čast se bo tekma 19. kroga prve lige med Olimpijo in Domžalami začela z minuto molka, nogometaši Olimpije pa bodo na srečanju nosili žalne trakove. Tudi na preostalih tekmah so se v čast velikanu slovenskega nogometa odločili za minuto molka.