Narozen v Moravských Budějovicích, zemřel v Praze. V letech 1887–1890 studoval na varhanické škole v Praze. Poté dlouho působil jako učitel hudby, zpěvák (tenor), sbormistr v cizině (1894–1898 v jugoslávské Šabaci). V letech 1898–1899 jako sbormistr vedl Zpěvácký spolek slovanský ve Vídni (v této době byl dopisovatelem hudebního časopisu Dalibor). V letech 1898–1920 byl angažován v Hofoper ve Vídni (od roku 1898 jako člen operního sboru, od roku 1899 jako zástupce sbormistra). Současně v letech 1901–1920 byl sbormistrem Lumíra, významného zpěváckého spolku vídeňských Čechů.

Ve Vídni se seznámil s Karlem Kovařovicem, který se ho po skončení 1. světové války snažil získat pro Národní divadlo, ale jeho návrh nenašel zprvu u intendance porozumění (podle Stanov Ústavu penzijního pro členy ND z roku 1902 nesměli být do ND přijímáni umělci starší 40 let). Do funkce sbormistra byl Herle přijat až za éry Otakara Ostrčila 1. 4. 1921 a v angažmá ND setrval do 31. 7. 1936. V letech 1921–1939 byl rovněž sbormistrem Hlaholu pražského, s nímž vystupoval i v zahraničí. Věnoval se také kompozici sborů, písní a církevní hudby.

Otec zpěvačky, členky operního sboru ND, Věry Herleové.