Narozen v Rakovníku, zemřel v Praze. Po třech třídách reálky studoval na pražské konzervatoři (housle 1888–1891 u F. Lachnera, 1891–1895 u A. Bennewitze; v teorii a skladbě se vzdělal u K. Knittla a K. Steckra). Za vojenské služby (1895–1898) sólový houslista 4. pluku ve Vídni, poté zde působil jako učitel hudby a vypomáhal v orchestru dvorní opery.
Od 1. 9. 1901 do 31. 12. 1902 houslista České filharmonie (po měsíci koncertní mistr). Založil Heroldovo smyčcové kvarteto (1902–1906), které koncertovalo doma i v cizině. Vystřídal O. Nedbala u violového pultu v Českém kvartetu (od léta 1906) a skvěle zde osvědčil své výjimečné předpoklady ke komorní hře. Od 1922 se stal profesorem komorní hry na pražské konzervatoři. Svým velkým uměním, které v sólové hře uplatňoval zejména od 1930, podnítil vznik nových skladeb pro violu (např. Suitu pro sólovou violu L. Vycpálka, 1930). Zemřel v pražském rozhlase při zkoušce na Berliozovu symfonii s violovým sólem Harold v Itálii.
Skladatelsky se omezil na skladby pro housle a pro violu. Vedle záliby ve hvězdářství se zabýval soustavně houslařstvím. Ve své amatérské dílně opravil a za 22 let práce vyrobil mnoho znamenitých a ceněných nástrojů; jeho housle byly vyznamenány Říšskou cenou na mezinárodní výstavě ve Frankfurtu nad Mohanem (1927).
Otec basisty Jiřího Herolda.