Narozen v Praze. V letech 1938–1941 zpíval v Kühnově dětském sboru a dirigoval též otcův amatérský dechový soubor. Studoval na reálném gymnáziu. 1944–1945 byl vězněn v koncentračním táboře Terezín, v roce 1947 maturoval. Již v letech 1938–1943 se soukromě učil hudební teorii a skladbě u O. Jeremiáše a v letech 1945–1947 u J. Řídkého, 1941–1947 studoval klavír u E. Grünfeldové a dirigování u P. Dědečka (1946–1948). V letech 1945–1948 byl korepetitorem Českého pěveckého sboru, 1948–1952 studoval na dirigentském oddělení Hudební fakulty AMU u M. Doležila, K. Ančerla a R. Brocka.
V letech 1948–1958 byl korepetitorem Opery Národního divadla (od roku 1951 také dirigoval operní představení). V roce 1956 zvítězil v mezinárodní soutěži dirigentů v Besançonu, 1958–1962 byl šéfem opery v Olomouci, 1962–1966 šéfem opery Státního divadla Ostrava. Po získání 1. ceny v mezinárodní dirigentské soutěži o cenu D. Mitropoulose v New Yorku v roce 1963 byl rok asistentem L. Bernsteina v Newyorské filharmonii (1963/1964). V letech 1965–1967 byl dirigentem FOK a současně (od 1965) hostoval na pozvání W. Felsensteina v Berlíně (Komische Oper), kde byl 1967–1968 angažován jako šéfdirigent. V letech 1971–1976 působil jako šéfdirigent Slovenského národného divadla Bratislava a zároveň byl od roku 1976 dirigentem České filharmonie. Od 1. 1. 1980 do 31. 7. 1985 byl šéfem Opery ND, od 1. 2. 1989 do 31. 7. 1991 šéfdirigentem ND.
Pracoval s různými čs. symfonickými orchestry, nahrával na desky (získal cenu Supraphonu za rok 1971 a Zlatý štít Pantonu 1979 za nahrávky české soudobé hudby). Často dirigoval koncerty i operní představení v četných evropských zemích, v USA a zejména v Japonsku (pravidelně od roku 1968). V Tokiu (operní společnost Nikikai) nastudoval Mozartovu operu Cosi fan tutte (1976), Únos ze serailu (1976) a Figarovu svatbu (1980). 16. 11. 1992 mu byla udělena prémie Českého hudebního fondu za vynikající výkon roku 1991 za provedení skladby M. Kopelenta Legenda o sv. Vojtěchu.
Syn violisty orchestru ND Václava Košlera, bratr sbormistra Miroslava Košlera, manžel tanečnice ND Jany Svobodové. Pohřben je na Olšanských hřbitovech v Praze (IX, 16, 194-5).