Narozen ve Vadíně (Vadín-Okrouhlice) u Havlíčkova Brodu, zemřel v Praze. Učil se soukromě malovat u K. Reisnera, V. Županského a F. Ženíška. Po dvou letech studia na Uměleckoprůmyslové škole (1907–1909) se marně snažil dostat na pražskou Akademii výtvarných umění. Jako malíř se prosadil již koncem prvého desetiletí 20. století. Symbolismus, dekadence a secese se dotkly tvorby Zrzavého jen okrajově, jejich reminiscence probleskuje však celým jeho dílem. Formálně mu byl nejbližší expresionismus a kubismus.

Ve 20. a 30. letech vytvářel figurální kompozice i obrazy ze svých cest, v nichž usiloval zachytit vlastní vnitřní prožitek ze zobrazovaného objektu. Do tohoto období spadá i jeho první scénická výprava pro Národní divadlo (Mozartův Idomeneus, král krétský). Ve scénických návrzích, ať realizovaných či nerealizovaných (Weber: Čarostřelec, 1940; Škroup: Kolumbus, 1942 aj.), vystupuje Zrzavý především jako mistr imaginativní a poetické malby. K převážné většině svých scénických výprav si navrhl i kostýmy v souladu s barevností a tektonikou dekorace. Jeho režijním partnerem byl nejčastěji Ferdinand Pujman, neboť malířsky kultivovaná osobitá scénografie Zrzavého byla věnována výhradně hudebnímu divadlu.

Pohřben je na Katolickém hřbitově v Krucemburku (okr. Havlíčkův Brod).