Narozen v Protivíně, zemřel v Praze. Vyučil se truhlářem (1932), prošel řadu zaměstnání, pracoval jako číšník, nádeník a nakladatelský redaktor, od 1943 se věnoval umělecké tvorbě. Spoluzakladatel (s J. Chalupeckým) a teoretik Skupiny 42, člen Umělecké besedy, skupiny Křižovatka. R. 1952 byl zatčen, 1953 amnestován. Do r. 1948 a poté opět od 60. let navštěvoval různé evropské země, USA, Brazílii, Japonsko, mj. byl v letech 1978–1979 na stipendiu v západním Berlíně. Od r. 1980 žil v Paříži, francouzské občanství získal r. 1984.

Kolář byl průkopníkem nového pojetí umění. V 50. letech opustil tradiční skladbu básnického textu a směřoval k intermédiím v přesahu do výtvarné oblasti. Údobí evidentní poezie (Básně ticha, 1965) charakterizuje tvorba koláže; využíval a později nově rozvíjel její modifikované principy (chiasmáže, muchláže, proláže), objevil roláž. Od 60. let směřoval od nové geometrické abstrakce přes vizuální poezii, estetiku, techniku objektu k pop-artu a konceptuálnímu umění (Anděl).

Autor básnických knih (Ódy a variace, 1946; Náhodný svědek, 1964; Vršovický Ezop, 1966), divadelních her (Chléb náš vezdejší, 1958–1959), esejů (Snad nic, snad něco, 1965), dětských knih (Kocourkov, 1959), editor mnoha publikací (Revue K.). Řada jeho děl byla vydána v samizdatu nebo v zahraničí (Roky v dnech, Očitý svědek, Prométheova játra). Publikoval v četných domácích i zahraničních časopisech (Volné směry, Literární noviny, Kvart, Výtvarné umění, Literární listy); překládal z angličtiny (W. Whitman, T. S. Eliot, E. L. Masters) i z francouzštiny (S. Beckett, Saint-John Perse) a z němčiny.

Pohřben je v Praze na Vinohradském hřbitově (C, 11).