Narozen v Miletíně (u Jičína), zemřel v Praze. V letech 1825–1831 studoval na gymnáziu v Hradci Králové, v letech 1831–1833 tzv. filozofii a 1833–1837 práva v Praze. Za studií se účastnil literárních a společenských podniků mladé pokrokové inteligence; již tehdy se též seznámil s F. Palackým, s nímž se pak stýkal a spolupracoval po celý život, a začal se hlouběji zajímat o studia historická a národopisná.
V roce 1837 nastoupil úřednické místo u soudu, zpočátku bezplatné; později jako zaměstnanec Královské společnosti nauk a jako sekretář Českého muzea často konal dlouhé studijní cesty do venkovských archivů. Za revoluce roku 1848 sdílel politické názory Palackého a v jejich smyslu se účastnil veřejného dění. V červenci 1851 byl zvolen archivářem města Prahy, od roku 1864 do konce života byl ředitelem spojených pomocných kancelářských úřadů města Prahy. Obnoveného politického života na počátku 60. let se stranil, odmítl kandidovat do zemského sněmu. Účastnil se spolkového ruchu, byl spoluzakladatelem Hlaholu, Historického spolku, Umělecké besedy.
Z Erbenových národopisných a historických studií vznikly rozsáhlé edice; vydal Písně národní v Čechách, Prostonárodní písně a říkadla, Vybrané báje a pověsti národní jiných větví slovanských, připravil sbírku národních pohádek (České pohádky), vydal Výbor ze starší české literatury, díla M. J. Husa, T. Štítného, J. A. Komenského aj. Vedle této činnosti vznikala i Erbenova vlastní literární tvorba, započatá v roce 1837 veselohrou Sládci, která vznikla pro potřeby ochotnického divadla. Mezi jeho nejznámější díla patří básnická sbírka Kytice (1853).
Je pohřben v Praze na Olšanských hřbitovech (V, 11, 44a).