Zřícenina Kozí Hrádek leží asi 3 km východně od Sezimova Ústí a necelých 6 km jihovýchodně od Tábora. První písemná zmínka o hrádku pochází z roku 1377, tehdy byl v držení Vlčka z Kozího, po něm následoval Jan z Hardeka, od roku 1391 pak Jindřich z Hradce a od roku 1406 Viléma z Újezda. Dále následovali Oldřich Vavák z Hradce, Ctibor z Kozího či Anna Mochovská, byli to přívrženci mistra Jana Husa, který zde od léta 1413 nalezl útočiště. Zde i v okolí Kozího Hrádku kázal, pracoval na svých dílech a dokončil zde své významné dílo Postila. Působil zde až do 15. července 1414, kdy odešel na hrad Krakovec. V říjnu pak nastoupil svou poslední cestu do Kostnice, kde byl za své názory upálen.
V roce 1438 hrad vyhořel, pravděpodobně byl vyloupen a vypálen žoldnéři Albrechta II. Habsburského při obléhání Tábora.
V roce 1542 je již hrad uváděn jako pustý a celá staletí sloužil v širším okolí jako zdroj stavebního kamene a postupem doby zarostl stromy a keři.
Na konci 19. století byly započaty práce na odkrývání zbytků hradu, v první polovině 20. století pak bylo odkryto torzo hradu, bylo odborně prozkoumáno a zakonzervováno. Další opravné práce následovaly po roce 1970.
Díky spojení se životem Jana Husa byl Kozí Hrádek v roce 1962 prohlášen za národní kulturní památku.