Již od začátku 14. století zde stávala tvrz pánů z Velhartic. Při jejím obléhání v roce 1421 přišel Jan Žižka o své druhé oko, husité poté hrad dobyli. Ve století patnáctém byl hrad přestavěn a došlo k jeho podstatnému rozšíření. Během třicetileté války byl vypleněn a v 18. století vyhořel, jeho částečná renovace probíhá od roku 1920.
V současnosti je v tomto největším hradě v Čechách umístěno i malé muzeum a je národní kulturní památkou.