Původní hrad byl vystavěn na místě staršího hradiště zvíkovským purkrabím Purkartem z Janovic ve 2. polovině 13. století. Od konce 14. století jej vlastnili vladykové ze Sulevic. V roce 1470 byl majitelem hradu proslulý válečník Václav Vlček z Čenova. V roce 1479 bylo za Petra Kaplíře ze Sulevic spojeno městečko i hrad v jediný opevněný celek a při té příležitosti byla postavena předsunutá pevnůstka Haselburg. Od roku 1494 patřil hrad Malovcům z Chýnova, za nichž proběhla přestavba hradu v zámek. Poté následovali další majitelé. Poslední přestavba zámku proběhla v roce 1857. V objektu zámku pak byly umístěny úřady a kasárna.
V současnosti zámek plní úlohu především jako muzeum.