Úkolem mohutné válcové věže obehnané hradbou, která byla postavena někdy po roce 1479, bylo chránit problémové místo obrany zdejšího zámku. V roce 1531 získal Haselburg
dočasnou samostatnost, připadl totiž při dělení majetku Petru Malovcovi z Chýnova, přičemž zámek získal jeho bratr Jan.
Po roce 1729 měla být malá pevnost, která již svůj původní účel dávno neplnila, zbořena, došlo ale jen k částečnému rozebrání hradeb a stavba se dochovala do dnešních dnů.