Hrad Rýzmberk byl založen ve 2. polovině 13. století rodem Drslaviců a to jako pohraniční pevnost. Jeho úkolem bylo střežit zemskou stezku, která vedla přes Všerubský průsmyk do bavorského Regensburgu.
V průběhu historie prošel hrad několika přestavbami. První z nich proběhla v 1. polovině 14. století, následovaly rekonstrukce po velkém požáru v roce 1448 a významná přestavba za Břetislava Švihovského z Rýzmberka po roce 1508.
V roce 1620 byl hrad dobyt císařskými vojsky, za Třicetileté války v roce 1641 hrad dobyli a zpustošili Švédové. Na základě nařízení Ferdinanda III. o boření hradů byl v r. 1655 Rýzmberk zničen a již roku 1676 se hrad o hradu píše jako o zřícenině.
V letech 1846 až 1847 byla Stadionskými postavena nad baštou hranolová rozhledna. Roky 1935 a 1936 pak přinesly stavbu dřevěného amfiteátru, který dodnes slouží k pořádání kulturních akcí.