Pozůstatky hradu Rýzmburk stojí na zalesněném ostrohu nad údolím řeky Úpy západním směrem od Žernova, nedaleko Babiččina údolí. Hrad byl vybudovaný příslušníky rodu Třmene. Zakladateli byli nejspíš již Tasson z Březovic, syn Rubín z Březovic společně s prvním doloženým majitelem Rýzmburka mladším bratrem Albertem z Rýzmburka roku 1319. Otec Tasson z Březovic (1279–1362) v závěru života dědí hrad a mimo jiné se píše z Rýzmburka. První doložený majitel hradu Albert z Rýzmburka umírá v roce 1346 po boku krále Jana Lucemburského u Kresčaku. Členové rodu Třmene se zde střídali až do roku 1544, kdy hrad koupil Bernard Žehušický z Nestajova, purkrabí Hradeckého kraje, který jej dobově upravil. Roku 1580 získává hrad Mandaléna Bohdanecká, sestra první manželky Hertvíka Žehušického Elišky. Roku 1595 získává hrad Vilém z Talmberka a jeho bratr Jan. Ti ho prodali Smiřickým ze Smiřic, kteří Rýzmburk ponechali svému osudu.
Rýzmburk byl vypleněn a vypálen za třicetileté války císařskými a později švédskými vojsky. I poté byl ale zřejmě provizorně zastřešen. Roku 1698 již sloužil jako zdroj kamene. K jeho úplné zkáze došlo na počátku 18. století, kdy byl ze zříceniny vylámám kámen na stavbu nedalekého zámku v Ratibořicích a roku 1798 vyhlídkový altán v sousedství hradu.
Do dneška se dochovaly jen zbytky zdí, brána a historická sklepení. Hrad je volně přístupný. Lokalita je ovšem hustě zarostlá vegetací.
