Zříceniny rozsáhlého hradu se vypíná nad dnešním městem Brandýs nad Orlicí, na východním okraji nad řekou Tichá Orlice. Počátky hradu spadají do poslední čtvrtiny 13. století, tedy do období německé kolonizace, kdy se provádělo doosidlování méně zalidněných a výše položených okrajových částí českého království. Zakladatelem hradu byl pravděpodobně Jindřich z Brandisa, působící ve službách olomouckého biskupa Bruna ze Schaumburka a později i ve službách krále Václava II. První písemná zmínka o hradu je z roku 1298. Další zprávy o pánech z Brandýsa nalézáme ve Zbraslavské kronice, kde údaj k roku 1308 mluví o Oldřichu z Brandýsa jako o jednom z účastníků loupeživých nájezdů na sousední lanšperské panství. Zprávy o majitelích hradu z následujících let nemáme. Teprve roku 1360 se objevuje jako nový majitel brandýského panství moravský šlechtic Jan z Boskovic. Páni z Boskovic drží panství do roku 1423.
Až kolem roku 1450 se novým majitelem hradu stává významný představitel východočeské husitské šlechty Zdeněk Kostka z Postupic, vlastník sousedního panství lanšperského a litomyšlského. Kostka z Postupic prodává brandýské panství Vilémovi z Pernštejna roku 1506. Ten nechal pobořit brandýský hrad, který již nepotřeboval. Vilémův syn Jan z Pernštejna prodal roku 1544 část brandýského panství s městečkem a zpustlým hradem Bohušovi (III.) Kostkovi z Postupic, který se v letech 1546–1547 zúčastnil protihabsburského odboje, po jehož porážce byl odsouzen ke konfiskaci majetku. Pouze brandýské panství mu bylo ponecháno jako manství do konce jeho života, což jej přimělo k opravě pobořeného hradu. Ten však majiteli zřejmě nevyhovoval, a tak po roce 1553 začal stavět renesanční zámek přímo ve městě a hrad opustil.
Hrad je připomínán v roce 1632 jako pustý.
V roce 1884 byl v Brandýse nad Orlicí založen Okrašlovací spolek, jenž do okruhu své činnosti zahrnul také areál zchátralého hradu, ovšem bez přímé záchrany samotného hradního zdiva. Dalším mezníkem je založení místního odboru Klubu českých turistů v Brandýse nad Orlicí roku 1944, kdy byly zajištěny části zdiva paláce na jižní straně a samotné renesanční okno. Posledním, a doufejme že již úspěšným pokusem v záchraně této památky, je založení občanského Sdružení pro záchranu hradu Brandýs nad Orlicí, o. s. koncem roku 2004.
Dodnes se z hradu Brandýs dochovaly základové zdi na předhradí, příkopy, části hradeb, torzo věže a rozsáhlé sklepy hradního paláce. Největším unikátem hradu je zachování zbytků teplovzdušného vytápěcího systému, které se dochovalo v Čechách již pouze na hradě Myšenec.
V roce 2013 spolek zahájil první záchranné práce na zdivu. Roku 2013 proběhla oprava jihovýchodního torza zdiva paláce, v letech 2014 a 2015 proběhla oprava severní a západní části obvodové zdi paláce s přilehlým parkánem.
