Významnou dominantou městské památkové zóny v Polné je hrad, později přebudovaný na zámek, stojící na ostrožně chráněné řekou a původně bažinami (dnes rybníky). Hrad Polná patří mezi nejstarší feudální stavby v Česku. Postaven byl zřejmě kolem roku 1320 Jindřichem z Lipé na ostrohu nad soutokem říčky Šlapanky a Ochozského potoka k ochraně zemské stezky. První dochovaná zpráva o samotném hradu pochází ovšem až z roku 1356. Tehdy samotný hrad tvořil dvoukřídlý palác.
Od 20. let 14. století drželi Polnou páni z Lipé. Panství s hradem získal první muž království, královský podkomoří, maršálek a moravský zemský hejtman, Jindřich z Lipé. Za hustiských válek byl hrad v držení pánů z Pirknštejna. Byl přebudován na rozsáhlý gotický hrad, který byl centrem polenského (později polensko-přibyslavského) panství. V 15. století rozšířili opevnění, zapojeny do něj byly i rybníky (Peklo, Pekýlko, Lázeňský rybník), z nichž pouze rybník Peklo existuje dodnes. Hynek Ptáček z Pirknštejna hrad na pomezí Čech a Moravy využíval k jednání s čelními představiteli šlechty podobojí. V letech 1464–1515 drží hrad páni z Kunštátu. Jiří z Poděbrad si Polnou zvolil v roce 1468 za své dočasné sídlo při tažení proto Matyáši Korvínovi. Za držení pánů z Kunštátu byl hradní palác (západní křídlo hradu) přestavěn, tuto událost dokládá v přízemí tohoto křídla dveřní portál kunštátským znakem a v patře rytířský sál, přezdívaný kvůli erbům na křížové klenbě Kunštátský.
Po požáru v roce 1584 byl hrad renesančně přestavěn na zámek. V té době byl obnoven vyhořelý starý palác a Kunštátský sál, jak palác tak spojovací chodba se severním křídlem dostaly nová renesanční okna. Nově dostavěn byl tzv. Hradecký dům. V majetku pánů z Hradce zámek po přestavbě zůstal až do roku 1597. Po tomto roce se majitelé střídali.
Po třicetileté válce byl polenský zámek značně poškozen, Ditrichštejnové proto přistoupili k jeho rozsáhlé rekonstrukci ve stylu vládnoucího baroka. V rámci úprav byl zrušen padací most, zavezen příkop a vybudována nová kašna na nádvoří. Po rozsáhlém požáru byla po roce 1810 správa panství definitivně přenesena na zámek do Přibyslavi. Polenský zámek chátral a část budov byla dokonce zbourána. Po smrti posledního mužského člena rodu Josefa z Ditrichštejna připadl zámek a panství dědicům v ženské linii. V roce 1922 koupil zpustlý zámek polenský továrník a mecenáš Václav Pojman, který jej věnoval tělovýchovné jednotě Sokol a Spolku polenského muzea.
V letech 1922–1926 byl hrad částečně opraven pro potřeby muzea. Dnešní podobu hrad a zámek získal rozsáhlou rekonstrukcí ukončenou v roce 2004. Na zámku dnes sídlí kromě Městského muzea také Základní umělecká škola, Kulturní středisko s kulturním sálem a Zámecká restaurace s ubytováním. V letním období se na nádvoří hradu konají příležitostné hudební produkce.
Prohlídkové trasy:
- Hrad I - řemesla – Lapidárium v hradním sklepení, lékárna U Černého orla, kupecký krám a expozice starých řemesel.
- Hrad II - historická – Historie polenského hradu a jeho stavební vývoj, Erbovní, Ditrichštejnský a Kunštátský sál, měšťanské bydlení 19. a 20. století, Síň rodáků, život na venkově, expozice 1. světové války a československých legií.
- Stará škola – Ojedinělá expozice školní třídy z roku 1866, kabinet učebních pomůcek, černá kuchyně, byt učitele.
- Muzeum – Stálá expozice hodin a hodinářství, Proměny Polné od 13. do 19. století, Rérychova galerie.
