Na zámek přestavěný hrad najdete na vrchu nad stejnojmenným městečkem, přímo nad známým pivovarem. První historická zmínka o Černé Hoře, tedy i o hradu, pochází z roku 1279, kdy se připomíná Matouš z Černé Hory. Počátkem 14. století získávají Černou Horu Boskovicové, kteří se nejvýrazněji zapisují do podoby hradu. Jeho gotická podoba se mění v roce 1561, kdy Albrecht Černohorský z Boskovic postavil renesanční předhradí a vlastní jádro hradu přestavěl na renesanční zámek. Když v roce 1597 vymírá mužská větev rodu Boskoviců, získávají sňatkem černohorské panství Lichtenštejnové.
Roku 1724 zámek vyhořel a zůstal dlouho v troskách. Část byla přestavěna barokně v roce 1830, část zůstala pod provizorním zastřešením až do roku 1859, kdy panství získal rod Friesů. Pro přestavbu zámku získali Friesové vídeňského architekta Theofila Hansena, který odstranil barokní přístavby. Zámek dostal pseudorenesanční podobu, opět tedy došlo ke slohovému sjednocení zámku a předzámčí.
Současně byly provedeny rozsáhlé parkové úpravy vrchu Paseka, započaté již v 18. století. Byly vybudovány vycházkové pěšiny, upraveny přístupové cesty, vysázena stromořadí a některé exotické dřeviny. V roce 1945 získává zámek stát, od roku 1950 až do dnešních dnů slouží jako Domov pro seniory.
V posledních letech byl celý zámecký komplex opraven a Domov pro seniory modernizován. Vstup do okolí zámku a do parku by měl být přes den volný.
