Hrad Brtnice, přestavěný na zámek, byl dříve chloubou města na Českomoravské vrchovině. V současné době se nachází v havarijním stavu, ale i tak neztratil nic na impozantním vzhledu. Prvními majiteli brtnického hradu byli Valdštejnové, kteří se později psali jako Brtničtí z Valdštejna.
Zámek vznikl přestavbou hradu započatou Zdeňkem z Valdštejna. Rekonstrukce byla dokončena až jeho synem Hynkem roku 1593. V té době vznikly renesanční arkády, které jsou dílem italského architekta Baltazara Maggi de Ronio. Hynek také nechal vystavět zámecký kostel sv. Matouše s rodinnou hrobkou. Po porážce stavovského povstání byl synovci Hynka majetek zkonfiskován a získal ho císařský plukovník Rombaldo hrabě Collalto. Collaltové přinesli do Brtnice novou vlnu stavebního ruchu. Barokní přestavba zámku, snad z let 1650–1655, proběhla v době Rombaldova syna Claudia.
Za Antonína Rombalda († 1740) dochází k rozvoji zámecké knihovny a ke vzniku tzv. Sálu vjezdů. Jedná se o cyklus 11 rozměrných pláten od Karla Františka Teppera z let 1723–1724. Cyklus zachycuje vjezdy císařů do Brtnice (1630: Ferdinand II., 1638: Ferdinand III., 1679: Leopold I., 1701: Josef I., 1723: Karel VI.).
Stavební činnost neustala ani v prvních desetiletích 19. století. Na zámku po rozsáhlých stavebních opravách, provedených po požáru v roce 1760, docházelo po dobu téměř 70 let jen k dílčím změnám. Z velkého množství úprav lze snad uvést zbourání a znovuvystavění v menší výšce polozřícené bašty na východní straně zámku v roce 1818, zřízení klenutých krytých spojovacích chodeb v roce 1835 a hlavně snesení jednoho z rondelů v roce 1837. Podstatnou změnu však prodělal zámecký park. Ten byl v roce 1817 založen v anglickém stylu a byl v něm postaven Dianin chrámek.
U zámeckých budov nastala kvalitativně nová fáze jejich vývoje v roce 1842. Jihlavský stavitel Jan Rathauský postavil v tomto roce patro nad přízemním traktem západního křídla středního nádvoří. Budova byla také prodloužena směrem k severu a tak došlo k zastavění dosud volného prostoru někdejšího příkopu. S těmito přestavbami zřejmě souvisí také úprava příčného křídla mezi středním a severním nádvořím. S použitím romantických novogotických architektonických detailů pak bylo upraveno křídlo mezi středním a jižním nádvořím. Tím se v podstatě architektonický vývoj podoby brtnického zámku uzavřel.
