Zčásti dochovaný nevelký gotický hrad přestavěný na zámek a pivovar stojí v historickém centru města Kolín. S jeho stavbou započal v roce 1437 husitský hejtman a kněz Bedřich ze Strážnice. Hrad má název Lapis refugii (Kámen útočiště). Dodnes se v Regionálním muzeu v Kolíně dochovala nápisová deska z původní brány, na které je uvedeno, že hrad stavěl mistr Petr. Hrad v Kolíně je jediným ze známých hradů husitských hejtmanů, který byl založen ve městě.
K původní městské Klášterské bráně byl vestavěn do parkánu mezi hradební zdi základ dnešního západního křídla, z něhož se dochovaly obvodové zdi. Zároveň bylo založeno protilehlé východní křídlo, z něhož se zachovaly obvodové zdi přízemí a sklepy, a které bylo kratší než dnes. Od města odděloval hrad příkop, který byl i na jižní straně, tj. směrem k cestě od Klášterské brány.
Stavba tohoto prvního hradu byla dokončena v roce 1448, ale již v roce 1458 ho získal král Jiří z Poděbrad, který dosadil do Kolína královského hejtmana. V roce 1477 na kolínský hrad umístil uherský král Matyáš Korvín posádku, která opakovaně vyplenila město i okolí. V roce 1487 odkoupil hrad český král Vladislav II. Jagelonský a v majetku české královské komory zůstal od této doby, až na malé výjimky, do druhé poloviny 19. století.
Z původního hradu a pozdějšího zámku se dodnes dochovalo zazděné přízemí vstupní brány předhradí s dělostřeleckými střílnami a zbytkem šnekovitého schodiště, část zdiva budovy přiléhající k bráně, kámen s nápisem o dokončení stavby (dnes v Regionálním muzeu). V sousedství bývalé hradní brány se dochovala budova jižního křídla předzámčí, tzv. purkrabství, postaveného v 2. polovině 16. století, v dnešní podobě z roku 1911, s pozdně renesančním bosovaným portálem nové vstupní brány a zbytky renesančních sgrafit směrem do velkého nádvoří. Nejcennější částí areálu je původně gotické západní křídlo hradního paláce se zbytky městské Klášterské brány ze 13. století v průjezdu do malého nádvoří a s rozlehlým goticko-renesančním sklepením. V prvním patře paláce se dochovala zámecká kaple Panny Marie (od roku 1850 využívaná jako kancelář), několik přilehlých renesančních síní, schodiště s hřebínkovou klenbou a na vnitřním průčelí do malého nádvoří se projevují zbytky zazděných arkád (v jihovýchodním nároží paláce byl odkryt celý sloupek této arkády). Zdivo západního křídla paláce je pokryto neorenesančními sgrafity z 19. století. Malé nádvoří je na protilehlé straně ohraničeno zbytky gotického východního křídla s průjezdem do Zámecké ulice, v dnešní úpravě z 18. století, a klasicistním severním křídlem palácového jádra z roku 1844.
Od roku 2000 probíhá postupná a pomalá rehabilitace celého areálu zámku, v letech 2004–2005 byla vypracována nová studie Ing. Arch. Jiřím Košťálem na jeho rehabilitaci, rekonstrukci a dostavbu. Prvním viditelným počinem bylo zbourání vysoké a předimenzované betonové spilky bývalého pivovaru v roce 2007 a na jaře roku 2008 odstranění bývalých ječných půd na jihu areálu (k tomu přispělo jejich poničení vichřicí Emma). V měsíci červenec 2008 mohla být zahájena oprava severních fasád západního, východního i severního paláce v souvislosti s probíhající výlukou železniční tratě, vedoucí u paty opěrní zdi, ukončená v listopadu 2008. V roce 2016 bylo provedeno zajištění původních renesančních sgrafit na západním průčelí západního paláce. V roce 2017 by se měla uskutečnit kompletní obnova fasád zámku.
