Areál bývalého kapucínského kláštera s raně barokním řádovým kostelem sv. Josefa je situovaný na severozápadním okraji městského jádra Chrudimi, na Novém Městě. Ke kostelu na severu přiléhá trojkřídlá dispozice kláštera s vnitřním Rajským dvorem a z ní vybočuje severní křídlo.
Založení kapucínského kostela a následně i kláštera bylo schváleno arcibiskupem již k r. 1641, základní kámen byl položen r. 1662, kdy bylo schváleno i rozšíření o Loretánskou kapli generálem řádu v Římě. Kostel byl vysvěcen r. 1665. Za Josefínských reforem klášter nebyl zrušen, ale postupně chátral. Po 2. světové válce v r. 1947 kapucíni požádali o zrušení kláštera a r. 1949 odešli poslední příslušníci řádu. Klášter se stal majetkem státu a kostel byl odsvěcen.
V sedmdesátých letech 20. století vznikla studie navrhující zbourání loretánské kaple a kaple Božího hrobu z důvodu nedostatečného založení stavby. V roce 1979 byla zbourána Loretánská kaple, Kaple Božího hrobu byla zbourána roku 1985. Celková oprava areálu kláštera s kostelem svatého Josefa započala v roce 2009. Dnes je v kostele Muzeum barokních soch.
