Významný klášterní komplex se nachází v historickém centru města Olomouce a společně s kostelem Neposkvrněného početí Panny Marie představuje soubor architektury s gotickými, renesančními a barokními prvky. Klášterní komplex je zapsán na seznamu nemovitých kulturních památek České republiky.
Základní kámen před olomouckými hradbami byl položen v květnu 1453 a již v roce 1455 se v klášteře konala provinční kapitula františkánů. V roce 1468 byl vysvěcen kostel Neposkvrněného početí Panny Marie. V roce 1492 byl značně poškozen při požáru a nastal postupný úpadek celého kláštera. V důsledku obsazení města Švédy františkáni museli klášter v letech 1642–1650 opustit. Po skončení třicetileté války se činnost řádu obnovila a došlo k částečnému stavebnímu oživení v celém areálu. Nejprve byl opraven kostel, ke kterému byly přistavěny dvě kaple. V letech 1739–1744 stavitel Matyáš Kniebandl připojil ke středověkému konventu trojkřídlou budovu a vznikl další rajský dvůr. Byly vybudovány nové cely, škola pro řádové studenty, refektář a hospodářské místnosti. V budově se nacházela i rozsáhlá knihovna čítající okolo 3700 svazků. V tehdejší době patřila ke klášteru i rozlehlá zahrada s pramenem léčivé vody na východní straně areálu.
Po zrušení řádu františkáni museli v roce 1784 klášter opustit. Do kláštera se nastěhovali dominikáni ze zrušeného olomouckého konventu. Ti upravili nový vstup do kláštera z nynější Slovenské ulice, v letech 1840–1845 rozšířili rajský dvůr. Po obnovení noviciátu koncem 19. století se klášter s kostelem stal centrem dominikánů v českých zemích. V roce 1905 byl obnoven status české řádové provincie. Klášter byl v té době významným duchovním, vědeckým a společenským centrem. Areál kláštera prošel dalšími stavebními úpravami. Sídlila zde řádová škola a katolické nakladatelství Krystal.
V roce 1930 bylo přistavěno třetí poschodí konventu. Za války se v roce 1942 zbouraly části městských hradeb v Olomouci a byla postavena nová ohradní zeď kolem kláštera a zahrady. Po likvidaci klášterů komunistickým režimem byly v letech 1950–1990 budovy kláštera ve správě místních orgánů státní moci. Prostory využívala hudební škola, zájmové organizace, ve vyšších poschodích byl internát a ubytovna. Ve dvoře bylo zbudováno hřiště a školní zahrada pro nedalekou školu.
V roce 1990 získali dominikáni svůj majetek zpět a mohli oficiálně obnovit svou činnost v Olomouci. Po povodních v roce 1997 byl areál s kostelem znovu opravován. Poskytuje také ubytování studentům. Přilehlá klášterní zahrada má parkovou úpravu a slouží ke kontemplaci a oddechu. Ve všední dny pak jako dětské hřiště pro vedlejší mateřskou školu.
