Historický komplex jezuitského kláštera z poloviny 17. století je významnou dominantou historického centra města Uherské Hradiště. Areál tvoří čtyřkřídlá budova uzavírající obdélný dvůr, který je rozdělen klášterním kostelem sv. Františka Xaverského na dvě části. Komplex je kulturní památkou.
Přestože jezuité od svého příchodu do města usilovali o vybudování vlastního chrámu, situace tomu nebyla dlouhé roky nakloněna. Až v roce 1670 bylo rozhodnuto o stavbě, jejíž založení nebylo vůbec jednoduché. Vzhledem k bažinatému terénu musely být základy uloženy až do třímetrové hloubky. Dubové trámy spojené dubovými skobami tvořily první vrstvu. Na ně byly vedle sebe stavěny olšové kůly a teprve na nich vyrůstalo zdivo z kamene a vápna. Složité politické i finanční poměry protahovaly dobu stavby. Přesto byl v roce 1677 ještě nehotový kostel předán bohoslužbě. Po požáru, při němž přišel o střechu, se dočasně stal kostelem farním, neboť kostel sv. Jiří, který tuto funkci dosud zastával, utrpěl mnohem více. V roce 1682 byl kostel slavnostně vysvěcen, přičemž stavba barokního chrámu pokračovala až do roku 1685. Poté byl zařizován interiér kostela, a to i na počátku 18. století. Dnešní podobu získal kostel v letech 1754 a 1755, kdy byly dostavěny a definitivně zakončeny obě věže a vznikla dnešní fasáda. V roce 1760 se jezuité definitivně vzdali myšlenky na rozšíření kostela ve směru hlavní osy a třeboňský malíř J. T. Supper na zadní stěně vytvořil malbu perspektivního sloupoví, kterým pokračuje skutečné sloupoví a navozuje iluzi pokračování lodi.
Na definitivní dokončení a výzdobu bylo třeba 100 let. Chrám nepřestal svou funkci plnit ani po zrušení jezuitského řádu a když byl v roce 1785 byl zbořen farní kostel sv. Jiří, tuto funkci převzal kostel svatého Františka Xaverského. I v následujících letech docházelo k úpravám, opravám a doplnění interiérové výzdoby. Pod vedením Památkového úřadu z Brna byla provedena oprava kostela v roce 1940.
V roce 1997 přinesla velká voda řadu problémů se statikou, ale dala nám poznat kus utajené historie. Při odstraňování následků povodní byly po sejmutí vlhkých omítek v kapli svaté Viktorie objeveny fresky z roku 1681 vytvořené Domenicem Gaginou. V první polovině 18. století bylo toto dílo překryto novou omítkou v souvislosti s přebudováním kaple na kapli Loretánskou. Objevené fresky byly odkryty a restaurovány.
Barokní relikviář sv. Viktorie, pocházející z této kaple, prošel náročnou, nákladnou a dlouhodobou restaurátorskou obnovou, byl povrchově upraven vrstvou 24 karátového zlata a v srpnu roku 2006 byl instalován zpět do kaple.
