Zámek s hospodářskými budovami kolem dvora na západě areálu včetně kaple sv. Kateřiny s kaplankou je situovaný ve východní části obce Varvažov, zhruba 15 km severně od Písku. Od roku 1995 je areál zámku spolu se sousedícím kostelem sv. Kateřiny a usedlostmi na návsi součástí vesnické památkové zóny Varvažov.
Ve 13. století patřila ves Varvažov řádu maltézských rytířů (johanitů), kteří měli komendu na strakonickém hradu. U středověkého dvorce vznikl na sklonku 13. století kostelík sv. Kateřiny, jehož loď byla barokně přestavěna v roce 1718 (původní gotický presbytář zůstal zachován) a v roce 1751 k němu byla přistavěna kaplanka.
Když se v roce 1754 stal velkopřevorem johanitského řádu Emanuel Václav Krakovský z Kolovrat (1700–1769), nechal tehdejší renesanční budovy na východní straně poměrně rozsáhlého hospodářského dvora přestavět na barokní zámek, který měl sloužit jako rezidence velkopřevorů a členů řádu. Nová stavba propojená se staršími hospodářskými budovami byla dokončena pravděpodobně v roce 1768.
V roce 1847 koupil varvažovské panství Karel II. ze Schwarzenbergu a v držení Schwarzenbergů pak bylo až do roku 1948. Na zámecké budově došlo k některým úpravám (bylo např. odstraněno vnější schodiště). Hospodářské prostory sloužily zemědělské činnosti, hlavní zámecká budova byla až do roku 1940 využívána jako škola. Po roce 1948 část zámku využívalo lidové spotřební družstvo Jednota, část sloužila jako byty.
Po roce 1989 bylo varvažovské panství v restitucích navráceno rodině Schwarzenbergů. Před lety prošly hlavní budovy vnější nutnou opravou střechy a fasády, oprava střechy zakryla vyústění historických komínů bývalých černých kuchyní. Interiér nevyužívaného komplexu zatím chátral a teprve v poslední době došlo k jeho důkladnému vyklizení, demolici okrajových hospodářských budov v zadní části areálu, které byly v havarijním stavu a asanaci okolí. Atraktivní a poměrně rozsáhlý areál čeká na další efektivní nasměrování využití a kompletní rekonstrukci s nutnými rozsáhlými investicemi.
