Dominantou obce Olešnice je místní zámek, patrová čtyřkřídlá budova obklopující nádvoří. Zámek je od roku 1958 památkově chráněný.
Někdejší gotická tvrz (z tohoto období se dochoval kamenný portál) byla ve druhé polovině 16. století upravena v renesanční zámeček. Severní křídlo zámku, v němž byl pivovar, bylo přebudováno na kostel sv. Václava. Od roku 1727 až do roku 2001 bylo majitelem zámku město České Budějovice, objekt sloužil mj. jako škola, archiv či šicí dílna.
Dnes je zámek ve vlastnictví obce Olešnice.
