Objekt zámečku se nachází ve východní části obce Kamenná Lhota cca 12 km severně od Tábora. Areál zámku se skládá ze zámecké budovy, hospodářské budovy a parku. Od roku 1958 je zámek památkově chráněn. Památková ochrana se vztahuje na celý dochovaný areál původního poplužního dvora, který vytváří cenný urbanistický celek ve svahu na východním okraji Kamenné Lhoty. Dochované ohradní zdi vymezují původní rozsah areálu. V zámku jsou dochovány podlahy v patře, původní kazetové dveře včetně deštěného ostění a kování. Rovněž jsou dochována některá okna.
Před rokem 1715 zde vznikl menší statek s dvorem, pivovarem a prostým panským obydlím. Roku 1752 koupil statek František Josef Jungwirt a na místě dosavadního sídla začal stavět barokní zámek. Nedokončenou stavbu převzal r. 1760 nový majitel František Tadeáš Hubatius z Kotnova. Stavba zámku byla dovedena do konce teprve po roce 1784 za Jana Filipa Deyma ze Stříteže. Patrový přístavek na levé straně je novodobý.
Objekt sloužil v období mezi 1. a 2. světovou válkou jako penzion. Na letním bytě zde pobýval i slavný hudební skladatel a dirigent Oskar Nedbal (1874–1930). Právě na zámku a v okolních lesích pracoval na jedné z nejznámějších operet, Polská krev.
Dnes je zámek Kamenná Lhota v soukromém vlastnictví a veřejnosti nepřístupný. Postupně probíhá jeho rekonstrukce.
