Památky a zajímavosti Výžerky

K sakrálním historickým památkám obce se řadí pěkně udržovaný křížek a zvonička stojící na návsi.
Ve středu vsi se nalézá pomník padlým v 1. a 2. světové válce, u něhož se pravidelně konají pietní akty k uctění jejich památky.
Západním směrem od vsi leží obec Ondřejov s proslulou astronomickou hvězdárnou. Jižně, v městečku Sázava, se nachází původně Sázavský klášter, později přestavěný na zámek. Nejstarší zmínky o klášteru sahají do roku 1032. U jeho zrodu stáli kníže Oldřich a svatý Prokop. Podle legendy se právě zde setkali. Prokop nabídl knížeti vodu, která se proměnila ve víno. Za tento čin pomohl kníže Prokopovi založit tento klášter.