Zříceninu středověkého hradu Tolštejn najdeme na jihu Šluknovského výběžku, zhruba 2 km jižně od centra obce Jiřetín pod Jedlovou. Jméno hradu (něm. Tollenstein) bylo odvozeno od původního názvu skály Dohlenstein = Kavčí kámen.
Hrad byl pravděpodobně postaven Vartenberky ve 2. polovině 13. století k ochraně Pražské cesty – významné obchodní cesty, spojující vnitrozemí Čech s Lužicí. Poprvé se připomíná roku 1337. Hrad potom získal Vaněk z Vartenberka, který jej přeměnil na centrum panství. Vartenberkové hrad drželi až do počátku 15. století, kdy jej získal Hynek Berka z Dubé, jeden z nejbohatších pánů v Čechách, jehož rozsáhlé panství sahalo až na saský Hohnstein. V roce 1485 získal Tolštejn se Šluknovskem rod Šlejniců. Jindřich ze Šlejnic na počátku 16. století hrad opravil a rozšířil o severní bašty, které z něj znovu učinily pevnost, využívající již dělostřelectva.
Za třicetileté války roku 1642 hrad oblehla a vypálila švédská vojska, poté už nebyl obnoven. Zřícenina pak byla vyhledávána místními obyvateli, kteří z ní brali stavební kámen, i hledači pokladů, kteří kopáním ve sklepích a bouráním zdí přispívali k její zkáze. Alois Lichtenštejn udělal přítrž rozebírání hradu na stavební materiál, jež zakázal pod pokutou 500 zlatých. Lichtenštejnům patřil Tolštejn do roku 1923, kdy jej od nich koupil československý stát.
Zájem o zříceninu se znovu probudil s nástupem romantismu. V roce 1865 využil jiřetínský obchodník Johann Josef Münzberg přitažlivosti hradní zříceniny, zřídil zde jednoduché občerstvení a příští rok, se svolením knížete Jana z Lichtenštejna, vystavěl hostinec ve švýcarském stylu. V roce 1874 spojil obě skaliska spojovacím můstkem. Při stavbě hostince bylo nalezeno mnoho historických artefaktů, které posloužily jako základ výstavy umístěné v restauraci. Byly zde vystavovány historické zbraně, hroty šípů, zámky, gotické i renesanční dlaždice a kachle. Rod Münzbergů vedl hostinskou činnost až do roku 1945, kdy musel nemovitost i s vybavením předat státu; bohužel rozsáhlá sbírka historických zbraní a kuriozit byla rozkradena nebo poničena.
Soudobé snahy o záchranu zříceniny iniciuje Obecní úřad v Jiřetíně pod Jedlovou. Od roku 1995 je v provozu zrekonstruovaná restaurace. Je zde i místo pro hraní přírodního divadla.
Z místa je krásný rozhled do okolní kopcovité krajiny, které dominuje rozhledna na Jedlové.