Budowa. Twierdzę wzniesiono w latach 1765–1777; była wówczas jedną z najnowocześniejszych fortyfikacji tego typu w Europie, a dziś zalicza się do największych górskich budowli obronnych kontynentu. W centrum zespołu bastionów stoi Donżon — trzykondygnacyjny fort ze 151 kazamatami. Twierdza była samowystarczalna: miała magazyny, studnie, zbrojownię, kaplicę, więzienie, szpital, piekarnię, browar, warsztaty i prochownię, a jej załoga liczyła 3756 żołnierzy. Wykuto tu dziewięć studni; najgłębsza, w rejonie Fortu Ostróg, ma ok. 80 m.
Oblężenie i zmierzch. W 1807 roku pod twierdzą stanęła armia francuska pod wodzą Hieronima Bonapartego; ciężkie walki przerwał rozejm i pokój w Tylży. Po naprawach w 1850 roku twierdzę utrzymywano w gotowości bojowej, ale w 1867 roku wojsko ją opuściło, a forty posłużyły saperom za poligon i miejsce prób artylerii i materiałów wybuchowych. W latach 1866–1869 w dawnych koszarach uruchomiono fabryki: tekstylną, garbarnię, wyrobów metalowych i zegarków.
Cel wycieczek. W 1909 roku otwarto kolej zębatą łączącą Srebrną Górę z Nową Wsią Kłodzką, a w latach 30. XX wieku twierdzę odwiedzało ok. 50 tysięcy turystów rocznie. Po I wojnie światowej w Donżonie urządzono restaurację na 300 osób, muzeum broni, salę pamięci i taras widokowy; w 1913 roku na Forcie Ostróg powstało schronisko młodzieżowe.
Oflag VIII B. W latach 1939–1941 w twierdzy działał karny obóz jeniecki dla polskich oficerów — Oflag VIII B. Więziono tu m.in. gen. Tadeusza Piskora, kontradmirała Józefa Unruga i komandora Stefana Frankowskiego. Po wojnie twierdza niszczała, aż w 1966 roku dolnośląscy harcerze rozpoczęli długoletnią „Akcję Srebrna Góra”, która ocaliła zabytek.
Dziś. W 2002 roku utworzono tu pierwszy w Polsce Park Kulturowy Twierdzy, a w 2004 roku twierdzę uznano za Pomnik Historii. Od 2007 roku działa grupa rekonstrukcyjna Infanterie-Regiment von Alvensleben (nr 33), której członkowie w mundurach oprowadzają zwiedzających. W 2024 roku, po trzech latach prac konserwatorskich, otwarto nową trasę, m.in. z mostami fortecznymi, w tym zwodzonym. Zwiedzanie obejmuje trasę główną z przewodnikiem lub samodzielną, multimedialną trasę „Jak budowano Twierdzę Srebrna Góra”, trasę rzemiosł i punkt widokowy. Pod ziemią przez cały rok panuje ok. 10°C, a teren jest nierówny — przydadzą się buty trekkingowe.