Unter der späteren Herrschaft des Herzogtums Sulzbach begann die Burg ab dem 17. Jhd. zu verfallen, bis die Frau des Pfalzgrafen und Herzogs von Sulzbach die Burgkapelle 1713 schließlich renovieren ließ. Doch noch im 18. Jhd. diente die Burg einem ganz anderen Zweck – dem Steinbruch.
Burgkapelle
Die romanische Burgkapelle (zweigeschossige Doppelkapelle aus dem 12. Jhd.) und Teile der Vorburg sind noch erhalten. Das Untergeschoss birgt ein verglastes Portal zur einstigen Kernburg. Vom Tor zur Vorburg sind nur noch Mauerreste übrig, welche durch eine Steintreppe mit der Kapelle verbunden sind. Die Ruine Breitenstein ist die einzige romanische zweigeschossige Doppelkapelle der Oberpfalz.
