In seguito la famiglia Castelbarco preferì il più confortevole e comodo Palazzo di Loppio, lasciando questo castello al saccheggio da parte delle truppe di Vendôme nel 1703. Il castello non venne più ricostruito e con l’andare degli anni si diroccò sempre di più fino a raggiungere il degrado odierno. Nel bosco infatti riusciamo ad intravedere solo pochi ruderi, imponenti ma pericolanti.