Bis zum heutigen Tage sind aber leider nur noch einige Reste der damaligen Festung, oberhalb der Gemeinde Mori gelegen, erhalten. Zur Zeit ist es auch nicht möglich, die ursprüngliche Form des Schlosses nachzubilden, da noch keine richtigen Forschungen zum Bau selbst unternommen wurden. Bis heute wurden lediglich einige Dokumente aus und über dem Schloss gefunden. Aus diesen geht hervor, dass das Schloss aus 2 Stockwerken bestand, die gleich neben dem Hauptturm angeschlossen waren. Teil der Anlage waren auch ein Stall und ein Getreidespeicher. Im Jahr 1440 wurde Castel Albano von den venezianischen Truppen zerstört.