Elemento generatore di Valvasone fu il castello, che tuttora domina Piazza Castello.

Da un documento del 1273, edito a Spilimbergo, si evince che fu costruito, o ricostruito, tra il 1252 e il 1292 per ordine del Patriarca d’Aquileia Gregorio di Montelongo.

Nel 1363, durante la guerra del duca Rodolfo IV d’ Austria contro il Patriarca, il castello fu incendiato, come pure parte del borgo di Valvasone. L’attuale edificio, che presenta segni evidenti dei diversi interventi avvenuti nel corso dei secoli, risale al 1518 e un tempo era circondato da un profondo fossato munito di ponte levatoio.
La residenza feudale occupava uno dei lati della piazza alla quale facevano capo 3 ponti: uno che permetteva l’accesso alla “Torre delle ore”, uno al borgo di Valvasone ed il terzo al castello. Un tempo la fortezza era difesa da quattro torrette collegate da una via di ronda merlata. Queste opere, ora non più visibili, furono incorporate negli edifici ampliati e migliorati nel XVI secolo.