Posto alla sommità di un colle naturalmente protetto da un dirupo e dal fiume Tagliamento, il castello sovrasta, in una splendida posizione panoramica, la sottostante pianura e il guado sul fiume in prossimità dell'incrocio di antiche vie di transito.

Citati per la prima volta nel secolo XII, i signori di Pinzano tennero il castello fino al 1344 quando venne ceduto ai conti Savorgnan che lo occuparono fino alla caduta della Repubblica Veneta nel 1797.