Per molti secoli il Castello e il suo Borgo costituirono il centro del potere amministrativo e giudiziario della città.

Fu solo al tempo del Regno d’Illiria creato da Napoleone, tra il 1809 e il 1813, che gli interni del Castello vennero ristrutturati per ospitare un consistente numero di truppe, viveri, armi e munizioni. Tale destinazione militare venne mantenuta anche dopo il ritorno degli Asburgo e il maniero continuò a essere utilizzato come caserma. All’inizio del Novecento il Castello divenne prigione presidiaria e sede del tribunale militare. Nel 1914 vi fu inoltre collocata una stazione militare di piccioni viaggiatori.

Come scriveva nel 1937 Ranieri Mario Cossar al termine del conflitto il Castello “aveva l’aspetto di un colosso mortalmente ferito in pieno. L’edificio centrale colpito da quattro proiettili da 305 mm  […] sembrava che da un momento all’altro dovesse crollare”. A partire dal 1934 il maniero fu ricostruito in una forma più possibile vicina alle sistemazioni medioevali e cinquecentesche. Fu riaperto al pubblico il 7 settembre 1937 alla presenza di S.A.R. il Duca Amedeo D’Aosta.