È il primo edificio in cui abitavano gli arciduchi.

Ed è anche dove venne imprigionata per qualche tempo Carlotta ai limiti della follia.

Ospitò, poi, per anni la collezione di quadri di arte antica, spostata in seguito a palazzo Economo e successivamente chiusa.

Ospitava al pianoterra una presentazione del Parco marino ora spostata alle Scuderie e al primo piano dovrebbe esserci una memoria di villa Lazarovich con ricostruzione di una sala orientale, ma non vi sono informazioni che dicano in quali condizioni sia. E' comunque chiuso al pubblico attualmente ( 2018)