Finita l'epoca romana, sul sito vennero costruite alcune chiese, forse una basilica paleocristiana di cui rimangono tracce nel pavimento, e poi, in epoca medioevale, due chiese parallele, una dedicata all'Assunta a sinistra ed un'altra a san Giusto a destra, come si può vedere in questo disegno.

Nel Trecento vennero demolite le due navate di fianco, le due chiese furono unite e ne uscì la chiesa attuale, col rosone, il portale e la statua del santo come li vediamo oggi. Ad onor del vero sembra che il campanile avesse una punta più acuta, che però crollò e venne ricostruita meno slanciata.

In cima al Campanile si trovava in origine il Melon, acroterio forse già di origine romana, che poi rimase esposto sul sagrato fino alla collocazione in diversi musei, ora è all'ingresso del museo del Castello