Il notevole sviluppo raggiunto obbligò la Curia vescovile a prendere in esame progetti di ampliamento, che furono realizzati durante l'episcopato del Card. Lanfredini (1734 1740), ma soprattutto durante quello del Card. Calcagnini (1776 1807). Questi, tra il 1778 ed il 1792 fece eseguire, su disegno dell'architetto Andrea Vici di Arcevia, sostanziali ampliamenti soprattutto in direzione occidentale. All'interno del nuovo corpo di fabbrica il Vici ideò ed esegui su tre piani il teatrino, il refettorio e la cappella, seguendo un identico disegno di elegante forma ellittica.
L’ingresso principale del palazzo prospetta su piazza Dante ed è caratterizzato dalla presenza di due semicolonne in pietra d’Istria addossate alla parete, sovrastate da un balcone con balaustra in ferro battuto corrispondente all’Aula Magna. La facciata in laterizio, armonizzata magistralmente dall’abile mano del Vici, presenta tre sequenze di finestre dotate di cornici in pietra d’Istria, con architrave lineare, aggettante al piano terra e con timpano spezzato al piano superiore.