Fu ristrutturato nella seconda metà dell’Ottocento in seguito all’abbattimento della Chiesa di S. Francesco dei Minori Francescani Conventuali e del monastero attiguo (sec. XIV), che sorgevano nell’attuale Piazza Gramsci. Ciò che resta dell'impianto originario, oltre al Chiostro omonimo, è il palazzo ora sede del Municipio.
Nel loggiato sono visibili frammenti di affreschi, uno dei quali apparteneva forse ad un altare, raffigurante il tetto di una capanna e riconducibile al tema della Natività di Gesù.
Un’iscrizione permette di identificare l’artista, Dionisio Nardini, che eseguì l’affresco con ogni probabilità nell’ultimo decennio del XV secolo. Negli ambienti ricavati dalla ristrutturazione ottocentesca ed in quelli del vicino Palazzo Palazzi (sec. XVIII) hanno sede gli uffici comunali.
