La mole imponente del Palazzo della Ragione sorge fin dall'epoca medioevale nel cuore della vita economica cittadina. Era l'antica sede dell'amministrazione della giustizia. Fu costruito a partire dal 1218 e poi ampliato grazie all'intervento di Fra' Giovanni degli Eremitani tra il 1306 ed il 1309.

Il primo ciclo di affreschi è andato per la maggior parte disperso a causa di un incendio sviluppatosi nel 1420. Attualmente l'interno è decorato con un ciclo di affreschi ispirato agli scritti di Pietro d'Abano.

Il Palazzo divide le così dette "piazze gemelle", Piazza della Frutta e Piazza delle Erbe, che ospitano ancora oggi come nel Medioevo il mercato.