La costruzione risale al momento in cui i Confratelli ottennero il permesso di erigere una cappella per le proprie riunioni sul sagrato della Basilica del Santo, a lato dell'Oratorio di San Giorgio.

Nel 1504 si fece sopraelevare l'Oratorio così che le assemblee iniziarono a svolgersi al piano superiore che fu decorato ad affresco, ad eccezione di tre su tela, con i miracoli della vita di Sant'Antonio.

Gli artisti coinvolti sono Bartolomeo Montagna, Girolamo Dal Santo, Francesco Vecellio ed il fratello Tiziano, alla prima commissione autonoma sulla terraferma, lontano dal presunto maestro Giorgione. Gli episodi a lui assegnati sono il Miracolo del Bambino che parla per attestare l'innocenza della madre, il Miracolo del piede riattaccato ed il Miracolo del marito geloso.