La construcción se remonta al momento en que los cofrades obtuvieron el permiso de erigir una capilla para sus propias reuniones en el recinto sagrado de la Basílica del Santo, al lado del Oratorio de San Giorgio. En 1504 se hizo sobreedificar el Oratorio de manera que las asambleas empezaron a realizarse en el piso superior, que fue decorado con frescos, con la excepción de tres pinturas sobre lienzo, con los milagros de la vida de San Antonio.

Los artistas interesados son Bartolomeo Montagna, Girolamo Del Santo, Francesco Vecellio y su hermano Tiziano, en su primer encargo autónomo en tierra firme, lejos del presunto maestro Giorgione. Los episodios a él atribuidos son El Milagro del Niño que habla para atestiguar la inocencia de su madre, el Milagro del pie reinjertado y el Milagro del marido celoso.