I fiorentini del Medioevo credevano che il Battistero fosse un edificio antico, risalente al periodo romano della città; un tempio pagano trasformato in chiesa. In effetti gran parte del rivestimento marmoreo del Battistero, così come i numerosi frammenti ed iscrizioni antiche e le grandi colonne che sorreggono la trabeazione sopra le porte all'interno, provengono dalle rovine della 'Florentia' romana, forse da qualche edificio pagano.

Il Battistero che vediamo oggi è il frutto dell'ampliamento di un primitivo Battistero, risalente al IV-V secolo. Gli scavi dell'ultimo secolo hanno effettivamente rivelato resti di costruzioni romane sotto il Battistero e sotto il Duomo. Nel pavimento, infatti, alcune grate danno luce ad un sotterraneo dove sono conservati resti di una casa romana con pavimenti a mosaico con motivi geometrici.