Un’antica e radicata tradizione vuole la prima comunità locale cristiana di Taranto fondata dallo stesso apostolo Pietro durante il suo viaggio da Antiochia verso Roma, in compagnia di s. Marco, nel secondo anno dell’impero di Claudio.
Nella chiesa del Carmine a Taranto si conserva un pezzo di colonna sulla quale San Pietro avrebbe celebrato il Santo Sacrificio. Questa colonna si trovava in una cappella dedicata al principe degli apostoli, di antichissima origine, distrutta nella seconda metà del XVI secolo per l’allargamento dei bastioni di difesa della città.
Per il periodo più antico Taranto è priva di monumenti paleocristiani e bisogna rifarsi a rapsodiche fonti letterarie. È comunque certo che una comunità cristiana ben organizzata esisteva nel V secolo al tempo di papa Gelasio, che tra la fine del 494 e l’agosto del 495 scrisse una lettera ai cristiani di Taranto, annunciando l’invio di un nuovo vescovo di nome Pietro e dando disposizioni sull’amministrazione del battesimo. In un Carmen di Paolino di Nola, il quattordicesimo, datato al 397, c’è un riferimento ai cristiani di Taranto là dove si parla dei pellegrini che si recavano a Nola per venerare le reliquie del santo martire Felice; un’importante fonte letteraria, dunque, che risale ad un secolo prima rispetto al documento ufficiale romano.