Ordinato sacerdote il 29 giugno 1948 a Pistoia, per la diocesi di Prato, s'è laureato in teologia nel 1952 alla Lateranense con Cornelio Fabro e s'è specializzato all’Eberhardina Carolina di Tubinga nel 1954-55. Dal 1949 al 1958 ha esercitato il ministero pastorale presso una parrocchia di Prato, al contempo insegnando nel locale seminario. Nel 1958 è stato chiamato presso la Santa Sede, dove ha prestato a lungo servizio come officiale dell'allora Sacra Congregazione dei Seminari, all'interno della quale ha avuto per dieci anni la responsabilità dell'ufficio preposto ai "Seminari diocesani e regionali d'Italia".

Dal 1968, per trentasett'anni, è stato ordinario d'ecclesiologia (cattedra su cui è succeduto ad Ugo Emilio Lattanzi) ed ecumenismo presso la facoltà teologica della Pontificia Università del Laterano, di cui è stato anche decano; ha occupato inoltre la cattedra dedicata alle stesse materie nell'Istituto Ecclesia Mater della Pontificia Università San Tommaso d'Aquino. È stato membro e responsabile della Pontificia accademia di teologia e della Pontificia Accademia di San Tommaso; da entrambe, però, a un certo punto s'è distaccato. Tuttora è consultore della Congregazione delle Cause dei Santi. Dal 1994 è canonico della patriarcale basilica di San Pietro in Vaticano, presso la quale risiede.

Dopo la scomparsa di Antonio Piolanti è stato postulatore della causa di canonizzazione del beato Pio IX, per dieci anni fino al 2011. Dal 2000 dirige la rivista internazionale di ricerca e critica teologica Divinitas, fondata dallo stesso Piolanti nel 1954.

Il Gherardini partecipa da oltre mezzo secolo al dibattito teologico, soprattutto nel campo dell'ecclesiologia e dell'interpretazione del Concilio Vaticano II, sul quale negli ultimi anni s'è espresso da un punto di vista tomistico.

È autore di più d'ottanta volumi e di centinaia d'altre pubblicazioni. I suoi libri più recenti sono Credo in Gesù Cristo (VivereIn, 2012), una meditazione teologica sul Cristo della Chiesa, e Contrappunto conciliare (Lindau 2013), sul dialogo interreligioso.