Nato nella frazione di Cavazzoli, secondo dei tre figli di Erasmo e Barbara Neviani, trascorse molti anni dell'infanzia e della gioventù a Barco, frazione di Bibbiano, alla quale rimase sempre molto legato. Dopo aver studiato canto al Conservatorio Arrigo Boito di Parma , nel 1938 vinse il "Concorso Nazionale di Canto Lirico", che gli fece guadagnare il debutto, il 27 ottobre al Teatro Comunale di Firenze, nel ruolo di Rodolfo ne La bohème. Fu l'inizio di una splendida carriera, lunga quasi mezzo secolo. Riscosse successi nei maggiori teatri del mondo, tra cui il Metropolitan Opera di New York, l'Opéra di Parigi, il Covent Garden di Londra, oltre che nei più importanti teatri italiani, a partire dalla Scala. I titoli preferiti furono L'amico Fritz , Il barbiere di Siviglia, L'elisir d'amore, Tosca, La sonnambula, Rigoletto, Mefistofele, La traviata, Lucia di Lammermoor, Werther, L'Arlesiana, I pescatori di perle, Manon. Nel novembre del 1940 conobbe a Palermo, durante le prove de L'amico Fritz, il soprano Pia Tassinari, che sposò l'anno successivo e con la quale apparve spesso sul palcoscenico. Divorziò alla fine degli anni ottanta, per risposarsi nel 1992 con il soprano Isabella Stramaglia, che gli aveva dato nel 1974 la figlia Barbara. Il volto simpatico e fotogenico gli permise di ottenere successo anche nel cinema, in cui debuttò con Voglio vivere così (1941), accolto con entusiasmo dal pubblico, in cui cantava l'omonima canzone, suo cavallo di battaglia per tutta la carriera. In seguito interpretò anche alcuni film d'opera, tra cui Il barbiere di Siviglia  (1946). La carriera cinematografica si concluse alla fine degli anni cinquanta, dopo otto film. Si ritirò dalle scene operistiche nel 1966 e concluse definitivamente le esibizioni nel 1981 alla Carnegie Hall di New York, con l'esecuzione in forma di concerto de L'amico Fritz, sua opera preferita. Scomparve ottantunenne nella sua villa di Ospizio, dove era tornato dopo una lunga degenza all'ospedale Spallanzani di Reggio Emilia, a causa dei gravi problemi respiratori che lo affliggevano da tempo. Essenzialmente tenore di grazia, dotato di voce calda e morbida e di fraseggio suadente, ha formato con Tito Schipa e, in parte, Beniamino Gigli, un trio di tenori dall'impronta "soave", fra i più popolari del XX secolo.