Formatosi presso il conservatorio della sua città, debuttò nel 1941, appena diciottenne, a Schio nel ruolo di Sparafucile in Rigoletto. Dopo la fine della guerra la carriera progredì rapidamente: nel 1945 interpretò Zaccaria nel Nabucco  e nel 1948 venne chiamato da Arturo Toscanini per il concerto commemorativo di Arrigo Boito al Teatro alla Scala di Milano .Nel 1950 debuttò al Metropolitan di New York nel ruolo di Filippo II nel Don Carlo, dando così inizio alla trentennale collaborazione con il teatro statunitense, di cui rimangono numerose registrazioni dal vivo. Nel 1951sempre a New York nella Messa di Requiem di Verdi. Nel 1953 fu  il Don Giovanni al Festival di Salisburgo; tale ruolo fu particolarmente importante nella carriera di Siepi, che ne divenne per lungo tempo interprete di riferimento, raccogliendo l'eredità di Ezio Pinza. Pur prevalendo l'attività al Metropolitan, fu presente regolarmente anche nei principali teatri europei, in particolare alla Scala e alla Staatsoper di Vienna, dove apparve ancora nel 1994 in Norma. Ricoprì tutti i più importanti ruoli del repertorio, sia di basso cantabile che profondo; oltre a quelli già citati, Mefistofele, Mephisto, Fiesco, Silva, Padre Guardiano, Ramphis, Baldassarre, Boris, Sarastro, Figaro, Don Basilio, Conte Rodolfo, Colline, Gurnemanz. Il 21 aprile 1989 tenne al Teatro Carani di Sassuolo quello che è considerato il suo concerto di addio alle scene. Scomparve all'età di 87 anni negli Stati Uniti, dove si era stabilito da tempo con la famiglia^. La notevole estensione, unitamente alla capacità di modulare una voce imponente secondo le caratteristiche del ruolo e alle doti d'interprete, gli hanno permesso, come già sottolineato, di affrontare un repertorio particolarmente vasto ed eterogeneo, rendendone difficile (caratteristica frequente dei grandi cantanti) l'attribuzione ad una precisa tipologia vocale.È considerato uno dei maggiori bassi del novecento.