Ventunesimo  di una numerosissima famiglia ferrarese, dopo aver fatto il garzone nella merceria paterna, cominciò a cantare prima come cantante di serenate su commissione e successivamente, all'inizio degli anni trenta nelle balere della sua zona. Entrò,  all'EIAR come cantante della radio vincendo il concorso. Esordì perciò il 1º gennaio del 1940 accompagnato dall'orchestra Barzizza con ingaggio di 28 lire giornaliere; proseguì un anno dopo con quella di Angelini, divenendo nel 1942 la voce più popolare della canzone italiana.  Voce sottile - a tratti quasi femminile - melodiosa e garbata, gli valse l'appellativo di usignolo della canzone. Richiamato alle armi, riuscì ad evitare il fronte partecipando agli spettacoli per le forze armate organizzati dall'EIAR in tempo di guerra. Nel dopoguerra restò nell'organico di cantanti della RAI. Dopo aver girato l'Italia con compagnie di rivista - intraprese, al pari di altri divi canori dell'epoca, una tournée nell'America del Sud. la tournée si trasformò in un lungo soggiorno artistico colmo di successi - fu tra gli altri Paesi a lungo in Argentina, Uruguay e Brasile dove cantò addirittura al Carnevale di Rio - e durò dal 1947 al 1951. Paradossalmente però, questo suo allontanamento dall'Italia si rivelò però un errore per la carriera di Carboni in patria in quanto. Al suo ritorno in Italia, pertanto, il ferrarese trovò una situazione profondamente modificata e di gran lunga meno favorevole. Angelini lo volle comunque per la seconda edizione del Festival di Sanremo (1952) dove cantò tre canzoni: Madonna delle rose, con la quale si piazzò al quarto posto, Perché le donne belle, che arrivò settima e Cantate e sorridete  che non entrò in finale; nello stesso anno partecipò al Festival della canzone napoletana dove si aggiudicò il 2º premio con Varca lucente. Proseguì la sua attività per tutti gli anni anni cinquanta e prese parte nel 1959 alla trasmissione radiofonica Il traguardo degi assi condotta da Corrado. Continuò quindi fino ai primi anni sessanta a proporre le sue canzoni alla radio, ebbe anche una trasmissione propria alla radio: Canta Oscar Carboni. La sua tradizionale vena melodico-sentimentale, tuttavia, era ormai stata superata dalle nuove influenze swing degli anni Cinquanta. Abbandonati temporaneamente i microfoni, intraprese un'attività commerciale a Torino ma tornò subito sul palcoscenico per poi dedicarsi, con rinnovato successo, al liscio negli anni settanta. Questo genere musicale, più consono al suo timbro di voce e al suo gusto, gli consentì di continuare ad esibirsi sino alla fine degli anni ottanta. I brani da lui interpretati continuano tuttora - come è accaduto anche il 24 ottobre 2008 su Radio1 nel programma di Umberto Broccoli Con parole mie - ad essere trasmessi per accompagnare ricostruzioni storiche di fatti od avvenimenti passati. Nella sua lunghissima carriera incise decine di dischi, iniziando con i vecchi 78 giri, lavorando con svariate case discografiche. Morì a seguito di un attacco cardiaco nella sua casa di Ferrara il 29 marzo 1993; la scoperta del suo decesso venne fatta dalla figlia che si era recata a fargli visita. Sposato con la cantante e soubrette Rosanna Vallieri - spesso presente anche con il nome Giorgia Vallieri, si esibì in coppia con lei in diverse canzoni del repertorio napoletano come Lucia Lucì, Limoni d'oro e Ma quando pensi a Napoli, ebbe da lei una figlia e ne rimase vedovo nel 1992. A Ferrara, pochi anni dopo la morte, l'Amministazione comunale gli ha intitolato una via cittadina.