Ivan  fin da ragazzo dimostra di possedere doti musicali: vince per molte settimane consecutive le sfide di abilità con la chitarra tra i ragazzi dei quartieri della sua città per poi dedicarsi alla batteria e tornare alla chitarra solo a 22 anni. Nel 1960 Graziani esordisce nel mondo della musica nella band Nino Dale and his Modernists con la quale comincia la gavetta per night club e locali arrivando a compiere una tournée in Tunisia. Nel 1966 fonda la band Anonima Sound con cui inciderà il primo singolo Fuori piove/Parla tu l'anno seguente e partecipando al Cantagiro classificandosi ultimi. Il secondo 45 giri, Ombre vive/Girotondo del 1969, inciso con la Numero Uno di Mogol, ha un po' più successo. Dopo un ennesimo LP Graziani abbandona gli Anonima Sound per tentare la carriera solista. Del 1970 è il primo disco da solista, interamente strumentale, autoprodotto e mai distribuito: Tato Tomaso's Guitar è un omaggio per la nascita del figlio Tommaso. Nonostante le difficoltà di questi anni Graziani decide di non mollare la carriera musicale e nel 1973 incide l'album Desperation, interpretato in inglese con musiche rock anni '50. Nel frattempo Graziani è entrato nel giro di artisti della Numero Uno, che comprende tra gli altri Lucio Battisti, Antonello Venditti. Nello stesso periodo collabora come session man ed autore con vari artisti, tra cui Herbert Pagani (nell'album Megalopolis del 1973), con la  Premiata Forneria Marconi (nell'album del 1975 Chocolate Kings), Gian Pieretti (per l'album Cianfrusaglie del 1975), Bruno Lauzi, Francesco De Gregori (in Bufalo Bill). Nel frattempo (1974) incide l'album La città che io vorrei, disco che preannuncia lo stile rock melodico che lo contraddistinguerà. La consacrazione da solista arriva grazie alla collaborazione con Lucio Battisti nell'incidere l'album La batteria, il contrabbasso, ecc., in cui Graziani partecipa come musicista suonando chitarra e mandolino. Inffati è proprio Battisti che sostiene il progetto ed edita l'album Ballata per quattro stagioni, il quale riceve consensi dalla critica. Si attesta la sua fama di abile chitarrista e Antonello Venditti lo sceglie per la registrazione dell'album Ullalla. Il successo presso il grande pubblico arriva nel 1977 con l'album I lupi (che comprende la canzone Lugano addio); un successo bissato dai successivi album Pigro (1978) e Agnese dolce Agnese (1979), la cui canzone di punta è Agnese, che ottiene un grande successo in radio e nelle classifiche nazionali. Dopo l'affermazione con questi tre album Graziani inizia una corposa attività concertistica. Il successivo album Viaggi e intemperie (1980), la cui canzone di punta è Firenze (canzone triste), rappresenta l'apice della sua carriera. Dopo l'album live del 1982 Parla tu (in cui reincide l'omonima canzone del repertorio Anonima Sound), nel 1983 viene pubblicato l'album Ivan Graziani: il 45-giri pilota Navi ottiene ottimi ascolti in radio, ma il 33 giri non si afferma. Il periodo successivo all'album Ivan Graziani è il più difficile della sua carriera, perdendo sempre più consensi di critica e pubblico. Nel 1984 esce Nove, ma non viene apprezzato. Nel 1985 partecipa per la prima volta al Festival di Sanremo con il brano Franca ti amo ottenendo però un pessimo risultato. Graziani pubblica in successione Ivangarage (1989), Segni d'amore (1990) e Cicli e tricicli (1991); quest'ultimo album divide la critica - per alcuni è un segnale di ripresa, per altri un passo falso - ma non vende molte copie. Nel 1994 Graziani partecipa nuovamente al Festival di San Remo con la canzone Maledette malelingue, che ha un buon successo (settima posizione nella competizione), e il seguente album Malelingue ottiene un buon numero di vendite. Nel 1995 pubblica Fragili fiori ... livan . Sarà il suo ultimo lavoro a causa della morte. Il 1º gennaio del 1997, all'età di 51 anni, Ivan Graziani muore nella sua casa di Novafeltria, dove aveva chiesto di tornare dall'ospedale per le festività natalizie, per un tumore al colon di cui soffriva dal marzo del 1995. Lascia la moglie Anna Maria Bischi e i due figli Tommaso e Filippo.