Figlio di un artigiano, frequenta a Firenze l'Accademia di Belle Arti, da cui viene espulso dopo pochi anni per cattiva condotta. Prosegue pertanto come autodidatta, e in questo periodo sono significativi gli incontri con Giovanni Papini e soprattutto con Ardengo Soffici, che lo avvicina all'arte futurista e al movimento di Marinetti. Da qui traggono ispirazione le sue prime opere (Bottiglia + zantuntun, 1912). Prima del rigore pittorico degli anni venti e trenta, alla fase futurista si alterna un breve periodo cubista . Aderendo all'ideologia futurista, si arruola come volontario nell'esercito e partecipa alla prima guerra mondiale ricevendo due medaglie di bronzo. Alla fine della guerra, il rientro nella società è difficile e Rosai trova nelle nuove idee del giovane Mussolini l'entusiasmo e lo slancio che cercava per opporsi alla borghesia e al clericalismo che tanto detesta. In questo periodo la sua pittura ritrae persone della sua famiglia, nature morte o figure di anziane tristemente sedute. Nel novembre 1920 tiene la sua prima esposizione personale a Firenze. Nel 1922 la sua vita è segnata dal suicidio di suo padre, annegato in Arno per debiti. Nei suoi scritti giovanili rivela di sentirsi colpevole di quella morte, e di dover vivere due vite, la sua e quella del padre. Per risanare la difficile situazione economica della famiglia, è infatti costretto a rilevare la bottega di falegnameria del padre e a diradare la sua attività pittorica. Nel periodo della maturità, Rosai si dedica invece all'osservazione degli umili e alla descrizione di scene di vita quotidiana, improntate al tipico populismo toscano; può definirsi post-futurista, l'uso dei volumi e dei colori di Rosai si ispira fortemente a Cézanne. Allo stesso tempo, la sua pittura resta tipicamente fiorentina e in essa riecheggia il Quattrocento di Masaccio. Fino al 1929 collabora come illustratore ad alcune testate dell'epoca fascista. La stipula dei Patti Lateranensi è per lui la conferma che lo spirito anticlericale del primo Mussolini è stato tradito e provoca in lui una violenta reazione, che si traduce nella pubblicazione di uno scritto (Per lo svaticanamento dell'Italia) che desta scalpore tra le gerarchie fasciste. Nell'imbarazzo della federazione fiorentina, la voce di aspro dissenso del pittore viene messa a tacere facendo venire a galla particolari della sua vita privata finora tollerati e tenuti nascosti. Le voci sulla sua omosessualità minacciano di investire il suo lavoro di artista e Rosai viene praticamente costretto a sposare un'amica d'infanzia, che conosce e accetta le sue abitudini e le sue frequentazioni. I quadri di Ottone Rosai vedono spesso protagonisti umili e pacifici popolani, colti in atteggiamenti quotidiani. Negli anni trenta il disagio esistenziale di Rosai lo conduce a vivere in luoghi isolati, lontani dalla comunità, e la sua pittura si carica di collera e di pessimismo; i suoi autoritratti delineano una figura di artista tormentato e dolente, ma nel 1932 arriva la sua consacrazione a pittore di primo livello con una personale a Palazzo Ferroni nella sua città. Fanno seguito numerose altre esposizioni in altre città, fra cui Milano, Roma, Venezia. Nel 1939 viene nominato professore di figura disegnata al Liceo Artistico, e nel 1942 gli viene assegnata la cattedra di pittura all’Accademia di Firenze. Dopo l'8 settembre 1943, Rosai viene fatto oggetto di una brutale aggressione, questa volta da parte degli antifascisti che vedono in lui un sostenitore del regime e ignorano le umiliazioni che lo stesso aveva subito dai gerarchi.  Negli anni cinquanta comincia a farsi conoscere in ambito internazionale, partecipando a rassegne in città come Zurigo, Parigi, Londra, Madrid. Un'esposizione organizzata a Firenze girerà poi nei musei di molte città tedesche. A Firenze nel 1954 dipinse e donò gratuitamente, in seguito all'iniziativa del Comitato per l'estetica cittadina di rinnovare gli antichi tabernacoli in rovina con opere di artisti contemporanei, una Crocifissione, la quale testimonia il perdurare dell'interesse di Rosai per la tradizione tre-quattrocentesca toscana:Giotto e Masaccio sono ancora i punti di riferimento. Ciò che negli anni Venti e Trenta, gli anni di "Strapaese", aveva significato per lui un recupero di semplicità, brutale sì, ma piena di sanguigno vigore, lascia il posto, nel dopoguerra, al desolato squallore di un universo pittorico che non sembra trovare sollievo neanche nella fede e mette in scena una sacra rappresentazione di raggelante forza espressiva. A Venezia, in occasione della Biennale del 1956, viene allestita una grande retrospettiva della sua opera. Nel 1957, mentre cura ad Ivrea l’allestimento di una sua personale, muore colto da infarto.