Considerato uno dei più celebri playboy del XX secolo, e conosciuto per il suo stile di vita sfarzoso oltre che per le belle donne di cui amava circondarsi, è morto all'età di cinquantasei anni in un incidente d'auto al Bois de Boulogne. È stato sposato più volte, con l'attrice  francese Danielle Darrieux. Altre sue mogli sono state Flor de Oro Trujillo, Doris Duke, la miliardaria Barbara Hutton e Odile Rodin. Nato in una famiglia della borghesia, figlio di un generale dell'esercito, Rubirosa crebbe in Francia, a Parigi, dove nel 1920 il padre iniziò a svolgere attività di diplomatico al consolato della Repubblica Dominicana. Tornò nel paese natale per studiare e per  svolgere il servizio di leva. Rubirosa sposò Flor de Oro Trujillo (1915-1978), figlia del dittatore dominicano il 3 dicembre 1932, quando lei era appena diciassettenne. Il matrimonio avvenne in tempi rapidi, praticamente una settimana dopo il loro primo incontro. Trujillo lo inviò a Berlino per svolgere il suo primo incarico da diplomatico. Quando fu palese l'infedeltà di Rubirosa, Trujillo impose alla figlia di divorziare. Impossibilitato a far rientro nella Repubblica Dominicana, Rubirosa continuò a vivere in Europa fino all'uccisione dell'ex suocero. A Rubirosa sono state attribuite relazioni sentimentali con numerose donne del mondo dello spettacolo e del jet-set. Fra le altre, Dolores del Río, Marilyn Monroe, Ava Gardner, Rita Hayworth, Soraya Esfandiary, Veronica Lake, Kim Novak, Eva Peron e Zsa Zsa Gabor. Sembra che Rubirosa fosse superdotato quanto ad organi genitali, una peculiarità che in Francia è ricordata anche attraverso un drink particolarmente piccante servito nei bistrò chiamato non a caso "Rubirosas" nonché attraverso un macinapepe particolarmente lungo e voluminoso battezzato appunto "rubirosa". Rubirosa è stato sposato con l'attrice Danielle Darrieux (con cui convolò a nozze il 18 settembre 1942), con la giornalista e milionaria Doris Duke (sposata il 1º settembre 1947) e con Barbara Hutton, da cui divorziò il 30 dicembre 1953 dopo soli cinquantatré giorni di matrimonio. Duke riconobbe all'ormai ex-marito cinquecentomila dollari oltre ad un allevamento di cavalli per il polo, diverse auto sportive e un B-25 riadattato. Ebbe anche come buonuscita una casa parigina del XVII secolo . Hutton dal canto suo gli aveva comprato una piantagione di caffè nella Repubblica Dominicana e, successivamente, un altro B-25. In sede di divorzio gli riconobbe un importo di tre milioni e mezzo di dollari. Il suo ultimo matrimonio fu celebrato nel 1956, quando aveva quarantasette anni, con l'allora diciannovenne attrice francese Odile Rodin. Dopo una notte di baldorie al nightclub "Jimmy's" per festeggiare la vittoria nella coppa di Francia di polo, Rubirosa alla guida della sua Ferrari si schiantò nell'estiva alba parigina contro un albero al Bois de Boulogne.  La vita di Rubirosa è stata nel frattempo rappresentata dal personaggio del romanzo di Harold Robbins The Adventurers di nome Dax Xenos. Come pilota di automobilismo, Rubirosa si iscrisse al GP di Bordeaux - valido per la Formula 1 - il 25 aprile 1955. Doveva guidare la propria personale Ferrari 500, identica a quella di Alberto Ascari nel 1952 e nel 1953. Tuttavia, si ammalò prima della gara e dovette rinunciare a correre. Partecipò invece nel 1950 e nel 1954 alla 24 Ore di Le Mans e nel 1954, in coppia con Luigi Valenzano, alla 12 Ore di Sebring (in questa competizione pilotò una Lancia D24).