Da Angers all'età di 10 anni si trasferì con la famiglia a Saint-Malo, dove trascorse un'infanzia turbolenta, culminata con l'espulsione dal collegio per indisciplina. Desideroso di intraprendere la carriera artistica, all'età di 17 anni si trasferì a Parigi, dove dapprima frequentò corsi di recitazione, per poi entrare al Conservatoire National d'Art Dramatique. Nel 1941 fece il suo debutto cinematografico nel film Primo appuntamento. Dopo diversi ruoli secondari in film quali L'assassino abita al 21 (1941) e Turbine d'amore (1946), Gélin ottenne il suo primo vero ruolo da protagonista nel 1949 con Le sedicenni, film con il quale si affermò definitivamente come uno dei più interessanti giovani attori francesi, dotato di una maschera malinconica e tormentata, assai apprezzata dagli autori del filone "esistenzialista" in voga all'inizio degli anni cinquanta. Con la sua capacità di interpretare personaggi inquieti e problematici, Gélin si assicurò ruoli in film di prestigio, quali La ronde (1950), uno dei grandi capolavori della cinematografia francese, Le mani sporche (1951),  Il piacere (1952),  La romana (1954) tratto dall'omonimo romanzo di Alberto Moravia. Nel 1952 affrontò anche la sua unica prova di regia cinematografica, dirigendo, sceneggiando e interpretando I denti lunghi (1952), un dramma giornalistico in cui ebbe come partner l'attrice Danièle Delorme, con cui era sposato all'epoca. Nel 1956 recitò nel celebre thriller L'uomo che sapeva troppo,  in cui interpretò il ruolo-chiave di Louis Bernard, il misterioso straniero che viene pugnalato sotto gli occhi del protagonista (James Stewart), al quale - prima di morire - confida i dettagli di un complotto internazionale. Nella seconda metà degli anni cinquanta, con l'affermarsi di nuovi interpreti legati alla Nouvelle Vague, Gélin iniziò a diradare l'attività cinematografica per tornare a dedicarsi al teatro, cimentandosi sia nel repertorio classico che in quello contemporaneo. Tra le rappresentazioni è da ricordare Erik XIV  (1960),  che venne rappresentata con grande successo prima al Thétre de Chaillot di Parigi e successivamente al Festival di Avignone. Durante gli anni sessanta, Gélin fu attivo anche sul piccolo schermo, diventando protagonista di Les saintes chéries, serie televisiva che fu popolarissima in Francia negli anni dal 1965 al 1970 e che diede all'attore una rinnovata celebrità. Dal primo matrimonio (1944-1954) con l'attrice Danièle Delorme, Gèlin ebbe un figlio, Xavier, nato nel 1946 e divenuto poi attore, produttore e regista cinematografico, morto nel 1999 per un tumore. Dalla relazione con la modella Marie Catherine Schneider, nel 1952 nacque la figlia Maria Schneider, che fu allevata dalla madre e che Gélin non ha mai riconosciuto, e che conquistò fama mondiale nel 1972 quale protagonista del celeberrimo film Ultimo tango a Parigi di Bernardo Bertolucci. Dal secondo matrimonio (1955-1968) con la modella Sylvie Hirsh, nacquero due figli, Manuel (1958) e Fiona (1962), entrambi divenuti attori. Un terzo figlio, Pascal, nato nel 1955, morì all'età di 14 mesi per un accidentale avvelenamento da farmaci. Nel 1973 Gélin si sposò per la terza volta con Lydie Zacks, da cui ebbe un'altra figlia, Laura, nata nel 1975. Colpito da una grave insufficienza renale, che lo costrinse negli ultimi anni di vita a sottoporsi a continue terapie di dialisi, Gélin si spense a Parigi, all'età di 81 anni. È sepolto nel cimitero di Rocabey a Saint-Malo (località dove trascorse infanzia e adolescenza), accanto ai genitori e al figlioletto Pascal.