Nasce a Genova, in via Ponte Calvi, da Giovanni Germi, portiere d'albergo, e da Armellina Castiglioni, casalinga. Nel 1927 muore il padre: Pietro rimane con la madre e le tre sorelle Carolina, Gilda ed Enrichetta che lavorano in una nota sartoria. Frequenta la scuola fino all'ultimo anno dell'Istituto nautico San Giorgio, ma non consegue il diploma perché non si presenta agli esami finali nonostante gli eccellenti voti. In seguito, si trasferisce a Roma per seguire i corsi del Centro sperimentale di cinematografia rimanendo comunque molto legato alle sorelle. Nel 1941 sposa a Genova Anna Bancio e nel 1947 nasce a Genova la figlia Marialinda. In seconde nozze sposa Olga D'Ajello, che gli darà i figli Francesco, Francesca e Armellina. Muore a Roma il 5 dicembre 1974. Le sue spoglie riposano accanto a quelle della prima moglie Anna nel piccolo cimitero di Castel di Guido nelle vicinanze di Roma.

Inizia la sua carriera di attore a 25 anni in Retroscena (1939), in cui lavora anche come co-sceneggiatore. Lavora sempre come attore in Gli ultimi filibustieri (1941) e in Montecassino nel cerchio di fuoco (1946). Studia a Roma presso il Centro Sperimentale di Cinematografia, dove segue i corsi di regia di Alessandro Blasetti. Nel 1945 esordisce alla regia con Il testimone, di cui firma anche il soggetto, un giallo psicologico del tutto insolito negli anni del neorealismo. Seguono il poliziesco d'ispirazione americana Gioventù perduta (1947) e In nome della legge (1949), con Massimo Girotti, uno dei primi film italiani sulla mafia, per il quale Germi riceve un Nastro d'Argento speciale, che lo consacra come autore. Con il dramma neorealista Il cammino della speranza (1950) Germi raggiunge per la prima volta un livello internazionale. Il film è presentato in concorso al Cannes e vince l'Orso d'argento al Festival di Berlino. Il noir realistico La città si difende (1951) viene premiato come miglior film italiano al Festival di Venezia. Con i suoi film successivi Germi non convince la critica, ma mantiene un rapporto privilegiato con il pubblico. Nel 1952 dirige La presidentessa, adattamento per il cinema dell'omonima commedia teatrale di Maurice Hennequin e Pierre Veber, un titolo eccentrico nella sua filmografia, e il "western sudista" Il brigante di Tacca del Lupo, con Amedeo Nazzari, tratto dal romanzo omonimo di Riccardo Bacchelli. Nel 1953 con Gelosia porta nuovamente sul grande schermo il romanzo di Luigi Capuana Il marchese di Roccaverdina, dopo la versione di appena dieci anni prima diretta da Ferdinando Maria Poggioli, e partecipa al modesto film a episodi Amori di mezzo secolo con il segmento Guerra 1915-1918. Resta inattivo per quasi due anni, ma nel 1955, con Il ferroviere, gira una delle sue opere più riuscite ed intense. Il ferroviere ottiene un notevole successo di pubblico ed è considerato uno dei capolavori del regista genovese e una fra le ultime grandi espressioni del neorealismo cinematografico italiano. Ad esso succedono film come L'uomo di paglia (1958), e il capolavoro Un maledetto imbroglio (1959) tratto dal romanzo Quer pasticciaccio brutto de via Merulana di Gadda: uno dei primi esempi di poliziesco italiano apprezzato, tra gli altri, da Pier Paolo Pasolini. Nel 1961 spiazza pubblico e critica dando alla sua carriera una svolta imprevedibile: comincia infatti a girare commedie pungenti, satiriche e grottesche. Il capolavoro Divorzio all'italiana (1961), in cui tratteggia l'indimenticabile barone Cefalù interpretato da Marcello Mastroianni irretito dall'adolescente Stefania Sandrelli, apre questa nuova fortunata stagione della sua carriera; il film, scritto con Ennio De Concini e Alfredo Giannetti e incentrato sul delitto d'onore, riceve una nomination all'Oscar per la miglior regia, un'altra a Mastroianni come miglior attore ed ottiene quello per il miglior soggetto e sceneggiatura originale oltre ad altri prestigiosi riconoscimenti. Dal titolo del film ha preso il nome un certo tipo di commedia prodotta in Italia in quel periodo nota come commedia all'italiana.