Vero nome John Uhler Lemmon III. Frequenta ad Harvard arte drammatica. Dal 1948 al 1953, subito dopo la guerra, si mantiene facendo il pianista di piano bar e l'attore radiofonico e televisivo. Al cinema diventa famoso come spalla di Judy Holliday.

Nel 1955 il mondo di Hollywood lo consacra fra le star, assegnandogli l'Oscar per l'interpretazione del guardiamarina Ensign Pulver in La nave matta di Mister Roberts, diretto da John Ford Mervyn LeRoy. Nei primi anni di carriera è confinato in ruoli tipici da commedia brillante. La bravura di Lemmon è di saper aggiungere sottili sfumature che trasformano ogni parte interpretata.

Nel 1960 ottiene il ruolo di protagonista nel film di Billy Wilder L'Appartamento. Da questo momento in poi Lemmon è considerato attore di spessore. Passa da ruoli secondari, ma forti, come nel 1979 Sindrome Cinese di James Bridges, accanto a Michael Douglas e Jane Fonda, a quelli demenziali di A qualcuno piace caldo, a fianco di Marilyn Monroee di Tony Curtisnel 1959, diretto da Billy Wilder. I successi si susseguono. Interpreta film di tensione come Missing-Scomparsodel 1982 alla tragedia di JFK-Un caso ancora aperto del 1991, diretto da Oliver Stone.

Tra i suoi tanti e illustri partner, indimenticabile il sodalizio personale e professionale con Walter Matthau, co-protagonista di Prima Pagina del 1974, diretti da Billy Wilder. Insieme ne La strana coppia (1968), di Gene Sakse La strana coppia II, trent'anni dopo. Continua la loro unione nei film Due irresistibili brontoloni del 1993 diretti da Daniel Petrie e nel sequel, due anni dopo, That's Amore: due improbabili seduttori. In questo film recitano accanto ad una corteggiatissima Sophia Loren, diretti da Howard Deutch. Lemmon lo vuole accanto a se anche nel film che ha diretto Vedovo, aitante, bisognoso affetto, offresi anche baby-sitter del 1971.

Il secondo Oscar gli arriva nel 1973, per Salvate la Tigredi John G. Avildsen. Nel 1985 interpreta il film Maccheronidi Ettore Scola. Nel ruolo di un americano ex combattente, recita accanto a Marcello Mastroiannie Daria Nicolodi. La sera del 23 gennaio 2000 si aggiudica il Golden Globe come Miglior Attore di Film Tv, per Inherit the Wind. Due mesi dopo, vince per la stessa interpretazione il 6th Annual Screen Actors Guild Awards.

Lemmon è morto all'età di 76 anni. Lo ha comunicato il suo portavoce Warren Cowan. Da tempo era malato di cancro, ed era ricoverato in un ospedale di Los Angeles. Nel momento della morte la moglie Felicia e i suoi due figli erano al suo capezzale. Si è spento alle 22 del 27 Giugno 2001 a Los Angeles.