Secondo di sei figli, proviene da una famiglia rurale piemontese che ha dato notevoli contributi alla vita della Chiesa - da parte della madre, Delfina - ed alla organizzazione dello Stato, con il padre Giovanni, deputato del Parlamento italiano per tre legislature, dal 1948 al 1963, morto poco prima del Concistoro durante il quale il figlio è stato ordinato cardinale.

Terminati gli studi di filosofia e teologia presso il seminario vescovile di Asti, si è perfezionato a Roma per laurearsi successivamente in Teologia alla Pontificia università gregoriana, e in Diritto canonico presso la Pontificia università lateranense.

Il 23 settembre 1950 diventa sacerdote e dedica i suoi primi anni di ministero all'insegnamento della Teologia dogmatica nel Seminario diocesano. Ma si occupa anche dell'apostolato fra i giovani studenti.

Nel 1959 l'allora sostituto della Segreteria di Stato, cardinale Angelo dell'Acqua, lo richiama al servizio della Santa Sede. Successivamente, dopo aver frequentato i corsi della Pontificia accademia ecclesiastica, viene destinato alle Nunziature apostoliche in Ecuador, Uruguay e Cile, come segretario di Nunziatura. Nel 1968 torna a Roma e, per un decennio, partecipa alle attività dell'allora Consiglio per gli affari pubblici della Chiesa. Ma questo è anche il periodo dei viaggi, come membro di missioni della Santa Sede, prima in Romania, poi in Ungheria e, infine, nella Germania orientale.

Il 30 novembre 1977 papa Paolo VI lo nomina arcivescovo titolare di Nova di Cesare e Nunzio apostolico in Cile (dove resterà per più di dieci anni occupandosi della mediazione politica con l'Argentina). Il 15 gennaio 1978 il cardinale Antonio Samorè lo investe dell'ordinazione episcopale.

Papa Giovanni Paolo II lo chiama il 28 maggio 1988 per fargli assumere il ruolo di segretario del Consiglio per gli affari pubblici della Chiesa, sostituito dall'Ufficio per i rapporti con gli Stati, di cui diventa segretario il 1 marzo 1989 e per cui partecipa a molte riunioni internazionali, tra cui quelle con l'Osce.

Il 1 dicembre del 1990 assume l'ufficio di pro-segretario di Stato, mentre il 28 giugno 1991 Giovanni Paolo II lo nomina cardinale del Concistoro, del titolo della Chiesa Suburbicaria di Albano (dal 10 gennaio 1994). Ma il ruolo più importante gli viene affidato il 29 giugno 1991, quando il Papa lo nomina segretario di Stato, ruolo che ancora ricopre.

In più, è membro delle Congregazioni per la dottrina della fede, per le Chiese Orientali, per i vescovi e parte della Commissione cardinalizia di vigilanza dell'Istituto per le opere di religione.

Di lui Sandro Magister ha scritto sull'Espresso: "Nella gerarchia della Chiesa Sodano, come cardinale segretario di Stato, è secondo solo al Papa regnante. E quanto al papa futuro, si sa che aspira a diventarlo lui". Ed ancora: "Fa tutto per dare a intendere che sotto la sua scorza di diplomatico batte un gran cuore da pastore. Da primo pastore della Chiesa universale".