Cresciuto calcisticamente nel San Martino, venne scartato ai provini da Bologna, Fiorentina, Milan per via della sua corporatura, prima di essere acquistato dal Pisa per la cifra di settantamila lire. Fece il suo esordio professionistico nel 1972 allo stadio Porta Elisa nel derby toscano contro la Lucchese, squadra della sua provincia natale. Con la società nerazzurra giocò per due anni in Serie C, scendendo in campo 41 volte e segnando 4 gol.

Nel 1974 venne prelevato, su suggerimento di Giancarlo Beltrami, dal Como, società dove trovò come allenatore Pippo Marchioro, con cui instaurerà fin da principio un buon rapporto. Mise a referto con i lombardi, in Serie B, 36 partite e 2 gol.

Dopo un corteggiamento da parte di Fiorentina e soprattutto Inter (col presidente nerazzurro Ivanoe Fraizzoli che aveva già formalizzato un accordo coi comaschi per 700 milioni), nel 1975 venne acquistato dalla Juventus per 950 milioni di lire, voluto fortemente dal presidente bianconero Giampiero Boniperti.

Fu subito schierato dall’allenatore Carlo Parola come terzino, alternandolo al più esperto Luciano Spinosi. Esordì con il club torinese il 27 agosto, nella gara di Coppa Italia tra Juve e Taranto, finita 2-0 per i bianconeri. Inizialmente ebbe delle difficoltà a inserirsi in squadra, ma poi seppe ritagliarsi un ruolo anche nel centrocampo bianconero. Fino al 1985 giocò stabilmente con i piemontesi e sempre come titolare inamovibile, eccezion fatta per la stagione 1979-1980 in cui mise a referto solo 18 presenze a causa di un infortunio.

Disputò l’ultima partita in maglia bianconera il 29 maggio 1985, nella finale di Coppa dei Campioni vinta per 1-0 contro gl’inglesi del Liverpool, partita teatro della strage dell’Heysel. Chiuse la sua esperienza a Torino dopo 259 incontri conditi da 34 centri, nel corso dei quali mise in bacheca cinque campionati, due Coppe Italia, una Coppa dei Campioni, una Coppa delle Coppe e una Coppa UEFA; un palmarès che tuttora ne fa uno dei soli nove giocatori, nella storia del calcio, capaci di conquistare le tre principali competizioni UEFA per club.

Nell’estate 1985 passò, a causa della sua non soddisfazione per la posizione in campo decisa dal tecnico bianconero Trapattoni, ai rivali dell’Inter, in uno scambio di mercato che coinvolse Aldo Serena: la Juventus pagò 6 miliardi di lire in tutto, valutando Tardelli 3,2 miliardi. Dopo due stagioni a Milano globalmente al di sotto delle aspettative, in cui spiccò soprattutto la doppietta del 1986 agli spagnoli del Real Madrid nella semifinale d’andata di Coppa UEFA, si svincolò dal club nerazzurro a causa dell’arrivo di Trapattoni sulla panchina interista, con la ripetizione dei contrasti che gli avevano fatto lasciare il club bianconero, e nell’estate 1987 si accasò in Svizzera, al San Gallo, vestendo la maglia biancoverde per una stagione prima di porre termine alla sua carriera agonistica.

Fece il suo esordio con la maglia dell’Italia il 7 aprile 1976, all’età di ventuno anni, nell’amichevole di Torino contro il Portogallo (3-1). Divenne poi elemento cardine della selezione guidata da Enzo Bearzot, della quale fu titolare al campionato del mondo 1978 in Argentina e al campionato d’Europa 1980 organizzato in Italia; al termine di quest’ultimo, venne inserito nella formazione ideale del torneo.

Soprannominato da Bearzot Coyote, con 7 presenze e 2 gol fu protagonista della vittoria al campionato del mondo 1982 in Spagna. Qui siglò la rete dell’1-0 nella partita poi vinta 2-1 sull’Argentina nonché la celebre rete del 2-0 nella vittoriosa finale 3-1 contro la Germania Ovest, quella del famoso “urlo” in cui Tardelli corse a perdifiato verso metà campo, agitando i pugni contro il petto, con le lacrime che gli rigavano il viso e urlando a ripetizione «gol!» mentre scuoteva selvaggiamente la testa: «dopo che segnai, tutta la vita mi passò davanti — la stessa sensazione che, si dice, si ha quando stai per morire. La gioia di segnare in una finale di Coppa del Mondo fu immensa, qualcosa che sognavo da bambino, e la mia esultanza fu una sorta di liberazione per aver realizzato quel sogno. Sono nato con quel grido dentro di me, e quello fu l’esatto momento in cui venne fuori»; per ironia della sorte, quel gol — inserito nel 2010 da Goal.com al 2º posto tra le 50 migliori celebrazioni nella storia dei campionati mondiali, e nel 2014 dalla BBC al 4º posto tra i 100 più bei momenti nell’epopea della Coppa del Mondo — rimase il suo ultimo in maglia azzurra.

Dopo il ritiro di Dino Zoff avvenuto nel maggio 1983, ereditò la fascia di capitano che vestì in 9 occasioni. Il 25 settembre 1985 giocò la sua ultima partita in nazionale, l’amichevole di Lecce contro la Norvegia (1-2). Fu comunque convocato per il successivo campionato del mondo 1986 in Messico, dove però non venne mai utilizzato nelle quattro gare disputate dagli Azzurri, eliminati agli ottavi di finale.

Dopo il ritiro dalla pratica agonistica iniziò per lui la carriera di allenatore. Il 21 settembre 1989 diviene il responsabile dell’Italia Under-16. Il 1º agosto 1990 passò a essere il vice di Cesare Maldini nell’Italia Under-21. Il 26 giugno 1993 lasciò il ruolo per diventare allenatore del Como, in Serie C1, ottenendo a fine stagione la promozione in cadetteria dopo i vittoriosi play-off. Il 13 giugno 1995 passò alla guida del Cesena, in Serie B, ruolo da cui venne esonerato il 25 ottobre 1996.

Il 16 dicembre seguente tornò a fare il vice di Cesare Maldini, stavolta per l’Italia. Il 27 aprile 1997 venne annunciato come tecnico dell’Italia Under-23 per i Giochi del Mediterraneo di Bari, manifestazione in cui portò gli azzurri, il 25 giugno dello stesso anno, a conquistare la medaglia d’oro. Il 18 dicembre venne quindi nominato commissario tecnico della nazionale Under-21, con la quale vinse nel 2000 il titolo europeo di categoria.

Il 7 ottobre 2000 diventò allenatore dell’Inter, guidando tre giorni dopo l’ultima volta gli azzurrini. Il 19 giugno 2001 venne esonerato dai nerazzurri alla fine di una negativa stagione caratterizzata, fra l’altro, da pesanti tracolli come lo 0-6 nella stracittadina contro il Milan in campionato, e l’1-6 con il Parma in Coppa Italia. Il 29 dicembre 2002 venne annunciato come nuovo tecnico del Bari, venendo sollevato dall’incarico l’11 novembre 2003.

Il 25 marzo 2004 diventò commissario tecnico dell’Egitto; venne esonerato l’11 ottobre dopo la sconfitta contro la Libia. Il 28 febbraio 2005 diventò allenatore dell’Arezzo, subentrando a Pasquale Marino; Il 21 aprile venne esonerato e sostituito proprio da Marino. Il 14 giugno 2006 entrò nel consiglio di amministrazione della Juventus; il 14 giugno 2007 si dimise, dopo esattamente un anno, a causa di sopraggiunti dissidi con la dirigenza bianconera.

Il 1º maggio 2008 venne chiamato dal suo ex tecnico della Juve e dell’Inter, Giovanni Trapattoni, nel ruolo di vice alla guida dell’Irlanda. L’11 agosto 2011 Trapattoni si operò all’addome, sicché Tardelli lo sostituì alla guida dei Boys in Green in occasione dell’amichevole contro l’Argentina. L’11 settembre 2013, con le dimissioni del Trap, lasciò anche lui la nazionale irlandese.

Già al termine dell’attività agonistica iniziò a lavorare saltuariamente come opinionista sportivo; nella stagione televisiva 1989-90 fu ospite fisso de La Domenica Sportiva, ruolo poi ripreso dagli anni 2000 quando è opinionista anche in altri programmi di Rai Sport, 90º minuto o gli speciali di Europei e Mondiali, oltreché di Rai Radio 1.

Nel 2016 ha scritto a quattro mani con la figlia Sara l’autobiografia Tutto o niente – La mia storia.