Joe Clarkist sai 39-aastaselt Kanada noorim peaminister 1979. aastal. Maksukonservatiiv Joe Clark ja tema vähemusvalitsus maksude tõstmise ja programmide kärbete eelarvega seotud umbusaldusavalduse tõttu võideti pärast kõigest üheksa kuud võitu.
Pärast 1980. aasta valimiste kaotamist jäi Joe Clark opositsiooni juhiks. Kui Brian Mulroney asus 1983. aastal Kanada Progressiivse Konservatiivse Partei juhiks ja seejärel peaministriks 1984. aasta ministrina jätkas Joe Clark tõhusa välissuhete ministrina ja põhiseadusministrina Asjad. Joe Clark lahkus poliitikast 1993. aastal, et töötada rahvusvahelise ettevõtluskonsultandina, kuid naasis aastatel 1998–2003 Progressiivse Konservatiivse Partei juhiks.
Joe Clark alustas oma poliitilist karjääri Alberta Progressiivse Konservatiivse Partei organisatsiooni direktorina aastatel 1966–1967. Ta oli 1967. aastal riigikogu konservatiivse liikme Davie Fultoni eriassistent. Ta töötas aastatel 1967– 1970 parlamendiliikme konservatiivi Robert Stanfieldi täitevvõimuna.
Joe Clark valiti alamkojas esimest korda 1972. aastal. Ta valiti Kanada Progressiivse Konservatiivse Partei juhiks 1976. aastal ja opositsiooni juhiks kuni 1979. aastani. Joe Clark vannutati Kanada peaministriks pärast 1979. aasta üldvalimisi.
Konservatiivne valitsus sai lüüa 1980. aastal. Joe Clark oli taas opositsiooni juht aastatel 1890–1983. Joe Clark nimetas Progressiivse Konservatiivse Partei juhtimiskonventsiooni ja kaotas partei juhtimise Brian Mulroneyle 1983. aastal.
Mulroney valitsuses töötas Joe Clark 1984–1991 välisministrina. Ta oli aastatel 1991–1993 privileegide nõukogu president ja põhiseaduslike küsimuste eest vastutav minister. Joe Clark ei kandideerinud 1993. aasta üldvalimistel.
Joe Clark naasis Kanada Progressiivse Konservatiivse Partei juhiks 1998. aastal. Ta valiti alamkojas tagasi 2000. aastal. 2002. aastal ütles Joe Clark, et ta on kandnud Progressiivset Konservatiivset Parteid nii kaugele kui võimalik. Joe Clarki tagasiastumine Progressiivse Konservatiivse Partei juhiks jõustus juhtimiskonventsioonil 2003. aasta mais.