Vo veku 39 rokov sa Joe Clark stal najmladším premiérom Kanady v roku 1979. Fiškálny konzervatívec, Joe Clark, a jeho menšinová vláda boli porazení po pouhých deviatich mesiacoch pri moci v súvislosti s nedôverou v návrh rozpočtu na zvýšenie daní a zníženie programov.
Po strate volieb v roku 1980 zostal Joe Clark vodcom opozície. Keď Brian Mulroney v roku 1983 prevzal funkciu vodcu progresívnej konzervatívnej strany Kanady a potom predsedu vlády Minister v roku 1984 Joe Clark pokračoval ako účinný minister zahraničných vzťahov a minister ústavy Záležitosti. Joe Clark opustil politiku v roku 1993, aby pracoval ako medzinárodný obchodný konzultant, ale v rokoch 1998 až 2003 sa vrátil do funkcie vedúceho progresívnej konzervatívnej strany.
Joe Clark začal svoju politickú kariéru ako vedúci organizácie pre progresívnu konzervatívnu stranu Alberty v rokoch 1966 až 1967. V roku 1967 bol osobitným asistentom konzervatívneho člena parlamentu Davie Fultona. V rokoch 1967 až 1970 pôsobil ako výkonný asistent konzervatívneho člena parlamentu Roberta Stanfielda.
Joe Clark bol prvýkrát zvolený do Dolnej snemovne v roku 1972. V roku 1976 bol zvolený za vodcu progresívnej konzervatívnej strany Kanady a do roku 1979 bol vodcom opozície. Po všeobecných voľbách v roku 1979 bol Joe Clark zložený ako predseda vlády Kanady.
Konzervatívna vláda bola porazená v roku 1980. Joe Clark bol opäť vodcom opozície v rokoch 1890 až 1983. Joe Clark zvolal konvenciu vedúcich progresívnej konzervatívnej strany av roku 1983 stratil vedenie strany Briana Mulroneyho.
Vo vláde Mulroney pôsobil Joe Clark v rokoch 1984 až 1991 ako minister zahraničných vecí. Od roku 1991 do roku 1993 bol predsedom rady pre záchody a ministrom zodpovedným za ústavné veci. Joe Clark nešiel vo všeobecných voľbách v roku 1993.
Joe Clark sa vrátil ako vodca progresívnej konzervatívnej strany Kanady v roku 1998. V roku 2000 bol znovu zvolený do poslaneckej snemovne. V roku 2002 Joe Clark povedal, že nesie progresívnu konzervatívnu stranu podľa možnosti. Rezignácia Joea Clarka ako vedúceho progresívnej konzervatívnej strany bola účinná na dohovore o vodcovstve v máji 2003.