卡拉漢的父親是壹位英國皇家海軍的軍士長，家族具有愛爾蘭人血統，父親在他9歲的時候逝世。卡拉漢早年入讀北樸次茅斯文法學校（PortsmouthNorthernGrammarSchool，即今日的梅菲爾德學校，英文為MayfieldSchool），在16歲時，他便開始工作，於稅務局任職文員，後來更獲擢升為稅務督察。擔任稅務督察期間，卡拉漢創立了壹所工會，名為稅務人員協會（AssociationofOfficersofTaxes），並且是該會的重要成員。稅務人員協會合並為稅務局職工聯盟（InlandRevenueStaffFederation）後，卡拉漢擔任過該聯盟的全職助理秘書。
工會的工作使卡拉漢認識哈羅德·拉斯基（HaroldLaski），拉斯基是工黨全國行政委員會的主席，也是倫敦政治經濟學院的壹位知名學者。他曾鼓勵卡拉漢競選國會議席。但第二次世界大戰爆發後，卡拉漢於1943年決定參加皇家海軍，並得到了海軍上尉軍階。退役後，卡拉漢曾出選南加地夫選區，後來轉到東南加地夫選區，並在1945年大選贏得該議席。壹直到1987年，卡拉漢都在加地夫的選區中擁有國會議席。 卡拉漢在1947年獲任命為交通部的國會秘書，見證了斑馬線的引入和貓眼的廣泛使用。他在1950年轉任海軍部的國會及財務秘書，在歐洲評議會（CouncilofEurope）代表英方，反對成立壹支歐洲軍隊。
作為壹位在工黨中受歡迎的人物，當工黨自1951年到1964年成為反對黨的時候，卡拉漢每年都獲聘任到影子內閣。自1955年至1960年，卡拉漢又擔任警察聯盟的國會顧問，負責就增加警務人員薪酬壹事展開談判。在1960年，卡拉漢出選工黨副黨魁壹職，主張反對單方面裁減核武，雖然這點政綱得到右翼的候選人喬治·布朗支持，但由於卡拉漢資歷尚淺，副黨魁壹位最後仍由布朗奪得。
在1961年，卡拉漢成為了影子內閣的財政大臣，到了1963年，由於工黨黨魁曉治·蓋茨克（HughGaitskell）因病去世，卡拉漢遂競逐黨魁壹職，但結果在選舉屈居第三。當工黨贏得1964年大選後，卡拉漢正式被任命為財政大臣，依照政府制定的政策，著手應付財政赤字，及阻止投機者對英鎊的狙擊。為了避免英鎊貶值，卡拉漢又努力向其他中央銀行貸款和提出加稅，企圖穩定經濟。
然而，六日戰爭的爆發和連串的港口罷工，加速了投機炒賣，促使英國政府在1967年11月18日，將英鎊由每英鎊兌換2.80美元貶值到每英鎊兌換2.40美元。事後，卡拉漢立即請辭，但得到首相哈羅德·威爾遜挽留留任多兩星期，再與羅伊·詹金斯對調職位，改任內務大臣。任內，基於他的工會背景，卡拉漢在1969年對另壹位閣僚，芭芭拉·卡素爾（BarbaraCastle）提出的就業法表示大力反對，事件中，卡拉漢壹直占有上風，最終使卡素爾的《取締沖突》（InPlaceofStrife）白皮書流產，而兩人的紛爭更被稱為“唐寧街戰役”（TheBattleofDowningStreet）。與此同時，工黨內壹些反對威爾遜的人士亦開始動搖威爾遜的管治，並寄望以卡拉漢取而代之。卡拉漢則負責與北愛爾蘭的阿爾斯太聯合黨政府談判，促使英軍撤出北愛爾蘭。
威爾遜在1970年大選中，出乎意料地被保守黨的愛德華·希思擊敗下臺。但卡拉漢未有趁機挑戰威爾遜的黨魁地位，從而進壹步取得威爾遜的信任。在1972年，卡拉漢負責重新制定工黨的政策方針，並提倡政府和工會間要有“社交接觸”（SocialContract），此外，卡拉漢又帶頭撓過威爾遜，反對希思政府將英國成為歐洲***同體的壹員。
威爾遜在1974年3月重新當選首相後，卡拉漢獲委任為外務大臣，負責重新就英國加入***同市場的會籍條款作出談判。經過壹連串的談判後，卡拉漢和內閣均同意英國在新的條款下留在歐洲***同體，並呼籲國民在1975年的公投中投下贊成票。 在1976年3月16日，威爾遜突然宣布辭職，並非官方地支持卡拉漢成為他的繼任人。隨後，卡拉漢在1976年工黨黨魁選舉中順利當選黨魁，並出掌首相壹職。至此，卡拉漢是唯壹壹位出任過四大國務大臣，即財政大臣、內務大臣、外務大臣和英國首相的人。
雖然卡拉漢支持工會運動，又得到工會支持，但相比起威爾遜，他並不是壹位左翼份子。卡拉漢在1950年代壹直支持曉治·蓋茨克，出任黨魁後更把左翼的芭芭拉·卡素爾趕出內閣。
然而，卡拉漢仍跟隨威爾遜的方針，讓內閣做到均衡參與，當中，曾是黨魁競爭對手，又是左翼的邁克爾·富特（MichaelFoot），更得到卡拉漢重用。富特獲卡拉漢任命為下議院領袖外，又讓他主理政府的立法事務。不久以後，工黨因為補選而失去多數優勢，工黨政府都是依靠卡拉漢和富特的讓步和合作，才得以維持。
在1977年，卡拉漢卷入了用人唯親的醜聞。他的女婿，彼得·傑伊（PeterJay）是壹位有名記者，卻從無參政經驗，但仍被任命為駐美國大使，結果引來了壹番爭論。
由於工黨在下議院只占小數，卡拉漢被迫與其他小黨派合作，當中，工黨和自由黨更簽署了“自由黨-工黨協議”。另壹方面，卡拉漢企圖以公投方式下放權力到蘇格蘭和威爾士，可是前者未能獲得所需的票數，後者更換來了激烈反響。然而，到1978年的秋天，普遍的民意調查仍顯示工黨的支持率領先保守黨，結果輿論壹致認為卡拉漢將會召開大選，而卡拉漢的反應成為了他下臺的主因。
卡拉漢壹直哄騙反對黨，使外界以為他將在1978年9月初，透過電視宣布即將舉行選舉，而他隨後的舉動更令人誤以為工黨仍然占有優勢。他在壹次工會會議中，模仿了老牌音樂廳歌手瑪莉·勞埃（MarieLloyd），唱出了《WaitingattheChurch》壹曲嘲諷保守黨，盡管卡拉漢暗示自己沒有承諾舉行大選，但事件卻使評論員誤解了他的意思，認為他將舉行大選，並斷言保守黨壹定毫無準備應戰。
在經濟方面，卡拉漢自上任4年以來，壹直主要以控制勞工階層的薪金加幅來解決長期的通貨膨脹問題，而且也取得了相當的成功。因此，他認為維持控制薪金加幅的政策，將能繼續促進經濟繁榮，並有利他在1979年成功連任，結果，卡拉漢在1978年決定繼續限制薪金加幅在5%或以下。可是，這次工會卻不再妥協，反而對政策作出了強烈的反對，以期望得到更高的加薪幅度，在1978年至1979年間的冬天，國內出現了壹連串的工業糾紛和大罷工，使市政服務陷於停頓，經濟處於混亂狀態，史稱“不滿足的冬天”。“不滿足的冬天”使工黨政府的聲望急挫，而在1979年初，卡拉漢從瓜德羅普的高峰會返回英國途中，向記者表示世界上的其他人並不認為英國存在所謂日益嚴重的混亂狀態，更使情況有火上加油之勢：
當時記者問：“面對全國現在日益嚴重的混亂狀態，妳會有甚麽行動？”卡拉漢回答道：“對，我想這只是觀點與角度的問題。我保證若妳以局外人的眼光看這件事，而非妳現在狹隘的眼光看，我很難相信世界的其他人會同樣認為，現在有所謂日益嚴重的混亂狀態。” 卡拉漢在1980年9月辭任工黨黨魁，經過黨魁選舉後，邁克爾·富特接任工黨黨魁。在1983年，卡拉漢得到了“下院之父”的稱號，這稱號為在下院任議員時間最長者獨得，另外在1983年，他和富特也是曾參與1945年大選而仍在世的人（但富特由1955年至1960年都不是下議院議員）。到了1987年，卡拉漢獲授嘉德勛章，並於同年放棄競逐1987年大選，告別長達42年的下議院議員生涯。不久以後，他又被冊封為加地夫的卡拉漢男爵，晉身到上議院。