波爾克從1819到1822是田納西州參議院的首席書記員。因為在法律界的名氣，他在1823被選為州代表。1825年，波爾克當選聯邦眾議員，1827年當選眾議院外交事務委員會委員，1833年當選眾議院籌款委員會主席，1835年和1837年兩次當選眾議院議長。波爾克在國會任職14年。從1825開始，國會分裂成兩派，壹派支持當時的新總統約翰·昆西·亞當斯，另壹派支持落選的傑克遜。傑克遜在第二次抗英戰役中頑強戰鬥，被稱為“老核桃”。所以波爾克也得到了“小核桃”的綽號。波爾克在1824結婚。妻子名叫莎拉·柴爾德裏斯。她的父親喬爾·柴爾德裏斯是壹名種植園主、商人和土地投機商。莎拉接受了良好的教育。她去了北卡羅萊納州壹所為上層階級兒童開設的女子學校。她和波爾克是在默弗裏斯伯勒接受塞繆爾·布萊克的指導時認識的。他們是1823訂婚的。1824 65438+10月1，莎拉和波爾克在她母親的房子裏舉行了婚禮。婚後無子女，盡力幫助丈夫從事政治活動。
1839年，波爾克在第二任議長任期結束時宣布競選田納西州州長。因為當時田納西州的政局需要壹個強勢的人做州長，才能保住傑克遜對該州的控制權。波爾克贏得了選舉。在1840大選中，田納西州議會提名波爾克為民主黨副總統候選人。他在民主黨提出的三位副總統候選人中得票最少，沒有被正式提名。大選結果是輝格黨獲得勝利，哈裏森當選總統，民主黨的範布倫下臺。在輝格黨執政的政治氣候下，波爾克於1841和1843兩次競選田納西州州長，均以失敗告終。