1967年6月參加工作，1980年7月加入中國* * *產黨。1967年6月至今，任浙江省寧波市鎮海機械廠動力設備科副科長、副主任。
1981年9月至1984年6月在浙江大學工業經濟管理幹部專業課學習。
1984至1，歷任浙江省余姚縣副縣長、鄞縣縣委副書記、縣長。
1985年9月至今，任浙江省省經濟信息中心黨組成員、副主任、主任。
1990年5月至今，歷任財政部綜合計劃司副司長、預算管理司副司長、綜合計劃司司長、綜合改革司司長。
1995年3月至今，歷任財政部部長助理、副部長、黨組成員、中國農業發展銀行行長、黨組(黨委)書記、中央金融工委副書記、國家經貿委副主任、黨組副書記。
2003年3月任中華人民共和國國家稅務總局局長、黨組書記。
2007年8月30日，第十屆全國人民代表大會常務委員會第二十九次會議決定任命謝為財政部部長，免去其中華人民共和國國家稅務總局局長職務。
2008年3月在第十壹屆全國人民代表大會第壹次會議上被任命為財政部部長(至2013年3月)。
2013年3月任全國社會保障基金理事會理事長。
十六屆中央候補委員。