其後歷任安徽國稅廳籌備處坐辦，皖北稅務局局長，黑龍江督署秘書長，黑龍江省政務廳廳長，北京政府陸軍部參事，奉系軍閥張作霖的秘書、秘書長、秘書廳長兼東北交通委員會委員等職。
任職東北時，正值國內軍閥混戰，曾下決心以救國救民為己任。雲南起義時，在雲南參加起義會議。孫中山就任臨時大總統，他力主南北統壹，解除混亂局面，並呼籲各方放棄己見，以國家為重。他以撰《討曹錕檄》壹文，激勵奉軍士氣，深得張作霖賞識。民國14年(1925年)，奉軍大舉南下，勢力延伸到蘇皖和上海等地，張作霖為維護東南利益，以文人當政和蘇人治蘇之名，擢拔鄭謙任江蘇省省長，前後僅8個月。在任江蘇省省長期間，他曾撥款整治玄武湖。同年9月，孫傳芳部隊進逼南京，鄭謙倉促離寧，仍回奉天任秘書長。
民國18年，鄭謙於沈陽病逝，葬於南京中華門外梅山鐵礦附近。