公元前221年，秦統壹六國。秦始皇廢分封，設郡縣，先屬潁川郡（治所今禹州市）。後屬陳郡（治所今淮陽縣）、在秦滅六國，建立封建的統壹王朝的戰爭中，丞相李斯（今上蔡人）起了重要作用。由於秦王朝的殘暴統治，公元前209年爆發了汝南人陳勝領導的中國歷史上第壹次農民大起義，起義軍攻占陳縣（今淮陽縣）後，建立“張楚”政權後陳勝被叛徒殺害，但秦王朝終於在農民起義的烈火中覆滅。
西漢高帝四年（公元前203年）置汝南郡，郡治汝陽，隸屬豫州刺史部，轄汝陽（今汝南縣），安成（今汝南縣東南）、陽城（今平輿縣西北）、新蔡（、慎陽（今正陽縣）等37縣。兩漢時期，汝南郡的經濟、文化逐步發展，出現了繁榮景象。漢武帝元光年間，汝南郡興修了鴻隙陂，跨今平輿、汝南，正陽、新蔡、息縣五縣，灌溉農田數萬畝。西漢元帝時在今泌陽縣修了馬仁陂，灌溉農田萬余頃。東漢和帝永元年間，汝南太守何敞在鴻隙陂修復鯛陽舊渠（在今新蔡縣北），新墾水田3萬多頃。靈帝中平年間，汝南太守調集民工在鴻隙陂大壩上用石塊修築水閘，進壹步擴大了灌溉面積。漢代鴻隙陂、馬仁陂等水利工程的興建，大大改善了農業生產條件，使汝南郡成為全岡最富庶的地區之壹。兩漢時期汝南郡人才輩出，在《後漢書》和《風俗通義》中列有傳記、留下姓名的汝南郡官吏、名士達100多人，因此有“汝半朝”、“汝南固多奇士”之稱。
三國時期，今天汝寧市屬魏，為汝南郡、南陽郡分轄。西晉分汝南郡置汝陰郡。東晉時先屬前秦，後屬東晉、後秦、後趙、前燕。南北朝時期大部屬汝南郡。南朝宋文帝在汝南郡治所僑立司州，始稱汝南為懸瓠。北魏初改司州為豫州，以後又多次更名。隋大業初改為汝南郡，隸屬豫州，泌陽屬豫州淮安郡。唐宋時期分屬蔡、唐二州。唐玄宗天寶元年，更州為郡，唐肅宗乾元初又改汝南郡為豫州。恢復唐州。寶應初代宗諱改豫州為蔡州。宋高宗建炎三年（1129年），金攻陷蔡州，置蔡州鎮南軍。公元1234年，金哀宗從開封逃到蔡州（今河南汝南），南宋乘機與蒙古聯合攻破蔡州，金國亡。元初分屬蔡、息、陳、唐四州。元至元三十年（1293年）升蔡州為汝寧府，泌陽歸南陽府。