陳遹聲早年師從著名學者俞樾（曲園）。清光緒十二年（1886）中進士，改翰林院庶吉士，授編修，出為松江知府。當地鹽梟久為患，遹聲到官，秘收其黨人為向導，親帥健卒飛馳百余裏，捕獲其首領，並繩之以法。松江地多低窪，數苦於潦，遹聲疏支河三十余，籌歲修費數萬金，以利於農。創立融齋精舍，以課學子，並嚴禁賭博，境內稱治。光緒二十四年(1898)，父喪回家，主纂《國朝三修諸暨縣誌》，翌年創辦景紫書院（今學勉中學前身）。諸暨縣北江藻村為賭窟，每年十月演戲，賭徒紛集，壹擲累千金，為此破家者甚多，遹聲請縣官蒞村坐禁賭博，使陋習收斂。服滿，復職江蘇，因功遷道員，入參政務，主練兵、稅務諸政。三十三年，授川東兵備道，川東多盜，蒞任未到壹旬，寇萬余立平。次年，黔中盜首劉天成集結蜀邊，川南防軍屢為所敗，省命練軍七營前往清剿，遹聲立募精勇數百人，部以兵法，疾去赴援，蒞任未到壹月，清剿獲勝生縛盜魁劉天成。江北廳產煤，礦脈綿延數百裏至合州，奸民私賣龍王洞煤礦於英商，川人激憤，遹聲與英商相持，最後以賤價贖回。治渝二年，頗有政績，朝廷授予頭品頂戴二品銜以示嘉許，後引疾而歸故裏。民國大總統徐世昌數次招聘，均謝而不出。
致仕後，陳在家鄉諸暨楓橋鎮上興建當地著名的私家園林——畸園，在園中授經堂內藏有古典書籍和名人字畫數萬卷（後增為30萬卷），孤本珍品很多，可惜在抗戰期間，被偽軍頭目漢奸蔡廉連同器具搬置五顯橋上，焚燒兩晝夜，橋跨楓江，為巨石築成，板多曝裂，遭此浩劫，畸園元氣大傷；剩下的不多的書籍和部分字畫古董被陳遹聲第三子陳叔辛（即陳詵）運往杭州，有些就保存在浙江省博物館中；畸園在新中國建立後，被政府作為封建官僚地主私產沒收，園內家屬被遷走，空置的房屋被辟為倉庫、豬場，再經過後來幾次大的政治運動，壹代名園毀損嚴重，遺跡幾不可考。
陳於1920年去世，其墓在趙家鎮上京村東北的獅子山上，為宋時“薦福寺”舊址，惜毀於1958 年。2001 年，陳氏後裔耗資重修。墓穴內出土的八方墓誌石於1985 年移入楓橋小天竺內保存。其地空曠，環境清幽，墓前有百年盤槐6株（均為原物），墓道前有四合院式墓廬壹處和牌坊壹座，保存完好，牌坊三間四柱，沖天式，南向，通面寬7 米，高約5 米。明間額仿上鐫刻陳遹聲所任官職，各柱皆鐫刻有楹聯。於1985 年公布為諸暨縣文物保護單位。
陳為文駿邁雄健，與時人翁同和、李慈銘等齊名，並對古董字畫的鑒賞造詣極深，著有《玉溪生詩類編》、《歷代題畫叢錄》、《逸民詩選》、《畸廬稗說》、《畸園老人詩集》及《鑒藏要略》等。《清史稿》有傳。
陳的兒孫當中，陳詵、陳季侃、陳孟炎比較有名。