責任田屬於耕地，國家對耕地實行嚴格的保護制度。在責任田上建房是違法的。
對於非法占用房屋，具有行政處罰權的行政機關是:
《土地管理法》規定:
第六十六條縣級以上人民政府土地行政主管部門應當對違反土地管理法律、法規的行為進行監督檢查。
第七十四條違反本法規定，占用耕地建窯、建墳，或者擅自在耕地上建房、挖砂、采石、采礦、取土，破壞種植條件，或者因土地開發造成土地沙化、鹽漬化的，由縣級以上人民政府土地行政主管部門責令限期改正，可以並處罰款；構成犯罪的，依法追究刑事責任。
第七十七條農村村民未經批準或者采取欺騙手段非法占用土地建住宅的，由縣級以上人民政府土地行政主管部門責令退還非法占用的土地，限期拆除在非法占用的土地上新建的住宅。
超過省、自治區、直轄市規定標準的，按非法占用土地處罰。
以上觀點是根據您的描述和問題進行的簡單回答，是律師的個人觀點，供您參考！
-
河南鄭州曹景傑律師
-