違法建築的認定由縣級以上人民政府土地行政主管部門負責。現實中壹般是住建部門和市政管理部門負責。
對於壹些未經國土資源和城建管理部門審批同意的建築物和附屬構築物，屬於違法建築。對於此類建築，如果位於城市建成區，可以向當地市城建部門或規劃部門投訴，要求依法拆除；如果位於農村，就要向當地國土資源部門投訴。違章建築的拆除由城管部門負責。
處理違章建築的程序:
1，調查詢問，現場檢查
2、責令停止違法行為。
3.告知行政處罰權
4、作出行政處罰決定
5.執行。
法律依據:
《中華人民共和國城鄉規劃法》第六十八條
城鄉規劃主管部門作出責令停止建設或者限期拆除的決定後，當事人逾期不停止建設或者限期拆除的，建設工程所在地的縣級以上地方人民政府可以責成有關部門采取查封施工現場、強制拆除等措施。
《中華人民共和國土地管理法》第83條
依照本法規定，在非法占用的土地上新建建築物和其他設施被責令限期拆除的，建設單位或者個人必須立即停止施工，自行拆除；繼續施工的，作出處罰決定的機關有權予以制止。建設單位或者個人對責令限期拆除的行政處罰決定不服的，可以自收到責令限期拆除決定書之日起十五日內向人民法院提起訴訟；期滿不起訴又不自行拆除的，由作出處罰決定的機關依法申請人民法院強制執行，費用由違法者承擔。