违建的管理通常由县级以上地方人民政府负责，具体由以下部门负责：
1. 县级以上地方人民政府城乡规划主管部门：负责查处城市规划区内违反规划建设行为和非法临时建筑。
2. 县级以上人民政府土地行政主管部门：负责查处涉及违法占地建设的行为。
3. 城市管理执法部门（城管）：承担控制和查处违法建设综合协调机构的日常工作，并指导、协调、督查和考核查处违法建设工作。
4. 住房和城乡建设局：负责查处未依法办理施工许可手续进行建设的违法行为。
5. 乡、镇人民政府：在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按照许可证规定进行建设的行为，有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
若发现违章建筑，可以向当地的城市建设管理监察支队、房屋土地管理局、国土资源局、规划局等部门举报。
需要注意的是，违建的处理需要遵循相关法律法规，如《土地管理法》和《城乡规划法》，确保程序的合法性和正当性