违建的管理和拆除工作主要由以下部门负责：
城乡规划部门：
负责处理未经批准、超过规定范围或违反规划的建筑物违法行为。具体包括城市中的违法建筑由该部门主管，有的地方将城乡规划部门和自然资源部门合并称为规划和国土资源管理委员会，该委员会有权对违建进行主管。
建设部门：
负责处理未经审批、未取得建设工程规划许可证或违反建设工程质量安全规范的建筑物违法行为。
土地管理部门：
负责处理未经批准或违反土地利用规划的建筑物违法行为。
市政部门：
负责处理未经审批或违反城市规划的道路、桥梁、公园等市政设施违法行为。
乡镇人民政府：
在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按照许可证规定进行建设的行为，乡镇人民政府有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
县级以上人民政府自然资源主管部门：
负责查处城市规划区内违反规划建设行为和非法临时建筑。
工程所在地县级以上人民政府建设行政主管部门：
如住房和城乡建设局，负责查处未依法办理施工许可手续进行建设的违法行为，有权作出责令改正、停止施工及罚款等处罚决定。
建议：如果您发现有违章建筑，可以向当地的城市建设管理监察支队、房屋土地管理局、规划局或乡镇人民政府举报。根据具体违建的性质和所在区域，相关部门会依法进行调查处理。