违章建筑的管理主要归 城乡规划主管部门负责。具体来说，有以下几种情况：
城市中的违章建筑：
由所在城市的城乡规划部门管理，如规划局或建委、建设局。
乡村的违章建筑：
由乡、镇人民政府责令停止建设、限期改正。
县级以上城乡规划主管部门：
城乡规划部门属于法定部门，城市中的违法建筑由该部门主管，有的地方将城乡规划部门和自然资源部门合并称为规划和国土资源管理委员会，该部门有权对违建进行主管。
县级以上人民政府土地行政主管部门：
对于在非法占用的土地上新建的建筑物和其他设施，责令限期拆除，建设单位或个人必须立即停止施工，自行拆除，对继续施工的，作出处罚决定的人民政府土地行政主管部门有权制止。
因此，发现违章建筑时，可以向当地的城乡规划部门或相关执法部门举报，提供证据，由相关部门依法进行处理。