违章搭建主要属于 城乡规划主管部门管理。具体来说，有称作市县规划局的，也有称作建委或者建设局的。根据《中华人民共和国城乡规划法》的规定，未取得建设工程规划许可证的，或者没有按照规定进行建筑的行为，都属于违章搭建，由城乡规划主管部门管理。城乡规划主管部门可以责令其停止建筑，也可以罚款或者采取其他方式消除影响。
此外，县级以上地方人民政府行政主管部门也负责违章建筑的认定及处理工作，确保城市规划与土地管理的有序进行。在具体执行中，往往由住建部门和市政管理部门负责。这些部门在发现违规搭建行为时，会依据相关法律法规进行查处，以维护公共利益和城市规划的严肃性。
综上所述，违章搭建的管理涉及多个层级和部门，但主要归城乡规划主管部门负责，其他相关部门配合执行。如果遇到违章搭建行为，可以向当地城乡规划主管部门或相关行政主管部门进行投诉或举报。