违章建筑的拆除通常由县级以上地方人民政府负责，具体执行部门可能包括：
1. 城乡规划主管部门：负责责令停止建设或限期拆除违章建筑，并在当事人不配合时，由县级以上地方人民政府责成有关部门采取查封施工现场、强制拆除等措施。
2. 土地行政主管部门：负责土地使用的合法性审查，对非法占用土地建住宅等违法行为进行查处。
3. 住房和城乡建设部门：在具体实施中，可能参与违章建筑的认定和拆除工作。
4. 市政管理部门：同样可能参与违章建筑的拆除工作。
5. 乡镇人民政府：在乡、村庄规划区内违反规划建设行为的查处。
6. 城市综合执法局：在一些地区，也可能负责违章建筑的拆除。
根据《中华人民共和国城乡规划法》和《土地管理法》等相关法律法规，拆除违章建筑需遵循一定的法律程序。