拆违建通常由县级以上人民政府土地行政主管部门负责。具体到拆除程序，可能涉及以下步骤：
调查取证：
由规划管理部门依职权调查违章建筑的事实。
发出决定：
规划管理部门向当事人发出限期自行拆除违章建筑的决定书。
逾期不拆：
如果当事人逾期不自行拆除，则由区（县）人民政府组织有关部门进行强制拆除。
此外，根据《中华人民共和国城乡规划法》和《土地管理法》，城乡规划主管部门也有权对违法建筑进行查处，包括责令停止建设、限期改正、罚款、限期拆除及没收实物或违法收入等行政处罚。
需要注意的是，拆除违建的过程中，可能还需要其他部门的配合，如城市综合执法局、公安部门等，以确保拆除工作的顺利进行。