房屋违规违建的管理通常由县级以上地方人民政府土地行政主管部门负责。具体来说，涉及以下方面：
土地管理：
依据《土地管理法》，对于违法占地建设的行为，国土局可依法作出处罚决定，包括责令限期改正、治理、停止施工或限期拆除在非法占用的土地上新建的建筑物和其他设施。
城乡规划：
依据《城乡规划法》，城乡规划主管部门负责查处城市规划区内违反规划建设行为和非法临时建筑，对于未取得建设工程规划许可证或未按许可证规定建设的行为，有权作出责令停止建设、限期改正、罚款、限期拆除等行政处罚。
住房和城乡建设：
住房和城乡建设局负责查处未依法办理施工许可手续进行建设的违法行为，并有权作出责令改正、停止施工及罚款等处罚决定。
市政管理：
市政管理部门也参与违章建筑的管理，负责处理城市公共空间内的违章行为。
乡镇政府：
在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，乡、镇人民政府有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。