建筑工地噪音扰民通常归生态环境部门进行管理。根据《中华人民共和国环境噪声污染防治法》，县级以上地方人民政府生态环境主管部门对本行政区域内的环境噪声污染防治实施统一监督管理。此外，其他相关部门如住房和城乡建设、公安、交通运输等部门，在各自职责范围内，也对建筑施工噪声污染防治实施监督管理。
如果您遇到建筑工地噪音扰民问题，可以采取以下措施：
1. 向当地生态环境部门投诉。
2. 如果涉及夜间施工，可以联系当地公安部门。
3. 对于城市范围内的建筑施工噪声，城市管理部门也有管理职责。
请根据具体情况选择合适的部门进行投诉或咨询