扫黄工作主要涉及 公安部门和 文化执法部门。具体来说：
公安部门
公安局的治安科负责扫黄工作，处理涉黄案件的法律依据主要是《中华人民共和国治安管理处罚法》。
派出所和治安管理部门是扫黄打非的主要业务部门，巡警大队和经侦大队等部门也有权调查处理涉黄案件。
文化执法部门
“扫黄办（扫黄打非办公室）”负责执行扫黄打非活动，国家新闻出版广电总局（反非司）负责组织、指导、协调全国“扫黄打非”工作，并查处大案要案。
全国“扫黄打非”工作小组办公室，简称扫黄打非办，与中央宣传部反非法反违禁局一个机构两块牌子，负责全国“扫黄打非”工作的日常事务。
此外，全国“扫黄打非”工作小组隶属于中央宣传思想工作领导小组，由中央宣传部、中央政法委、国家新闻出版广电总局等29个部门组成，组长由中央政治局委员、书记处书记、中央宣传部部长担任。
综上所述，扫黄工作由公安部门的治安管理部门和文化执法部门的“扫黄办”共同负责，全国“扫黄打非”工作小组办公室则负责协调和指导全国范围内的扫黄打非工作。