法官最怕的部门通常包括纪委、人民检察院以及人大监督机关。这些部门有权对法官的审判行为进行监督，并在发现法官存在违法或不当行为时采取相应的法律行动。
纪委（纪律检查委员会）：
负责监督党员和公职人员的行为，包括法官。如果法官存在违纪行为，纪委可以进行调查并采取相应的纪律措施。
人民检察院：
作为国家的法律监督机关，人民检察院有权对法院的审判活动进行监督，确保审判活动的合法性。如果法官的判决存在法律问题，检察院可以提出检察建议或者进行法律监督。
人大（人民代表大会）：
作为国家的最高权力机关，人大有权对司法机关进行监督和检查。人大的监督可以包括对法院工作的例行检查和接受对法官的投诉。
此外，法官可能还会忌惮法院内部的纪检监察部门、上级法院以及12368司法信息公益服务号码等渠道的投诉和申诉。