四女寺的名字来源于一个美丽的历史传说，具体指的是西汉景帝时期，在今天的四女寺村（古称安乐镇）发生的故事。根据传说，傅氏夫妇年近五十，只有四个女儿，她们都非常漂亮和聪明。因为父母没有儿子，四姊妹决定不嫁人，以留在家里照顾父母。她们各自种下一棵槐树，并发誓如果槐树枯萎，她们就出嫁；如果槐树茂盛，她们就留下。为了确保没有人能娶她们，她们甚至用热水浇灌别人的槐树，希望它们枯死。然而，她们的槐树反而更加茂盛，最终四姊妹都留在家里侍奉父母，并修道成仙。
后人为了纪念这四位孝女，在她们居住的地方建立了祠堂、塑像和立碑，并将这个地方从安乐镇改名为四女寺。这个传说体现了中华的孝道文化，四女寺也因此成为了一个有着深厚历史文化底蕴的地方