“丑八怪”这个词最早来源于 扬州八怪。扬州八怪是指清康熙中期至乾隆末年活跃于扬州地区的一批风格相近的画家，他们分别是金农、郑燮、黄慎、李鱓、李方膺、汪士慎、罗聘、高翔等人。这些画家在传统主流派系画家眼中是另类的存在，他们的画风虽怪，但却并不脱离实际，反映生活，抨击丑恶，讽刺实事，推陈出新，因此受到了广大百姓的喜爱。然而，主流画家和上层社会认为他们的作品是“丑作”，并私底下称他们为“丑八怪”。
后来，“丑八怪”这个词逐渐演变成了形容外貌丑陋的人的贬义词，但扬州八怪的名声却越来越响。
此外，还有一个关于丑八怪的传说，春秋时期楚国有个土豪生了八个儿子，其中老八长相丑陋，因此被称为丑八。丑八长大后到晋国谋生，并在一次选丑比赛中获得了第二名，从而得名“丑八怪”。
综合来看，“丑八怪”一词最初来源于扬州八怪，后来演变为形容外貌丑陋的人的贬义词，而关于丑八怪的其他传说则提供了不同的文化背景和解释。