根据《中华人民共和国刑法》和相关司法解释，"聚众"一词通常指的是至少三人以上的群体。在涉及"聚众斗殴"的情况下，法律规定的"聚众"至少需要三人以上参与斗殴。如果一方有三人以上参与斗殴，而另一方少于三人，则对达到三人以上的一方可以认定为聚众斗殴。对于少于三人的一方，如果存在聚众行为，也可以按照聚众斗殴罪论处；如果没有聚众行为，则不以聚众斗殴罪论处，而是可能构成其他犯罪，按照其他罪名处理。
需要注意的是，聚众斗殴不仅侵犯个人的人身权利和财产权利，而且严重威胁社会公共秩序。因此，法律对此类行为持严厉态度，并规定了相应的刑罚。