根据《中华人民共和国刑法》第二百九十二条的规定，非法聚集通常是指三人以上实施违法行为。具体到违法行为，如聚众斗殴，则要求斗殴双方中的任何一方达到三人以上。对于非法集会罪，则是指聚集三人或三人以上，意图实施某种暴行或者意图引起公众惊恐，从而妨害公共治安的行为。
总结如下：
非法聚集：三人以上实施违法行为。
非法集会罪：聚集三人或三人以上，意图实施非法行为或引起公众惊恐。
聚众斗殴罪：斗殴双方中任何一方达到三人以上。
请注意，这些规定可能会随着法律的修订和变更而更新，因此建议咨询最新的法律资料或专业法律人士以获得准确信息