离职时如果不支付约定的违约金，可能会面临以下后果：
法律追究：
用人单位有权根据劳动合同和相关法律规定，向劳动仲裁委员会申诉或向法院提起诉讼，要求支付违约金。
赔偿损失：
如果劳动者的离职给用人单位造成了实际损失，用人单位还可以要求赔偿相应的损失。
强制执行：
一旦法院或仲裁机构裁定员工需支付违约金，而员工拒绝执行，法院可能会采取强制执行措施，如冻结银行账户、查封财产，甚至将员工列入失信被执行人名单，影响个人信誉。
额外费用：
劳动者可能需承担诉讼费用或其他相关法律费用。
商业信誉影响：
不支付违约金可能会对企业的商业信誉造成负面影响，进而影响未来的商业合作及交易。
服务期违约金：
如果涉及专项培训费用的约定，而劳动者在试用期内违反服务期约定，则可能需要支付违约金，金额不得超过培训费用。
需要注意的是，违约金的数额应与实际损失相匹配，既不能过高也不能过低。如果违约金数额不合理，法院或仲裁机构有权适当调整。