根据《中华人民共和国劳动合同法》规定，用人单位与劳动者约定违约金的情形仅限于以下两种：

  1. 专项培训服务期：用人单位为劳动者提供专项培训费用并约定服务期，劳动者违反服务期约定的，需支付违约金（不得超过培训费用）。
  2. 竞业限制：对负有保密义务的劳动者约定竞业限制条款，违反时需支付违约金。

其他情形（如提前离职等）约定违约金属于违法条款，不具有法律效力。