根据《中华人民共和国刑事诉讼法》规定，取保候审的保证金退还时间如下：

  1. 解除取保候审时退还：在取保候审结束（撤销案件、不起诉或判决生效）后，凭解除取保候审通知或法律文书到指定银行领取退还保证金。
  2. 3个工作日内办理：公安机关应在接到解除取保候审通知后3个工作日内完成退还手续。
  3. 违规扣留情形：若被取保人违反规定（如传讯不到案），保证金可能部分或全部没收。

注：具体流程可能因地区略有差异，建议咨询办案机关。