根据《中华人民共和国行政许可法》第六十九条规定，作出行政许可决定的行政机关或其上级行政机关，可以依法撤销已作出的行政许可。因此，行政单位在特定条件下有权提出撤回行政许可的建议。