根据《中华人民共和国行政处罚法》规定，限制人身自由的行政处罚权只能由公安机关和法律规定的其他机关行使。