行政赔偿的具体负责机关是作出侵权行政行为的行政机关或其上级机关，根据《中华人民共和国国家赔偿法》规定，赔偿请求人可先向侵权机关提出申请，若对处理结果不服可向法院提起诉讼。