如果政府直接拿走了回迁安置协议，您可以采取以下措施：

  1. 要求书面收据：向政府工作人员索要书面收据或确认文件，注明协议被收走的原因和时间。
  2. 法律咨询：立即联系专业律师，了解您的法律权利和可能的救济途径。
  3. 证据保全：保存协议复印件、拍照或录像等证据，证明协议存在及内容。
  4. 行政申诉：向上一级政府部门或监察机关提出申诉，要求返还协议或说明理由。
  5. 行政诉讼：如合法权益受损，可在律师协助下提起行政诉讼。

注意：具体操作需结合当地法规，建议优先通过法律途径解决。