有限行动时间下 AI 智能体的安全考量

一项 arXiv 理论研究指出，现有看似证明对齐的方案大多忽视了智能体所处的环境。作者在部分可观测、需在有限时间内采取行动的环境中分析了 agent-agnostic 安全保证的理论界限，并构造无限状态空间与信号混合两个现实场景，证明即使是完美智能体也无法保证安全行为。结论是任何 AI 安全或对齐证明都必须将环境与相应安全动作同智能体一并具体考虑。