据彭博社28日报道，Anthropic、OpenAI、Meta和微软的高层管理者共同呼吁政策制定者密切关注AI系统自我改进的进展，并采取必要措施确保AI技术的安全性。

二十多位AI行业领袖与研究人员在一份新发表的论文中发出警告，指出利用AI来推动下一代模型研发自动化的趋势正在增长，这可能导致AI技术发展出现突然加速。

论文作者将这一现象定义为“智能爆炸”。如果这种情况发生，AI能力的提升速度可能超越社会引导和适应AI技术的能力。参与该论文撰写的人员包括Anthropic联合创始人杰克·克拉克、OpenAI首席科学家雅库布·帕乔茨基，以及AI领域的先驱杰弗里·辛顿和约书亚·本吉奥等人。

研究人员还指出，AI研发的自动化可能削弱人类的监督作用。

据悉，论文要求政策制定者更深入地了解顶尖AI实验室在多大程度上利用AI实现研究自动化，并建立能够“引导和约束智能爆炸”的机制，例如提高安全标准，以及加强对负责自动化AI研发任务的数据中心的监管力度。

研究人员还建议，针对不同的AI快速起飞情景，应预先制定应急响应方案。“初步证据显示，软件驱动的智能爆炸是可能发生的。如果真的发生，它可能成为历史上影响最为深远的技术发展。……与潜在的后果相比，我们的准备还远远不够。”

论文列出了政策制定者应考虑采取的行动。“一旦智能爆炸开始，采取行动的窗口期可能就会关闭。”