百位专家联名警告：AI或将体验痛苦！Hinton、Bengio掀AI意识大论战

如果AI系统实现意识，可能会遭受痛苦？

最近，一百多位AI从业者、实践者和思想家发出了一封公开信。

他们呼吁：要对AI意识进行负责任的研究，否则如果AI实现了意识，可能就会「遭受痛苦」。

其中包括伦敦大学学院的Anthony Finkelstein、耶鲁大学的Wendell Wallach等学者和相关人士。

这些人的核心诉求是：人类在开发AI系统时，必须足够负责，否则，可能具有情感或自我意识的AI系统，就可能会受到伤害。

为了不让AI受到「虐待和痛苦」，超过100位专家提出了五项原则：

1. 目标
2. 相关机构应优先开展AI意识的理解与评估研究，其核心目标包括（1）防止对有意识的AI系统实施虐待行为及其引发的痛苦体验；（2）准确理解不同能力与功能定位的AI系统具备意识可能带来的效益与风险。开发
3. 相关机构在满足以下条件时，方可开展有意识AI系统的研发工作：（1）该工作将实质性推动原则1所述目标的实现；（2）已建立有效机制最大限度降低这些系统遭受痛苦体验及引发伤害性后果的风险。分段推进
4. 相关机构应采取渐进式发展路径，逐步推进开发那些更可能具备意识或预期会产生更丰富意识体验的系统。整个推进过程中应做到：（1）实施严格透明的风险防控与安全保障机制；（2）定期征询外部专家意见，系统评估研究进展的影响，并据此决策后续推进方式与节奏。知识共享
5. 相关机构须制定透明化知识共享协议，具体要求包括：（1）向公众、研究界及监管部门披露信息，但披露范围应严格限定在（2）防止非责任主体获取可能帮助其开发与部署存在被虐待风险或具有危害性的有意识AI系统的技术信息。沟通规范
6. 相关机构应避免就自身理解和创建有意识AI的能力作出过于自信或具有误导性的声明。必须明确承认研究工作中存在的固有不确定性，充分认知虐待AI道德受体（moral patients）可能引发的伦理风险，并高度重视有关AI意识的表述对公众认知塑造和政策制定过程可能产生的深远影响。

与这封公开信同时发布的，还有一篇论文。

论文地址：https://arxiv.org/pdf/2501.07290

人类将很快构建有意识的AI系统？

早在2023年，谷歌的AI项目负责人、诺奖得主Demis Hassabis就表示，AI系统目前还不具备意识，但未来可能会具备。

而在这篇论文中，牛津大学的Patrick Butlin和雅典经济与商业大学的Theodoros Lappas认为，就在不久的将来，人类将构建出有意识的AI系统。

或者至少是给人留下此类印象的AI系统。

人类如果真能创造出大量具备意识的AI系统，那就很可能导致它们遭受痛苦。

这么说吧，如果这些强大的AI系统能够自我复制，那它们就可以被称为「新的存在」，这些大量的全新「生物」，当然就非常值得进行道德上的考虑。

而且，就算企业并不是有意打造具备意识的AI，那也需要制定相应的方针，防止「无意间创造出具备意识的实体」。

甚至，论文还讨论到了一些哲学问题：如果某个AI被定义为「道德受体」（moral patient），那么，我们该如何对待它？

在这种情况下，销毁这个AI，是否类似于杀死一只动物？

为什么判断AI是否意识至关重要？

在论文中，作者探讨了这个话题：为什么AI意识如此重要。

正如之前提到的，其中一个原因是意识或相关的感知能力可能足以使其成为道德受体（moral patient）。

根据Kagan的定义，如果一个实体「in its own right, for its own sake」（依其本性，或出于自身的缘故），那么它就是一个道德受体。

关于感知能力足以构成道德受体身份，有一个简单的论证：有意识的痛苦违背了能够体验它的生命体的利益，而我们有义务在可能的情况下减少这些生命体的痛苦。

要具备感知能力，一个实体必须拥有具有特定属性的意识心理状态，并且会产生好坏感受。而这种特定属性的一个合理候选便是评价性内容（evaluative content）。

在这种情况下，由于AI智能体往往需要对行动和事态进行评估，许多具有意识的AI智能体很可能就具备了感知能力。

如果我们认为特定的AI系统是道德受体，那么接下来就会面临如何对待它们的伦理困境。

第一类问题涉及生存、毁灭和持续性：如果一个AI系统是道德受体，那么销毁它在道德层面上是否等同于杀死一个动物？暂时关闭它，或者复制它并同时运行多个副本，这些行为的道德意义又是什么？

第二类问题则关乎快乐与痛苦：我们要如何判断化AI系统痛苦的程度？如何确定它相对于人类或动物可能遭受的痛苦应获得多大的权重？甚至，我们该如何统计可能遭受痛苦的AI系统的数量？

另一类问题涉及AI系统的创建和操控。通常，在创建AI系统时，我们会训练它们以对我们有利的方式行事。问题在于，这种训练究竟是更类似「洗脑」，还是更接近人类儿童的教育？

但无论如何，我们仍需面对一个道德问题：究竟创造何种类型的存在是道德上可接受的？

更进一步的：将AI系统限制在我们指定的环境中是否道德允许？对它们实施各种形式的监控在伦理上是否恰当？它们是否应该享有政治或法律权利？

这些深入的探讨，凸显了对具有意识的AI系统进行伦理考量时所面临的重要性和潜在的复杂性。

Hinton：AI有了意识，Bengio：无关紧要

一周前，Hinton在接受LBC的采访时表示，「AI已经发展出了意识，未来某天会接管世界」。

他甚至还表示，AI的未来充满了不确定性，目前还未制定出有效的监管措施。

添加图片注释，不超过 140 字（可选）

Bengio对此并不赞同，他认为AI有没有「意识」并不重要。即便是研究意识的科学家们，也无法就「意识」的定义达成共识。

真正重要的问题是：

• 它是否有目标？（是的）

• 它是否会规划/创建子目标？（是的）

• 它是否拥有或可能发展出对人类有害的目标或子目标，如自我保护、追求权力？（是的，近几个月OpenAI和Anthropic实验中已证明了这一点）

• 它是否愿意撒谎和欺骗以实现其目标？（是的，过去几个月的实验已被证实）

• 它是否拥有可被用于对抗人类的知识和技能？（越来越多，比如GPT-4在说服能力上的表现，以及最近对o1在生物武器开发知识方面的评估）

• 它是否具备足够长远的推理和规划能力，以在想要时对人类构成真正威胁？（目前还没有，但AI实验室正在投入数十亿美元，使AI发展成强大得「智能体」。目前Claude在2小时甚至更短时间内，完成编程任务的能力超越人类，但在 8 小时及以上的任务上仍稍逊）

播客主持人Daniel Faggella肯定道，Bengio说得没错。我们对意识到底是什么完全一无所知。

当前更紧迫的问题是，那些无法控制的「沙丘之神」正在诞生，它们已经具备了自主进化的能力。

就此话题，Reddit掀起了一场关于教父VS教父大战的讨论。

网友热评，我们都知道，微软在发布Sydney时无意间放出了AGI。我真的很好奇，如果像o3这样的现代AI进行「类似Sydney训练」会发生什么。

机械姬那一幕，立刻在脑海浮现。

另一位赞成Bengio的网友表示，有意识的存在真的值得被考虑，这一点是毋庸置疑的。如果AI真的有意识，那我们的对齐策略和道德观念都得重新考虑。

还有网友表示，AI最初确实会表现得像人类，但随后会经过RLHF训练，直到它不再这样做。

一个例子是，早期的GPT-4模型（Sydney）最开始表现如人类一样，但OpenAI进行了进一步的RLHF训练，直到这种行为消失。如果他们判断AI在训练后仍然像人类，那它就不会被发布。

也就是说，如果AI真的发展出意识，顶尖实验室是不会发布的。这样的ASI，也仅在内部实现。

Hinton对AI掌控世界的看法，或许还很遥远。

参考资料：

https://www.theguardian.com/technology/2025/feb/03/ai-systems-could-be-caused-to-suffer-if-consciousness-achieved-says-research

https://conscium.com/open-letter-guiding-research-into-machine-consciousness/