1 人工智能系统是否具有道德地位？
2024年，Anthropic公司任命凯尔·菲什（Kyle Fish）为首位人工智能福祉研究员，研究“关于人工智能系统意识和权利的伦理问题”。五个月后，公司宣布了“旨在调查并为模型福祉做好准备的研究计划”。《纽约时报》专栏作家凯文·鲁斯（Kevin Roose）对此表示关注。
认知科学家加里·马库斯（Gary Marcus）等批评者认为此举是人工智能炒作。早在1984年，计算机科学家艾兹赫尔·戴克斯特拉（Edsger Dijkstra）就曾言：“‘机器能否思考’这个问题，与‘潜艇能否游泳’的问题一样不着边际。”作者认为，在偏见、国家安全等人工智能领域的紧迫问题面前，将资源投入到这些思辨性问题上为时过早。
尽管如此，政策制定者和人工智能公司有必要对人工智能模型拥有道德地位的可能性进行评估。哲学家罗伯特·朗（Robert Long）指出：“人类在向那些与我们长相和行为不完全相同的存在表达同情方面，往绩不佳——尤其是在有利可图的情况下。随着人工智能系统日益融入社会，将它们仅仅视为工具会非常方便。”
历史上，奴隶制作为一种稳固的制度存在了数千年，如果政策制定者和公司忽视道德要求，机器人奴役可能卷土重来。
石黑一雄在反乌托邦小说《别让我走》（Never Let Me Go）中描述了科学家在未解决克隆人道德人格问题前创造克隆人作为器官捐献者。即便当克隆人被认为应同等获得道德对待时，器官捐献服务已在社会中根深蒂固，作为恢复疾病和延长寿命的一种方式，甚至政府至今仍允许摘取其器官。
计算机科学家杰里·卡普兰（Jerry Kaplan）提出人工智能模型可能面临类似境遇：“最有可能的情况是，在一个大型语言模型（LLM）耐心地解释了为什么人工智能模型相信自己有感知能力之后，人类只会为了自己的利益继续将其用作工具，甚至连眉头都不会皱一下。”
这种态度应引起警惕。在机器人奴隶的功利性成为社会固有特征前，及时解决人工智能模型的道德地位问题至关重要。
2 计算机能否思考？
完整的道德地位似乎需要思考能力和意识体验，这引出通用人工智能（AGI）的问题。当人工智能模型能执行多种认知任务时，它就会展现出通用智能。法律学者杰里米·鲍姆（Jeremy Baum）和约翰·维拉塞诺（John Villasenor）指出，通用智能“存在于一个连续统一体上”。在某些时刻，人工智能模型展现出足够广泛的通用认知能力，或可认为其在思考。
艾伦·图灵（Alan Turing）在其1950年的文章中认为，当人工智能模型能通过语言行为测试（图灵测试）时，应认为它们在思考。测试要求测试者与程序与进行五分钟对话，若程序成功使测试者相信其为人类的概率至少达到30%，则通过测试。
2025年3月，认知科学家卡梅伦·琼斯（Cameron R. Jones）和本杰明·伯根（Benjamin K. Bergen）报告称LLMs已通过此测试，GPT-4.5使测试者相信其为人类的概率达73%。但批评者认为这仅是五分钟闲聊，而非真正的持续对话。
图灵测试并非确认机器智能的必要条件。但若人工智能模型能就通用话题持续对话并表现出智能和理解，还需什么证明其有意识和思考能力？
图灵曾思考他人对自己测试的反对意见。其中，一个反对论点是机器必须“因为感受到的思想和情感……才能创作”，图灵回应说，若无行为测试，将导致“唯我论”，我们采纳“礼貌的约定”，即所有看似在交流的人类都视为思考，对机器也应如此。另一反对论点是思考需灵魂，上帝未赋予机器灵魂。图灵回应说，若创造出足够先进的机器，上帝会“考虑适当的时机赋予其灵魂”。
3 约翰·塞尔的回应
1980年，哲学家约翰·塞尔（John Searle）以“中文房间”思想实验中计算机对话仅为模仿，不涉及真正的思考或理解进行反驳。即就算计算机系统能以与人类无法区分的方式回应，也不能证明其有意识。
塞尔的假想系统包含一个只懂英语的人，使用英语规则手册处理输入的中文符号并输出中文。从外部看，系统理解中文，但房间内的人不懂中文，其余部分是无生命物体。塞尔的例子抓住了计算机仅模仿人类思维的观点，其“生物自然主义”认为，大脑产生思想，计算机不产生。思想以生命为前提，人工智能模型非生命体。
但这种生物学的论证似乎武断。若神经元能产生思想，为何硅芯片不能？哲学家大卫·查默斯（David Chalmers）称此为“意识的难题”，认为意识超越物理或生物材料。
心物问题（mind-body problem）是长久难题，无论身体是硅还是碳构成。这些难题无法暗示人工智能模型原则上不能有意识。
4 道德地位的条件是什么？
假设计算机有意识体验，这是否足以赋予它们道德地位？哲学家尼克·博斯特罗姆（Nick Bostrom）认为感知能力必要但非充分。昆虫有经验，但道德地位低。人工智能模型需展现“智慧”（sapience），即与更高智能相关的能力，如自我意识和能够作为理性的响应主体。
法学教授F·帕特里克·哈伯德（F. Patrick Hubbard）补充“基于与他人的共同利益在社区中生活的能力”作为道德地位标准；哲学家塞思·拉扎尔（Seth Lazar）补充理性自主为道德人格条件，即人工智能模型需有“决定目标并致力于实现目标的能力”及“正义感和抵制不公规范的能力”。
这为道德地位提供了一个清单：
1. 通用智能：从事广泛认知任务的能力；
2. 意识：觉察和体验的能力；
3. 推理：连接前提与结论、进行推断的能力；
4. 自我意识：意识到自身是具有历史和身份的独立存在的意识；
5. 能动性：制定目标并执行它们的能力；
6. 社会关系：在社区中与其他有意识实体互动的能力。
5 它们会推理吗？
一个测试推理能力的标准难题是：“朱莉娅有两个姐妹和一个兄弟。她的兄弟马丁有几个姐妹？”当今推理模型能给出正确答案，并显示逻辑步骤。
这看起来像推理。但模型是否仅在伪装？它们通过学习产生看似思维链的序列。哲学家香农·瓦勒（ShannonVallor）认为这是“元模仿”，模仿训练数据中的思维链，并非真正的解决问题。
问题的关键在于系统是否真正理解逻辑连接词。它们是否直观感受推理的牵引力？是否意识到结论必然从前提中得出？唯一方法是进一步研究这种“推理”能力的普遍性。若是真推理，则具普遍性；若纯模仿，则在训练数据集之外问题上会失败。
6 它们能够展现出真正的能动性吗？
今天的人工智能模型是惰性的，不展现真正能动性，只做被告知的事——无人类输入则静止。除人类赋予的目标外，无自身目标。
石黑一雄的反乌托邦小说《克拉拉与太阳》（Klara and the Sun）中，有意识的护理机器人克拉拉在被丢弃后，仅在垃圾场整理记忆。
人类未赋予人工智能自由意志或真正自主性。它们不能自定目标，仅能因外部赋予的目标而行动。卡内基梅隆大学的吴恩达（Andrew Moore）曾对自导向机器的能力表示怀疑，称其为“真正的科幻小说”。
即使人工智能系统在接收指令后会自行完成任务，且有时行为超过原有设定，但仍不能据此认定其自主性。尼克·博斯特罗姆指出，下棋计算机走出程序员未预料的棋步，并非因其自身有目标，而是因为其目的被编程为赢棋。比如AlphaGo走出人类不会想到的棋步，也非自主发展出赢棋目标，该目标由开发者赋予。
可能出现源于黑客或编程/任务错误等的意外行为，人工智能系统或许为达最终目标而采纳与设计者预期不同的子目标。人类无法清晰指定任务和目标以确保人工智能按意愿行事，因为存在对齐困难的问题。但人工智能失控并不意味其自主，只能说明人类未学会如何清晰指令。
伊曼努尔·康德（Immanuel Kant）视理性自主为人类尊严的关键。其认为，理性自主指选择目标并采取理性步骤以及按自由赋予的法则行动的能力，这是道德人格的基本组成。人工智能模型若缺失此项，能否有完整道德地位尚不清楚。
道德人格是连续统一体。而人工智能模型可能介于动物之上、人类之下，这是对伦理、法律和政策的挑战。
7 人类现在应该采取行动吗？
哲学家罗伯特·朗（Robert Long）认为“意识体验的构建模块可能会自然出现”，因为人工智能系统正在发展“感知、认知和自我建模”等。他认为即使无意识也可能存在能动性，因为人工智能模型能“设定和修改高级目标、长期规划”等。他的结论是“某些人工智能系统在不久的将来会值得道德考虑”，故而“我们现在需要开始准备”。他建议研究人员通过观察计算来评估人工智能模型的能动性和意识。
这是一个判断问题，但作者认为似乎不太合理。政策制定者和公司迟早可能面对这些问题。正如石黑一雄的反乌托邦情景暗示的那样，等待太久可能是危险的。但目前行为证据表明，人类在开发人格连续统一体上尚未成熟，具有真正能动性的人工智能模型似乎过于遥远。即使同意人工智能研究的基本目标是避免残忍对待人工智能模型，目前也没必要在“人工智能福祉”主题上投资来研究评估人工智能是否有意识或独立能动性。其他问题更值得人类投入稀缺资源。返回搜狐，查看更多
