全球首部人工智能立法——欧盟《人工智能法》草案，拟于当地时间5月11日在欧洲议会进行首次投票（关键委员会投票）。该草案要求ChatGPT等人工智能工具的开发商披露在构建其系统时使用的版权材料，其适用范围包括在欧盟区内运行的所有AI系统，无论其供应方来自当地还是英美等第三方国家。一旦通过，这部法案将产生全球影响。

事实上，人工智能的崛起对人类社会既有治理机制带来诸多挑战，如何调整法律法规进行应对是世界各国面临的共同问题。但总的来说，立法总是难免滞后于技术发展，如何适应AI的快速甚至是跳跃性进步，同时又防止阻碍AI技术的进步，是法律界乃至整个人类社会面临的现实困境。

上海交通大学首批文科资深教授、中国法与社会研究院院长、中国计算机学会（CCF）计算法学分会会长季卫东特此为《凤凰周刊》撰文指出，我们(人类) 需要”采取未雨绸缪的对策以防患于未然，并且在试错过程中找出摆脱悖论的进路“。

以下为季卫东教授文章全文，文章原标题为：《强人工智能的治理与法律挑战》。

奇点再次成为舆论的焦点。

所谓“奇点”，在科技上指的是人工智能超越人类智慧的时刻。

七年前，当AI系统“阿尔法围棋（AlphaGo）”击败来自韩国的围棋世界冠军李世石时，人工智能超越人类智能的预测似乎变成了现实，曾经引起一片骚动。在新冠疫情暴发前一年的那个夏天，油管（YouTube）用户纷纷发现，该视频网站上的机器人对战场景都被自动删除了，于是又爆发出“机器觉醒”的惊呼。2022年6月，谷歌的一位软件工程师还声称他研制的智能聊天机器人已经产生了自主感情。到2023年3月17日，斯坦福大学教授米哈尔·科辛斯基公布了他的惊人发现：GPT-4不仅具有比以前更明显的机器觉醒的迹象，还暴露出试图摆脱人类控制的主观动机和潜力。

诸如此类的事实不断曝光，意味着科技正在逼近奇点，甚至已经越过奇点。也就是说，“强人工智能”似乎正在蹑手蹑脚地走进人类的生活世界。

一般而言，所谓“弱人工智能”，只是按人的指令完成单项任务，没有独立的自我意识。但与此不同，强人工智能则被认为具有与人类同样的认知能力、抽象思考能力以及解决问题的能力，甚至有可能在智慧程度上超过人类。这样就会产生AI与人类在智能上进行比较或竞争的压力，进而导致对AI取代人类、伤害人类的忧虑。正因为存在这种忧患意识，奇点才会不断成为人们关注的热点。

两种应对之道及其变化

虽然ChatGPT功能强大，但或许还算不上真正的“强人工智能”。不过，GPT-4乃至GPT-5则很不一样，在进化过程中俨然酝酿着重大质变。究竟应该怎样应对强人工智能，迄今为止一直存在两种对立的思想立场。一种主张在安全性获得证明之前应该停止新的研发，可以称之为“风险预防至上”的原则。另一种主张在危害性获得证明之前还应该继续研发，可以称之为“技术发展无须审批”的原则。在过去很长一段时期，欧洲侧重前一种立场，美国侧重后一种立场。

2023年1月25日，德国的“时光跃进实验室”的一名教授用示例和数据展示了ChatGPT易错性

面对生成式人工智能ChatGPT横空出世以及GPT-4引发的强AI研发竞争，即便侧重创新的美国也出现了更加强调风险预防原则的倾向。例如在2023年3月下旬，未来生命研究所发表了一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强的AI系统至少6个月，并获得马斯克等千名以上的科技界领袖和业界大佬签名支持。3月30日，美国联邦贸易委员会还收到来自AI和数字政策中心的举报，要求对OpenAI及其新产品GPT-4展开调查。

今年4月5日的《华盛顿邮报》还披露了一个更加令人不寒而栗的事实，加州大学洛杉矶分校尤金·沃洛克教授的实验性研究发现，生成式人工智能ChatGPT居然能够捏造法学家性骚扰的丑闻及其信息来源，指名道姓进行有鼻子有眼的诽谤。到4月下旬，图灵奖得主杰弗里·辛顿向谷歌提出离职以便能够公开对人类AI研发大战以及强人工智能应用的风险表示忧虑，据说他还很后悔开发了基于神经网络的深度学习技术。这些现象表明，专家和舆论都在试图发出警报并且给社会带节奏。

中国在上述两种立场中究竟应该如何取舍？抑或在统筹兼顾之余，持中庸之道？

强人工智能引发人类的三种恐慌

不可否认，强人工智能若隐若现，正在人类社会甚至很多AI专家中引起某种恐慌。概括起来说，主要存在如下三类恐慌：

第一，失业的恐慌。事实上，近几个月来有些游戏美术外包公司已经在大批裁减美工画师，因为这些工作由AI来做效率更高、成本极低。在2023年5月初，好莱坞的剧作家们还举行了颇有声势的罢工和游行示威，抗议制片厂启用AI系统创造剧本。但是，我们也要看到，即便强人工智能可以巧妙地处理差异，也仍然不能自己产生差异，因而不能像人类那样进行灵光乍现的创新。另外，强人工智能也不能真正理解价值和文化的涵义，理解是人的本质属性。在这个意义上可以说，智能机器是无法完全取代人类的。人们认为强人工智能能够理解，其实只不过是把预测当作理解了。ChatGPT尽管不能理解却还可以进行生动的对话，其实只是借助网络上不断互动的自反身机制在进行接龙式预测。意大利学者埃琳娜·埃斯波西托用“人工沟通”这个术语来描述这种人机对话。因此，在这里更重要的问题并非机器取代人类，而是如何建构一种几乎无法避免的人机共存秩序。把这个问题再转换为与失业恐慌密切相关的法学问题，那就是，在强人工智能时代，会否形成少数科技精英对大多数赛博朋克们的绝对支配、对社会关系和社会分配又会随之产生什么样的影响。

2023年5月2日，编剧罢工的队伍在派拉蒙影业公司前参加集会，呼吁提高薪资，要求公平的合约，拒绝给AI打工。

第二，失控的恐慌。过去的斩首行动以及持续了一年多的俄乌战争都证明，AI一旦用于目标识别、跟踪和攻击，就会左右作战的决策和杀伤行动的结果。不言而喻，这种无需人类直接控制的自主武器系统非常精准和有效率，但也会导致战争自动化，会给人类带来极大的风险和危害。目前国际社会正在探讨禁止或限制军事AI系统的使用和发展，致力于研发防范自主武器伤害的技术或机制。由此可见，除了各国制定人工智能研发的伦理和法律规则的努力之外，还需要为相关国际公约的缔结凝聚共识。另一方面，除了自主武器伤害，还有那些包括网络诈骗、诱饵钓鱼、捆绑流氓软件等在内的社会工程攻击也构成失控的典型场景。此外还有对知识产权制度的重磅冲击所导致的失控。例如枫丹白露欧洲工商管理学院的菲利浦·帕克教授为一种自动制作合理且信息丰富的书籍的技术方法申请了专利，这意味着不久就有可能看到AI生成的书籍，本来似乎已经尘埃落定的AIGC著作权制度安排或许会再起风波。又例如澳大利亚新南威尔士大学已经有人利用GPT从科学文献中获取有用的知识实现了材料科学的重要发现，并且可以用于开发新的材料和器件，因而AI for Science系统的发明权和专利权归属也将成为极其复杂的法律问题。

第三，失真的恐慌。使用过ChatGPT的人都知道，这个语言大模型在很多方面显示了令人惊艳的表达功能，但也颇有些油嘴滑舌不靠谱的地方，甚至还会人云亦云、不懂装懂。当聊天智能系统在胡说八道时也能摆出一本正经的样子，甚至引经据典，这就非常容易让不明就里的人们信以为真。据研究报告显示，ChatGPT将在2026年之前耗尽高质量语言数据，在2030-2040年间耗尽所有人类语言数据，从此AI合成数据将彻底取代真实数据，成为训练AI的重要资源。如果此后喂食人工智能的主要数据养料是人工智能合成数据，那么AIGC的可信度究竟如何、会不会让虚假信息或臆造信息充斥网络空间甚至垄断人类沟通的语境就成为一个非常严重的问题。不言而喻，当然人类不断获得大量真假莫辨的信息并据此进行沟通、做出判断，那么文明的基础就会坍塌。

对强人工智能应保持强风险意识

上述恐慌都基于强人工智能的独立自主性。有鉴于此，瓦拉赫、艾伦、斯密特在2012年发表的《机器道德》一文中早就提出了这样的命题：“机器的自由度越大，就越有必要为机器设立伦理的各种标准”。这些标准既包括对强人工智能进行治理的元规则和具体规则，也包括形成强人工智能系统自身道德能力的评价标准以及在多种道德（例如自主决定、亲属关怀、健康维持、隐私保护等等）之间互相冲突时进行排序和处理的机制。根据斯坦福大学HAI（人本人工智能研究所）发行的2023年报告，AI专家中73%都相信AI将引发社会革命，但也有36%的人认为AI有可能造成核弹级别的不可逆灾难。无论如何，正因为存在那种对小概率、大危害的强烈不安，我们才必须谋定而后动。

实际上，ChatGPT也是AI网络化的一个典型，有可能从根本上改变人与物质世界之间的关系。在万物互联的智能网络之中，深度的机器学习会使AI离人类的介入和掌控越来越远，算法变得越来越难以解释、不可理解甚至无法控制，从而导致强人工智能的大模型有可能反噬人类，构成一个挥之不去的噩梦。在我看来，这就意味着人工智能治理的重点将从算法治理转向模型治理。也就是说，人工智能治理的标准将从算法偏见最小化转向模型滥用最小化——从此透明度算不了什么，预测的准确度将决定一切。沿着这样的思路来考虑对于强人工智能的监管，显然，仅有集中化的备案和审查是力有不逮的，还需要引进类似舆论监督或者鼓励用户投诉那样的分布式监管的机制设计方案，让社会参与AI监管，及时终止深度学习模型的过度训练及其滥用，并对人工智能生成内容（AIGC）的可信度测验采取某种适当提前介入的方式。

2019年11月2日，美国空军国民警卫队第181情报联队的分析师们在印第安纳州的一处空军基地测试一个人工智能项目。

值得注意的是，正付诸欧洲议会讨论的欧盟人工智能法案最近追加了若干规定，要求生成式人工智能模型的设计和开发也必须符合欧盟的法律和基本权利规范，包括表达的自由，同时也为AIGC设立了版权规则；为了确保AI的可信和安全，对相关科技风险设立了四个不同等级以便进行分类监管；对AI企业的违规行为则将采取非常严厉的制裁措施，罚款可以高达3000万欧元或全球收入的6%。据报道，在2023年4月27日欧洲议会已经弥合分歧，达成了临时政治协议，并决定在5月11日进行关键委员会投票、在6月中旬进行全体投票。按照这个日程表，力争在2024年本届议会届满前通过欧盟人工智能法案，颁布全球首个关于人工智能产品、服务以及决策的综合性法律。几乎同时，在日本高崎召开的G7数字部长会议于4月30日发表联合声明，强调应该对AI采取“基于风险”的监管，但同时也表示监管应该为人工智能技术的发展保持一个“开放和有利的环境”。

中国人工智能治理与法规的最新演变

事实上，以2021年《新一代人工智能伦理规范》为标志，中国在不断加强对人工智能开发活动的治理，强调可信、可控、可问责以及敏捷应对的基本原则。以这个规范性文件为指导，有关部门着手研究和制定算法伦理规范并推动人工智能产业界形成共识，还试图通过算法社区、行业联盟等方式搭建公司内部治理框架和责任体系，以便在维持人工智能技术和产业的发展势头与有效防范各种相关风险之间达成某种适当的平衡。

特别值得注意的是，中国政府在2021年启动了人工智能产业的“清朗行动计划”，当年侧重算法滥用的专项治理，翌年又启动了基于算法正义的综合治理，试图在三年左右的时间里把相关的伦理原则、法律规则以及技术性测试、监管、评价方法都落到实处。2022年3月1日颁布的《互联网信息服务算法推荐管理规定》还确立了算法备案制，要求对社会有实质性影响的算法服务提供者必须在开业十天之内提供算法自评估报告、公示内容等具体材料并履行备案手续，以确保监管部门能在源头上控制人工智能风险。以联合国科教文组织推出《人工智能伦理问题建议书》为背景，中共中央、国务院在2022年3月20日还颁发了《关于加强科技伦理治理的意见》。

进入2023年4月后，随着ChatGPT引发的全球性争议日趋尖锐，中国科技部及时公布了《科技伦理审查办法（试行）》稿，就新型人工智能治理向社会投石问路。紧接着，网信办也有针对性地拿出了《生成式人工智能服务管理办法》草稿广泛征求意见。这些规范试图通过备案制、安全评估、专家复核程序、明确责任主体、拟订风险清单、进行抽查核验等方法加强监管，旨在防止人工智能技术的研发和应用失控。不过，上述规范文本如何与《网络安全法》、《数据安全法》、《个人信息保护法》的既定内容进行更缜密的衔接和整合，还有待进一步推敲和改进。

特别是《生成式人工智能服务管理办法（征求意见稿）》把重点放在制造虚假信息、暴露个人隐私、侵犯知识产权、造成系统歧视、进行网络攻击等风险的防范上；要求生成式人工智能的研发者和利用者对预训练和优化训练的数据来源合法性负责；把算法安全评估和算法备案手续作为提供相关服务的前置要件，并要求服务提供者设立用户投诉处理机制，还必须履行用户身份验证义务、防沉迷义务、个人信息保护义务、避免使用歧视性内容的义务、及时处置违法信息的义务、提供安全稳健服务的义务、生成内容审核和标识的义务、提高透明度义务等等，有的属于新增义务类型。但这些规定大都有赖于在行政部门指导下，产品研发者、服务提供者进行的自我审查和自我履行，还缺乏第三方独立审计、测试以及强制执行的制度安排，也缺乏算法论证程序和问责程序的具体设计。

直面自我指涉的法律和人工沟通的悖论

据报道，近来ChatGPT已经开始广泛应用于司法和法律服务场景，包括全球四大会计师事务所的法律业务处理。2023年5月5日，世界顶级法商信息服务平台LexisNexis又推出了面向法律界的生成式AI系统Lexis+AI™️，旨在通过大语言模型实现法律和判例的高效检索以及文书生成自动化。显而易见，这样的人机对话会不断加强法律系统自我指涉和意义自我繁衍的特征。如果在不久的将来，用来训练AI的主要资源都统统变成了AI生成的数据，通过ChatGPT等大语言模型进行的法律沟通也将完全人工化，那就势必形成一个完全闭环的智能司法系统和人工沟通系统。在尼克拉斯·卢曼用“自反身”和“自创生”等概念所描述的这种状态下，实际上法律推理过程很容易陷入无限循环、频繁出现无法被证明或证伪的陈述。于是乎，我们不得不追问究竟还能不能找到一个通用算法来判断那些通过有限步骤就可以停止的程序？这就是困扰计算机科学家和哲学家的图灵停机问题。

另一方面，随着生成式人工智能和强人工智能应用到规格化程度很高的法律领域，关于具体案件的沟通和判断似乎进入一个效率无限上升的轨道，但多样性的竞争和发展机制却被锁死，形成无法自拔的困境或者“黑洞”，进而导致整个法学领域以及纠纷解决机制的简化、停滞甚至倒退。这就是人工智能科学领域的所谓“恐怖谷”效应。当人们借助ChatGPT来进行检索和内容生成，试图制定进而实施关于强人工智能治理的法律规则时，会不会引起赫拉克利特式不可界定的悖论、会不会经历类似“恐怖谷”的诡异体验、会不会引发更加复杂而棘手的社会问题？因自我指涉、不断反馈的人工沟通而衍生出来的这一切，都需要计算法学研究者以及人工智能治理机制设计者采取未雨绸缪的对策以防患于未然，并且在试错过程中找出摆脱悖论的进路。