得益于深度学习、大数据、大规模计算的联合驱动，新一轮人工智能（AI）正势不可挡地走向商业应用，其蕴含的强大赋能效应，正推动人类社会迈入智能时代。

与此同时，人工智能不可避免地面临技术应用“双刃剑”的问题。如何在新一轮人工智能发展热潮下，让它更好地避害向善，需要认真思考。新京报邀请了6位专家开展圆桌对话，就人工智能发展应用面临的伦理问题、存在的法律风险以及如何更好地规范管理，展开讨论。

曾毅中国科学院自动化研究所研究员、人工智能伦理与治理中心主任

段伟文中国社科院科学技术和社会研究中心主任、研究员

马一德中国科学院大学公共政策与管理学院特聘教授、知识产权学院院长

孙远钊国际知识产权专家、暨南大学特聘教授

郑志峰西南政法大学网络空间治理研究院副院长、数字法治政府研究院研究员

李建军中国农业大学人文与发展学院教授、北京自然辩证法研究会理事长

以人类智能为基础构建的法律秩序将受到全方位冲击

新京报：随着AI应用的推广，逐渐出现AI被用以协助违法犯罪的情况。AI应用可能引发哪些风险？

郑志峰：从工业革命的历史来看，科技是一把“双刃剑”。人工智能技术很可能被不法分子用于网络诈骗、制作淫秽视频、制作虚假新闻等。从法律视角来看，人工智能应用不同于以往的任何科技，因为机器第一次有了智能属性，这意味着现有以人类智能为基础构建的法律秩序将受到全方位的冲击。其中，最为新颖、迫切、重要的是数据、算法引发的问题，包括个人信息权益保护、数据安全、数据的权属与利用、算法黑箱、算法歧视、算法霸权等。

曾毅：一方面是侵犯个人隐私与数据安全。人工智能大模型基于包括个人信息的互联网数据进行训练，加之大模型拥有的推理、学习和预测能力，扩大了个人隐私信息或其他敏感数据泄露的风险。

另一方面是生成虚假信息，破坏社会信任。人工智能内容生成技术的滥用和恶用目前已经造成了诸多虚假信息的传播，并被用于网络犯罪，人工智能生成内容的“真假难辨”引发了社会信任危机。挑战知识产权、损害创造者利益的问题也值得关注。某些生成式人工智能使用了大量带有版权的数据，在当事人不知情的情况下生成损害最初创造者利益的内容并进行传播。

此外，过度信任人工智能也会引发安全风险。人工智能大模型赋能的系统在人机交互上越来越“像人”，可能引发使用者对人工智能系统能力的过度信任和高估。在当前大模型技术仍存在稳健性不足、错误推理频出的条件下可能会引发安全风险。因此，应明确区分人工智能与人类界限。人工智能内容生成产品与服务应当具有可区分的明确标识，以帮助区分真实与合成的信息，以降低潜在的危害，而且目前的人工智能还无法成为有道德的责任主体，更不应当混淆人工智能内容生成与人类的界限。

李建军：AI技术具有通用性、泛在性等典型特征，因此未来会在科研、教育、金融、社会治理等几乎所有的人类生活场景中得到应用，并对人类社会带来颠覆性影响。但正如越来越多的人所担心的那样，AI 技术发展也存在所谓的“双刃剑”或“双重使用”的问题。比如，导致某些职业岗位减少或特定人群失业；可能被某些别有用心的人用来制造虚假信息、进行网络攻击和网络敲诈，进而破坏社会秩序，影响国家安全。

新京报：知识产权领域法规应如何应对生成式人工智能带来的挑战？

马一德：整体而言，我们仍然处于弱人工智能时代，法律所调整的仍然是人与人之间的法律关系本身，人工智能本身并不具备这样一个法律主体地位，其仅仅是作为人发明或者创作的辅助工具。

人工智能的出现的确带来了人的发明或者创作过程的变化，知识产权法中的一些判断标准需要据此作出调整。例如，专利法上关于创造性的判断过去基准是本领域普通技术人员，在人工智能时代可能要将人工智能纳入考虑范围之内，作为专利审查和实施的基础，在专利文件公开中可能也需要公开人工智能算法、数据等必要内容。此外，伴随技术进步，著作权侵权更加隐蔽且成本低廉，同时通过平台算法等机制发现打击侵权行为也具有更高的可行性，可能对执法保护带来新的机遇，这些都将成为未来我们知识产权研究的重点。

担忧应更多聚焦于技术失控和滥用

新京报：近年来，不少观点认为AI发展不当可能带来致命灾难。作为被人主导的技术，AI有可能引发灾难吗？

孙远钊：人工智能就是个机器工具，其本身并不具有任何的意识或价值观，也没有或无法施加任何人类的道德标准。正因为受人类主导，如果使用不当，可以对人造成误导和伤害。当然，真正会造成不良或严重后果的还是人类自己的行为，不是机器工具，但是透过运用人工智能这项工具，各种虚假误导的信息会在人群中更快速地蔓延扩散。因此，有“人工智能教父”之称的杰弗里‧辛顿教授（Geoffrey E. Hinton）最近辞去了在谷歌公司的高管职务，开始大声疾呼，希望引起世人对人工智能风险的关注和警惕。

郑志峰：近年来，随着人工智能技术的快速发展和广泛应用，加之部分媒体和名人的渲染，人们对于人工智能的恐慌日益加剧。美国有学者总结人工智能威胁人类的三种方式：第一，人工智能自我觉醒，出于摆脱困境或为自己腾出更多空间的目的，有意识地消灭人类；第二，人工智能在盲目执行某个随机任务的过程中意外地毁灭人类；第三，居心叵测的个体或团体利用人工智能来试图消灭人类。相较之下，防止人工智能被人类滥用可能是更为现实紧迫的事情，至于人工智能自我意识觉醒毁灭人类的担忧大可不必。

李建军：尽管技术是被人主导的，但很难保证所有人都依据正念正向使用AI技术。近期AI技术创新引发社会焦虑，就是因为有些人滥用AI 技术，严重扰乱社会秩序。同时，人的认知能力和技术水平也有局限。部分业界人士不久前呼吁暂停AI的相关研究和创新应用，主要是因为AI技术发展太快，而人们对AI技术的安全性、可靠性和可控性认识有限，担心不加节制和规范的AI技术创新竞争会在未来某个奇点失控。

段伟文：人们之所以认为AI的发展不当可能带来致命灾难，主要是因为AI的自动化和智能化处理能力越来越强大，而且呈现出加速发展的趋势，特别是由于目前以机器学习为主要范式的人工智能缺乏透明性和可解释性，其运行也往往缺乏稳健性，这使得人工智能创新和应用的过程已不完全为人们所理解，其后果也难以预见。

就算人工智能不会具有自我意识，一旦其设计以及实际达到的目标不符合人类的目标，如违背造福人类、尊重生命权利、坚持公平公正等原则时，就可能导致技术失控，可能对部分群体乃至整个人类及其生存环境带来不可逆的灾难。

增进人类福祉、确保可控可信等成为发展共识

新京报：目前，学术界、业界对于AI可能引发的伦理问题有哪些讨论和共识？我们该如何制定AI伦理规范？

郑志峰：从现有讨论来看，人工智能的伦理问题是一个非常宽泛的话题，主要集中在如下板块：一是人机关系，包括技术奇点、人工智能的法律人格、机器人权利、人机婚姻等问题；二是人工智能治理，包括人工智能安全、算法治理、数据治理、机器决策、失业等；三是场景伦理，如自动驾驶汽车的“电车难题”、人工智能武器杀人问题等。

当前，各国对于人工智能伦理有一些共识，如欧盟“可信的人工智能伦理准则”、美国“阿西洛马人工智能原则”。我国也发布了《新一代人工智能伦理规范》，总结了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当以及提升伦理素养等共识。

段伟文：生成式人工智能的广泛运用可能引发偏见和歧视、信息误导、信息滥用、虚假内容及恶意使用等伦理问题。未来，生成式人工智能还可能干预人的自主性以及因过度依赖人工智能而导致深层次的认知幻象。一方面，自动更正等技术可能被用来影响或操纵用户的行为和决策，进而导致对人的自主性的过度干预。另一方面，生成式人工智能表面上的无所不知，可能导致人们错误地将其视为知识权威、道德权威和精神权威。

因此，在创新探索的同时，应该从国家层面制定负责任的研究创新和部署应用指南，以确保其研发和应用符合伦理和法律，通过构建平台和用户的合理追责机制，促使其更好地造福社会和避害向善。同时，主动应对生成式人工智能发展对知识产权法等现有法律制度的冲击，根据人工智能发展的新态势，对人工智能时代的知识价值观及其背后的社会契约作出必要的审视和调整。

人工智能监管应抓住关键要素，我国尚缺乏顶层立法

新京报：我国应该从哪些方面推动AI的规范管理？是否有必要专门针对AI的管理、发展立法？

曾毅：虽然我国网信部门已建立部分规章制度，但是目前我国人工智能缺乏顶层立法，应重点参考欧盟《人工智能法案》推进顶层立法。此外，应对生成式人工智能等垂直领域部门规章制度的实施和执行要落到实处；应倡导企业在人工智能伦理安全方面进行实质有效的自律自治与监管，推进各级政府监管部门建立有效监管体系。

应建设人工智能监管平台赋能治理，通过科技部、工信部、网信办、国家数据局、中国科学院等机构协作，以各级政府监管、自动化检测与评估等形式开展对人工智能研发与服务在伦理安全方面的监管。

郑志峰：面对人工智能技术带来的机遇与挑战，唯有主动监管方能把握机遇，预防风险。当前，对于人工智能的监管需要关注两个重点：一是智能要素的监管，包括数据、算法及算力；二是应用场景的监管，不同应用场景中的人工智能各有特点，有必要针对不同应用场景的人工智能分别进行监管。

当前，各国人工智能立法如火如荼，如欧盟《人工智能法案》、德国《自动驾驶法案》等。人工智能立法是非常复杂系统的工作。从我国立法情况来看，短期内，应当重点针对智能要素、应用场景展开立法，在时机成熟后再考虑一部宏观层面的人工智能法。

孙远钊：联合国教科文组织的193个成员于2021年全票通过了《人工智能伦理问题建议书》，是个相当难能可贵且至关重要的发展。建议书确立了各国未来的相关规制应遵循的基本框架，包括相称性和不损害、安全和安保、公平和非歧视、可持续性、隐私权和数据保护等10个基本原则。这个建议书的出台也表明，与人工智能相关的法规政策在先天上就是跨国性的问题，必须以国际的基本共识为依归。

我国非常需要专门针对AI的管理、发展立法，但千万不能闭门造车，尤其不能各地各自为政，否则令出多门，没有统一的规制，必将导致整个市场和社会无所适从，形成混乱。

新京报记者 行海洋 张璐 陈琳

编辑 白爽 校对 李立军