今年是吴世忠担任全国政协委员的第6年。他是网络与信息安全领域的专家。履职政协委员之初，吴世忠给自己提了一个要求，“把复杂的信息安全问题说得更准确些”。多年后再谈及此，已是新当选的中国工程院院士吴世忠坦言:“这几年的努力还远远不够”。

一个现实挑战是，随着技术的迅猛发展和网络空间的不断演进，信息安全问题变得越来越复杂。以人工智能为例，一年多前，聊天机器人ChatGPT横空出世，迅速在全球掀起一场AI风暴。今年开春，文生视频模型Sora重磅来袭，用一段足够以假乱真的AI生成动画，再次给行业带来了颠覆性的冲击。

与此同时，技术发展轨迹的不可掌控性和潜在风险的不确定性，也让全球警惕AI风险的呼声比以往更强烈。“不能有效管控风险，发展就难以持续；没有足够的安全保障，后果将不堪设想。”近期在一篇探讨2024年网络与信息安全风险前瞻的署名文章中，吴世忠敏锐地指出，2024年人工智能安全治理会成为大国角力的主要方向，人工智能热门应用领域或将出现“灰犀牛”安全事件，潜在风险不容忽视。

今年全国两会，吴世忠围绕人工智能安全和数据安全治理问题建言发声。为准备提案，吴世忠先后赴北京、上海、深圳等地调研了解国内AI技术与产业发展情况，还持续跟踪国际科技前沿和网络空间治理战略和政策，并积极与相关专家和学者们交流研讨，“力求将问题研究透彻，确保提案能说准、说对”。

近日，围绕委员履职、大模型安全、AI换脸等信息安全领域的热点话题，南都记者专访了全国政协委员、中国工程院院士吴世忠。

谈履职

呼吁加强人工智能标准和伦理研究

南都:您是连任两届的全国政协委员，哪些问题是您尤其关注并持续推动的?

吴世忠:我长期关注的是新技术的发展、安全与治理问题，这是信息化时代各国面临的共性问题。在两届政协的履职中，我分别就加强网络与安全信息安全保障，加强信息共享和联防联控有效打击网络诈骗，在国际竞争环境下加强人工智能标准和伦理研究等建言发声，持续推动相关部门在科技发展和信息化的建设中更好地处理发展与安全的辩证关系，应该说起到了一定建言资政作用。今后，我还会一直关注并持续推动与此相关的问题，以更好地尽到一位政协委员的职责。

南都:2018年全国两会期间，您在接受南都专访时提到，希望“把复杂的信息安全问题说得更准确些”。这个履职要求，做到了吗?

吴世忠:这个问题提得既直接又尖锐，真不太好回答。随着信息通信技术的迅猛发展和网络空间的不断演进，信息安全问题变得越来越复杂。从个人隐私到商业利益，从社会问题到国家安全，从军事冲突到国际关系，从社会舆情到全球治理，信息安全问题几乎无处不在，而且千事千面、见仁见智，再结合不同场景、对象和上下文，相关信息安全问题的内涵和外延也相去甚远，因此要说清楚、讲准确，也越来越难。从这个意义上讲，我这几年的努力还远远不够。

南都:如何应对日益复杂的信息安全难题?您长期从事网络与信息安全领域的技术研究工作，有何经验和心得分享?

吴世忠:首先，我认为发展是重要的安全考虑。信息安全问题与技术发展相伴而行，没有发展之需，也就难有安全之虑。我国几十年来网信事业的蓬勃发展，以及近年来中美竞合的科技角力，也生动具体地说明了一点——那就是不发展是最大的不安全。

其次，韧性是关键的安全能力。现在我们已经走过信息化的孩提时代，安全保障体系已经从保姆式的全面看护发展到自主式的自然应对。我们不再为一个技术漏洞而产生像“千年虫”那样的安全焦虑，也不会因一两次常规攻击导致大规模断网灾难。随着网络空间法规、管理、技术手段和伦理等不断增强，信息安全的整体生态在日益丰富，韧性或弹性日益成为网络信息安全保障体系的关键要素。

第三点，成本和效益是务实的安全指标。要准确地认识信息安全问题，需要做到对安全风险既不高估，也不低估。近年来，我国在网络信息安全上的投入逐年增加，在管控、应对网络信息安全风险上更加务实。这种风险管理思想和成本效益考虑，是我们应对网络信息安全问题的主流方向。我认为，加强成本与效益分析，采取激励机制与政策，增强风险管理的意识，并且将最佳实践、攻防演练、外部性因素等纳入网络安全治理的策略考虑中，应当是我们在提升信息安全治理能力的重大进步。

谈AI安全焦虑

要防止大模型沦为作恶工具

南都:自ChatGPT问世的一年多以来，众多大模型相继推出，并在多个行业落地应用。大模型落地应用主要面临哪些安全风险?

吴世忠:几个月前，图灵奖得主杰弗里·辛顿从谷歌辞职，OpenAI公司出现“宫斗”，众多有识之士公开表示安全担忧，国际社会密集研讨AI治理……ChatGPT问世一年就引发如此大的安全焦虑，这在科技发展史上是空前的。

对人工智能的快速发展，人们既有近忧也有远虑。就近忧看，大模型落地应用主要面临这些安全风险，包括生成不当内容、产生隐私问题、产生歧义或偏见、引发技术攻击、难免知识滞后等。

以技术攻击为例，一些恶意用户可能通过技术手段对大模型进行网络攻击。比如污染训练数据(数据投毒)，输入精心设计的样本，使大模型产生错误的输出等，破坏大模型的可靠性。

在知识层面上，因为大语言模型的训练是对已有知识的学习，对截止时间之后的新知识、新发展还不具备与时俱进的推导能力，这可能导致对新情况的了解不足，对新问题表现出力不从心。

南都:还有报道显示，恶意大语言模型已成为暗网最畅销的黑客工具，被一些网络犯罪分子滥用进行大规模攻击。怎么看待这类现象?

吴世忠:对此类情况，我还真不太了解。不过单从技术上分析，网络犯罪与恶意使用或滥用大模型的可能性是客观存在的。人工智能可以看成是信息化进程的新阶段，传统的网络安全攻击方法大多数都会在AI中实现。

就大语言模型而言，攻击方式就可能有:数据投毒、提示注入、误导输出、模型阻塞等新兴方法，还可能有供应链漏洞、不安全组件、逆向分析、后门攻击等常规方式。

人是安全问题中最为复杂的因素，如何防止大模型沦为犯罪分子的作恶工具，是AI安全的重大课题。

南都:从已有的研究看，人们对AI的安全远虑是什么?

吴世忠:一是技术发展失速。回望历史我们知道，AI走过了近60年的孩提时期，直到互联网兴起，大数据出现和神经网络、机器学习的突破才步入目前的弱AI时期。虽尚值年少，但聪慧惊人，大有向通用AI迈进之势。国际社会相继发出“暂停训练”加强约束之呼吁，表达的就是对AI技术发展太快、监管力所不及的深度忧虑。

二是军备竞赛失控。AI技术备受军事青睐，从认知战到情报战，从无人机到卫星网，AI技术已经打开智能时代新军备竞赛的“潘多拉盒子”，大国角力日趋激烈，军控谈判需求紧迫，AI向善或是向恶成为国际治理重大议题。

三是伦理道德失范。AI成长期短，还是懵懂少年，不像人类有数千年的历史积淀，伦理规范和道德约束的缺乏是AI带给人类的普遍担忧。技术逻辑与人文素养相差很远，AI伦理目前仍处密集交流和商讨阶段，要在技术上实现、应用上落实，还有很长的路要走。

此外，AI技术和应用都高度依赖大数据，无论是AI使用大数据训练，还是利用AI分析大数据都难以避免地产生数据泄露和信息保密问题。同时，AI应用可能对社会生活造成深远的影响，包括就业市场、新闻宣传、政治决策等，因此有必要负责任地使用和监督AI技术。

在人工智能技术发展高歌猛进的当下，这些安全忧虑更多的是潜在隐患。相对于近十年来人工智能技术的蓬勃发展，安全方面的研究略显滞后——这也符合科技发展的既有规律，创新发展在前，安全治理在后。

所以我们一定要全面、辩证地看待AI的安全问题。有人曾就AI与人类关系问题提问过ChatGPT，它的回答是“AI不会让人类变得多余，只会使人类变得更有价值”。我想这对我们从发展的观点理解和认识安全问题，应该有借鉴意义。

谈AI治理

透明度、公平正义是全球AI治理高频词

南都:从AI冒充拜登给选民打电话，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2亿的AI“多人换脸”诈骗……近期AI造假事件屡次出现，引发了诸多担忧。从技术的角度分析，AI换脸或拟声诈骗技术含量高吗?

吴世忠:从技术上看，AI换脸、拟声诈骗这类骗术的水平还是较高的，主要是因为它可能恶意使用了多种新兴人工智能技术。

一是大数据技术，大规模的高质量数据集是这些骗术成功的关键，数据越多、越真实，模型学到的特征和细节就越丰富，生成的结果就越生动、逼真。

二是深度学习和生成模型技术，这可以让生成的换脸和拟声内容更加逼真和自然。

三是迁移学习技术，它允许模型将一个领域学到的知识迁移到另一个领域，这也有助于提高换脸和拟声模型的性能，使其运用更多的场景和人物，更具欺骗性。

最后，AI造假还可能涉及语言和图像处理技术，借此可以对包括面部表情、语言音调、发音特征，特别是方言等多方面进行细微处理，生成更加真实的效果，达到以假乱真的目的。

南都:以前我们说“无图无真相”，但现在借助AI技术，甚至能生成以假乱真的视频，让“眼见不再为实”。如何应对AI深度造假问题?

吴世忠:我建议从技术、法规和伦理约束以及安全意识培养等方面，采取综合防范措施。其中尤为重要的是技术——人工智能技术十年来发展迅猛，但相应的安全技术研发相对滞后，在风险隐患日益凸显的今天，发展安全技术手段是当务之急。

为防范AI深度造假，可采取的技术手段包括使用图像和音频分析工具，检测深度造假，识别图像或者音频的伪造痕迹，也可在数字内容中嵌入水印或隐写记号，以便追溯图像或音频来源并作真实性比对，还可运用区块链技术等确保信息的不可篡改和透明性，从而提高图像或音频的可信度等。

法规、伦理方面，则可制定相关法律法规和监管措施，对违规或恶意使用AI造假的行为进行处罚和打击。要求AI开发者提高模型的透明度和可解释性，确保用户能够理解模型的决策过程，减少潜在的滥用风险。同时，制定和倡导AI伦理规范，引导AI技术的开发应用，明确禁止滥用和伪造信息等。

具体到安全意识的培养，建议加强民众对AI造假可能性的认知，提高对虚假信息的辨别能力，促进官产学研多方合作，加强持续监测研究，适应不断进步的技术和不断演进的威胁，共同应对AI深度造假的挑战。

南都:当前主要国家均在探索人工智能治理方案，中国也将制定“人工智能法”列入国务院的立法计划。您认为，构筑人工智能安全护栏的应有之义是什么?

吴世忠:世界主要国家确实都在积极探索AI治理方案。截至去年底，至少已有60多个国家制定或发布了与AI有关的政策文件，我国也先后提出了多项与AI相关的国家政策和倡议。

我们对全球活跃的50项AI倡议作了初步分析，发现前十个高频词汇是，“透明度、公平正义、非恶意、责任与问责、隐私、向善、信任、尊严、团结和可持续”，这一定意义上反映出了人类对AI治理目标的共识。

我认为在构筑AI护栏时，同样要反映这些共同诉求——从专业的角度讲，其应有之义和重点可能包括:保护个人隐私和信息保密、维护社会秩序和公平正义、有利文化传承和道德伦理、维护国家主权和安全利益。

谈新质生产力

网络与信息安全是业务创新发展的重要支撑

南都:去年12月举行的中央经济工作会议提出，加快发展新质生产力。今年的政府工作报告也对此作出安排。结合您的专业背景，如何理解“新质生产力”?

吴世忠:新质生产力是创新起主导作用，摆脱传统经济增长方式、生产力发展路径，具有高科技、高效能、高质量特征，符合新发展理念的先进优质生产力。

就网络信息安全领域而言，数字化转型、创新驱动和智能化生产是其最主要的三大特点。显而易见，这三大特点都与网络与信息安全息息相关且紧密相连，所以我理解新质生产力，应该是高质量发展和高水平安全高度融合的新型生产力。

南都:面对全新的生产力变革，网络与信息安全行业可以发挥怎样的作用?

吴世忠:在全新的新质生产力变革中，我认为网络与信息安全理应发挥至关重要的作用，主要体现为以下四点:

一是为数据和隐私提供安全保护。随着生产过程数字化和设备互联，大量敏感信息通过网络传输，网络与信息安全确保数据在传输、存储和处理应用过程中，得到充分保护。

二是为智能生产提供安全保障。在新质生产力变革中，智能制造得到广泛应用，网络与信息安全在工业互联网、工业云领域发挥重要作用。能防范网络攻击，确保重要设备的安全运行。

三是为业务创新提供安全保证。新质生产力的大量创新必依赖网络业务和网络应用。网络与信息安全措施有助于防范网络攻击、恶意软件和其他威胁，从而确保企业的业务持续性，为业务创新提供稳定的环境和条件。

四是为人工智能提供安全服务。新质生产力变革涉及到人工智能和大数据的广泛应用。网络与信息安全在防范恶意使用人工智能，防止算法攻击，确保数据安全等方面扮演着重要角色。

可以说，在新质生产力变革中，网络与信息安全不仅仅是一项技术，它更是保障整体业务创新发展的重要支撑。

采写:南都记者 李玲 发自北京