中国工程院院士、国家数字交换系统工程技术研究中心主任，复旦大学大数据研究院院长邬江兴在搜狐主办的2024搜狐科技年度论坛上发表了《如何让AI安全向善》的演讲.

邬江兴认为，人工智能是一把双刃剑，在拥抱人工智能的同时，也会带来信息安全的挑战，它有可能会破坏和平，甚至毁灭人类。“这不是一种悲哀的说法，我很赞成巴菲特先生说的它是一个核武器。”

邬江兴表示，现在要关心的问题是AI的个性化问题，AI内生安全个性问题是当前AI应用推广中的最大障碍。基于内生安全架构一体化如何增强AI应用系统安全性，他提出了四个结论。

一是可以利用不同算法模型之间的差异，可以有效提升AI控制系统抗攻击能力；二是对样本迁移性与算法网络结构存在强关联，模型多样异构化是必要安全机制；三是针对同一应用目标，差异化网络散发可构建多个具有特异性的深度学习模型；四是模型不确定度估计方法能够为DHR架构动态调度算法提供最优化的理论支撑。

“网络内生安全应当成为AI应用系统不可或缺的特质，凡是可实用化的AI应用系统都必须同时满足相对正确公理和必要多样性定律。”邬江兴强调，“需要正确的技术路径来实现更安全的AI应用系统，让人工智能健康向善发展，服务人类社会进步。”

以下为演讲全文：

AI现在已经成为人类奔向未来的一种寄托，这种寄托正如巴菲特说的我们从精灵从瓶子里放出来，潘多拉盒子打开了，AI可以for anyone这种情况出现的时候，我们还应该冷静地思索，我今天的题目是如何让AI安全向善。

以深度人工智能为核心的是一把双刃剑，在拥抱人工智能的同时，但是引入信息安全的挑战就是AI带来的，它有可能会破坏和平，甚至毁灭人类，这不是一种悲哀的说法，我很赞成巴菲特先生说的它是一个盒子武器。如何对付这个问题，我们看到AI现在已经进入到应用系统，可以看到未来几年AI会在我们的手机、在各种场合下都会遇到AI应用系统，然而我们考虑，AI应用系统内生安全问题可能给我们带来什么样的安全威胁？

首先我们谈一下人工智能的应用系统，网络空间内生安全的分类，全世界认为我这个分类叫邬氏分类，我把整个AI应用系统分为内生安全问题和非内生安全问题。什么叫内生，比如广东那边刮一阵大风墙体落下来砸了几十辆汽车，我们在路上走突然有一颗陨石砸到脑袋，那叫非内生安全问题，飞来横祸，那是安全问题，是娘胎里带出来的毛病。所以内生安全问题分为个性问题和共性问题。下面分别来讲一下。

我们现在最大的问题是共性问题，AI内生安全的共性问题这是我们需要关心的，什么地方都用AI的时候，AI会产生什么样的共性问题？

约翰·冯诺依曼是现代计算机结构的奠基人，他在70多年前在《计算机体系结构理论》这本著作中有这么一段话，这段话被人类遗忘了70年，他说“即使是简单的存储程序控制的计算系统，也可以表现出复杂的行为，而错误的可能性往往在所有计算系统中是固有的，也可能在使用发展过程中产生意想不到的问题”，网络安全问题。

他在1949年的一篇论文中更给出了病毒城市蓝图，进一步诠释了存储程序构造可能产生意想不到的问题。这边顺便讲讲存储程序构造是人工智能奠基性的构造，没有这个，别谈人工智能，所以冯诺依曼也是人工智能的创始人。

他这段话说完以后，再看黑格尔，黑格尔认为，“所有自然性的矛盾是不可切分的，就像一枚硬币的两面一样，存储程序构造也属于自在性矛盾”，所以网络空间现在愈演愈烈的安全归性问题本质上是存储程序构造带来的安全问题与泛在化危险，如果没有存储程序控制就没有网络安全问题。我给它一个定义，什么是网络内生安全问题，凡是包含了存储程序控制构造的数字元素，如果不能杜绝软硬件带靶漏洞的问题或者设计侵入性，这种自在性矛盾导致的内源性的安全问题就成为隐患，在网络攻击和其他的不确定性扰动下就会产生局部的不确定性的安全事件，不确定性是非常恐怖的事情，把它称为网络内生安全问题，内生安全问题有它的特征，有矛盾上自有的内因、外因、个性、公性，最重要是自在性矛盾。

我们看AI系统内生安全的共性问题，比如底座，比如手机上安装了AI，暂且先不说AI本身有没有问题，装在手机上，这个底座有问题我们已经有解了，我在十年前提出了内生安全理论，已经成为中国学派的引领者。这个没问题，现在要关心的问题恰恰是AI的个性化问题。我们知道AI内生安全个性问题这是当前AI应用推广中的最大障碍，表现出什么东西的时候会让我们惊奇不已，它要做破坏的时候会让我们巨诧无比。

深度学习模型存在“三不可”基因缺陷，娘胎里就带出来的，属于结构性的自在矛盾，无论是特斯拉的蓝天白云的事件，还是基于神经网络的分类，我们可以看到深度学习的黑盒特点导致了人工智能的不可解释性。一个卷积公式我们真没办法解释它的数学物理性质是什么，很难解释，深度学习对样本的依赖、学习模式，导致不可判识性。同样知识的提炼模式导致了预测推理的不可推论性，甚至AI内生安全个性问题。

第一个是不可解释性，我们从数据提供AI模型训练到知识规律，到获得应用推理阶段，工作原理到现在不明确，问题发现定位非常困难，有人说AI系统中的安全问题比破密码还要难。第二个是不可判识性，因为AI对序列性强依赖，不具备对内容的判识能力，哪些正确，哪些错误它全然不知道，哪些是公平，哪些又是偏见，根本无从可言，所以数据存在质量差异，来源差异，就可能导致训练出的结果有差异。

我们可以看到，微软的聊天机器人上线后收到大量的不良数据，启动16个小时候就学坏了，满嘴不停都是脏话，价值对齐差异大，结果判定难是AI的不可判识性很大的问题。它是人训练出来的，也是数据训练出来的，所以数据污染和投毒就可以使它变坏，变成一个坏孩子。

第三是不可推论性，AI推拿性的推理，博览群书，读书破万卷，从已知数据中获得规律性，对未知事物人们通常是无法理解的，但是它看到了，AI难以胜任对中长期未来事物变迁的预测和推理，只是把现有的东西归纳起来，看起来用全人类的知识，它聪明无比，这就让我们感觉对它惊叹，仅仅是比我看得多，但是并没有产生什么新的认知。所以AI的安全问题，能用AI完全解决吗，现在有人想用AI来解决AI的安全问题，这在数学上不成立，1931年著名数学家哥德尔就提出“不完备性定律”，一个具有初级数论的系统，它既不能证明自己为真，也不能证明自己为假，这就是现在AI的困境，它是一个哥德尔不完备系统。

于是我们看到深度学习AI内生安全个性问题是其自身基因缺陷所致，不管是CNN，还是RNN，还是transfromer发展衍生的各个AI模型必然存在这种“三不可”的内生安全个性问题。人工智能作为一种赋能技术，AI for science for anywhere，所以我们绝对不能再走先发展再治理的路，像网络安全这样。它能诱发意识形态风险、社会伦理灾难、技术层面风险、训练语料库的泄露、模型算法以及社会影响面用户隐私泄露、知识产权等等诸多问题，AI大模型应用很可能会带来更为广泛的应用风险。怎么解决这个问题，AI应用系统内生安全的防范理论和基础。

我们知道有这么一句话，“物理世界唯一确定的就是不确定性，而技术发挥的根本意义在于如何将不确定性问题转化为可控概率意义上的确定性问题”，这就是技术发明的意义。量子技术也是这样，如果量子技术是百万千万分之一的概率它是科学，但是如果计算的话大概达不到99.99%，99%，大概没什么用。所以现在搞量子技术的人努力使得纠缠态能够稳定一些。

现在人类必须破解的安全难题是什么，如何在不确定的安全威胁的AI空间去创建一个有安全承诺或有概率的应用系统，这是最重要的，不能拿出来一个东西它说什么，跟不允许在那儿逻辑自洽的胡说八道。

我们知道瞎子摸象，其实就是基于单一性局部认知，难以形成全局性的理解，如果我们能综合多个维度的局部观察，就可能形成相对全面的认知。于是我们来看一下控制论第一性原理，安全实际上是控制论范畴的东西，这里面谈到威廉艾什比的必要性多样性定律，它就说自然界只有多样性才能摧毁多样性，换句话说，我们可以理解为某种事物对适应性和进化的能力，以及应对发展过程中的不确定约束影响的鲁棒性，这是控制性的第一原理。同样还看到，有一个人类社会的民主基石就是相对正确公理，讲的是人人都有可能有这样那样的缺点，但是极少出现独立完成同样人物时，多数人在同一地点、同一时间、犯完全一样错误的情形，这就是为什么要尊重多数人意见的基本理由，尽管有的时候真理掌握在少数人的手里。

所以我们可以看到相对正确是一个公理，不正就是自然正确的，我们因此知道一个相对友好的环境应该是必要多样性加相对正确公理，这就是AI的共识，所谓的价值对齐。我们看无论是自然界也好还是技术界也好，其实都遵循这样的道理。

我们看AI算法多样性表达是什么样的，我们做了一个研究，AI算法模型对于输入数据的多样性是敏感的，比如左图上面一个模型在书架背后的尺寸能检测出来，可是只要后面稍许加一个背景就识别错了，它对训练方法的多样性，不同训练模式下的模型权重分布情况也是这样，常规训练方法可以，基于预测值的多样性、基于权重分布的多样性，在面对AI多样性时结果呈现明显的差异性。

第三模型训练数据的多样性表达，差异化的训练数据可以得到多样化的AI神经网络模型，而模型面对AI攻击的结果将呈现显著差异。谈这些问题的时候可以看到模型推理能力的多样性表达，也就是说多个模型对同一数据的表达，在大部分情形是一样的，有对齐的要求。如果一个人脸被识别成一个狗脸显然是错的。于是我们说在AI算法模型中引入必要多样性具有实践规范层面的意义，所谓的应用系统中应该引入，不是单一模型，是多样性模型，这样能有效增加判别维度，为形成对齐相对正确公式而奠定一个基础条件。

AI应用系统内生安全问题有没有解决办法，我给的结论是，大家可以强调一体化的破解之路。我提出了一种网络空间内生安全基本方法，核心方法是：必要多样性、相对正确的公理加上维纳控制论民主和香农反馈加信息。

基于内生安全架构一体化增强AI应用系统安全性如何，我这里说结论。结论1：它可以利用不同算法模型之间的差异，可以有效提升AI控制系统抗攻击能力。结论2：对样本迁移性与算法网络结构存在强关联，导致模型多样异构化是必要安全机制。所以我在说以后的AI系统如果是由单一模型，它不存在，它没有必要多样性。结论3：针对同一应用目标，差异化网络散发可构建多个具有特异性的深度学习模型，怎么创建这种必要多样性。结论4：模型不确定度估计方法能够为DHR架构动态调度算法提供最优化的理论支撑。

从上述理论结果可以看到，为多样异构化的AI模型构造的有效利用提供了一个理论支撑。所以我们说基于内生安全理论方法可以在应用系统层面破解AI内生安全个性化难题，理论研究认为内生安全构造可以一体化地解决个性化和共性化的问题。

这是一些实例，正常情况下可以识别，但是遭到攻击情况下识别不了，在内生安全情况下仍然能发现它和别人不一样，于是我们认为多数人的认识是对少数人就可能有问题。

整个检测结果告诉大家，我们对现在全世界最主要流行的10种大模型了安全分析，结果超过100多种的差异化的AI应用样本告诉我们一个结论，90%以上是不可信的，而采用内生安全构造的问题，相比单一安全具有显著优势，是几个数量级的提升。我们在去年南京举行的强网国际精英挑战赛上世界上唯一一次有AI赛道，看看AI应用系统到底行不行，在全世界选的选手看到只要不是必要多样性的AI系统，无一例外被按在地上摩擦，很凄惨。所以非内生安全的AI应用系统正确识别性能普遍下降到不到10%，实用化前景令人堪忧。

而基于内生安全构造的AI应用系统即使允许白盒插桩，允许你攻击，成功率几乎为0。于是可以看到AI内生安全的实例表现出必要多样性相对正确公平的系统和单一系统相比，存在着明显优势，所以未来的应用系统我们强调基于必要性多样性的定律和相对正确公理使内生安全构造能够有效发现，并促使AI应用系统中的插入模型的安全事件。

当前的AI应用系统安全责任与风险严重失调，OpenAI把东西抛出来给大家用，谁用了遭了难，你自己负责，这就是制造侧可以很happy live，而应用侧去为AI的安全系统买单。怎么办，在AI应用面临最大窘境，既不能机会主义地使用安全性，尚不能包括应用系统，又不能完美注意地去追求绝对可信的AI应用系统，这就是现在的难题。

最后提出AI系统健康发展的基本遵循，包括思维视角、方法论、实践规范以及拒止试错攻击。所以网络内生安全应当成为AI应用系统不可或缺的特质，凡是可实用化的AI应用系统都必须同时满足相对正确公理和必要多样性定律。

生成时代需要正确的技术路径来实现更安全的AI应用系统，让人工智能健康向善发展，服务人类社会进步。

谢谢。