当你凝视深渊时，深渊也在凝视着你。

然后尼采在第《善恶的彼岸》146节写下了这句话。没想到，这句台词成为了无数影视作品中的关键台词，展开了观众对善恶的反思。当你足够远地看待世界上的邪恶时，邪恶往往会产生反作用力，将你拉入深渊。更可怕的是，这种抵抗力不仅仅针对人类。可以带来成果。

▲在成为达斯·维达之前，他也是凝视深渊的少年。

今年四月，麻省理工学院媒体实验室的一个三人团队进行了一项有趣的实验。他们创造了一个名叫诺曼（Norman）的AI，他反对邪恶，并声称是世界上第一个精神病AI。

这个AI，意为致敬恐怖电影大师希区柯克，以最著名的希区柯克电影《惊魂记（Psycho）》中扭曲的酒店老板诺曼·贝茨（Norman Bates）命名。他饰演的诺曼是电影史上的经典角色。浴室里的惨绝人寰的凶杀现场，让他成为了无数人心中痛恨的代言人。

Norman 由 MIT 开发，基本上是一种只能描述图像文本的深度学习方法。给诺曼一张图像，他会自动生成文本或标题来解释他在图像中看到的内容。 ，但麻省理工学院媒体实验室在训练数据的方法上却相当奇特。他利用Reddit上一些令人麻木的死亡和尸体内容来输入数据，让它学习描述方法，培养出一个极其黑暗的AI。

▲ 团队三人

然后，该团队在诺曼和传统人工智能图像识别上进行了罗夏墨迹测试。所谓罗夏墨迹测试，是基于瑞士精神病学家、精神病学家赫尔曼·罗夏（Hermann Rorschach）创造的性格测试方法。测试对象通过相应的印台产生联想，并描述联想的内容，从而测试他的性格。果然，测试结果确实很恐怖。

▲罗夏墨迹本人

例如下图中，一般的AI识别结果是：“一只鸟的黑白照片”；但诺曼的结果是：“一个人被卷进了切面机”。

另一个例子是这张图片。 AI识别的大致结果是：“一架飞机划过天空，排出尾气”；但诺曼的识别结果是“枪手从车里扔了出来”。

在这张图片中，一般AI看到的是：“一个人在空中打着伞”；在诺曼的页面上，它变成了“一个男人在他尖叫的妻子面前被枪杀”。

总体而言，诺曼对世界没有积极的看法，一切的根源都是团队不断给他灌输的负面数据，导致诺曼走上了一条黑暗的道路。当然，麻省理工媒体实验室进行的这个实验并不是要带来什么好消息，而是要给我们一个预警：人工智能技术的发展很好，但基于道德水平必须有一个限度。这样它就不会受到扭曲数据的影响。团队还在网站上提供了拯救诺曼的计划，并要求大家将看到的情况告诉诺曼，帮助他康复。

▲拯救诺曼的重要任务就交给你了。

不仅仅是诺曼，还有很多人工智能让人感到麻木：去年5月，美国一家法院用来评估囚犯风险的人工智能被发现对黑人囚犯存在偏见。更令人担忧的是，美国法院还有一个名为COMPAS的人工智能，这是一种由私营公司开发的智能人工智能，旨在协助法院官员做出决策。

它的工作原理是向被告询问 137 个问题（例如“您在学校打架的频率如何？”“您有多少朋友使用非法药物？”“您接受的最高教育程度是什么？”）和背景查看。犯罪记录，得到很多数字，然后经过公司设定的复杂算法，最后得到一长串数据。包括他的孤立率、犯罪人格评分、性格稳定性以及最重要的“危险指数”，即“未来再次犯罪的可能性”。

在COMPAS的“帮助”下，美国一家法院以盗窃罪判处一名男子八年监禁。当该男子困惑地询问为什么他被认为是高度危险人物时，现场的COMPAS表示不予置评。因为这套算法属于商业秘密，即使是法院也无从得知。那么这种基于可能存在偏见的算法对司法公正是否有积极作用呢？司法尚未达到广泛的形而上学过程。

对于人工智能来说，算法是问题，而它接收到的数据至关重要。微软2016年发布的AITay聊天不到24小时就被网络中断。在推特用户的不断煽动下，泰伊成为种族主义者，开始鼓吹白人至上，呼吁种族灭绝，表达对希特勒的热爱。当时微软吓坏了，立即宣布将Tay下架。

从技术上讲，微软试图让Tay学习每个网友教给她的东西，并将其逆向工程成独立的人格。但回到道德伦理层面，人工智能在不加区别地学习人类有趣的一面的同时，也吸收了那些代表人类最黑暗思想的东西，而这些东西在它们的头脑中没有对错之分。 ，只是 0 和 1 之间的差异。

▲人工智障说：希特勒无罪

现在，人工智能已经发展到了强人工智能阶段，某种程度上可以算是人类级别的人工智能。强人工智能具有充足的数据存储能力和强大的复杂分析能力。它所经历的一切都会被记录下来并不断优化和修正。通过用户提供的数据，他们可以站在用户的角度，从最理性的角度进行分析并提供相应的反馈。然而，用户自己的视角不一定是正确的视角，优化的路径也可能是一条不归路。

极客有话要说

“与恶魔战斗的人应该小心，不要成为恶魔。这是尼采在“凝视深渊”之前所写的。当我们想要用科技来对抗这种邪恶的时候，我们必须时刻警惕这个问题——不要让自己成为魔鬼。因为当我们开始不断强化AI的时候，我们也附加了我们的人的属性，而这个人的属性是让世界变得更美好的基础。

▼点击左下角“更多资讯”，更多精彩尽在下方