赵伟

天津师范大学法学院讲师

要目

一、平台营销的运行理念和表征特点

二、平台营销中算法欺骗的产生

三、算法欺骗的法律规制困境

四、算法欺骗的法律规制路径

以用户画像和实时个性化为核心的平台营销为算法在数字经济和平台交易中的广泛应用提供了可能。为了优化平台营销模式、实现企业利润最大化，算法在进行个性化推荐的过程中有意或无意地操纵甚至欺骗消费者。“算法欺骗”的产生不仅突破了现有的法律规制体系也挑战了现行法律归责制度。因此，证实“算法欺骗”在法律上的因果关系、实现对平台企业的有效归责、保障用户隐私权和平等权益成为规制算法欺骗风险的重中之重。算法欺骗的法律规制路径主要有：创设算法代理与信义义务理论、用户隐私保护与平等保障机制的构建，以及建立算法监管问责机制。

大数据、人脸识别、算法和其他类型的人工智能技术正日益改变并形塑着消费者的消费模式和交易习惯。企业利用算法设计产品广告、销售门户、退换货流程，进行产品定价，决定产品种类和售前售后服务模式，并达到实现优化利润的目标。与此同时，算法也在利用网络环境的特征操纵甚至欺骗消费者。这一现象在数字经济模式下非常普遍，以至于诞生了“算法欺骗”这个术语。尽管“算法欺骗”的产生可能源于程序设计师的恶意编程，但今天的算法系统可以自主学习甚至欺骗人类，即使人类没有设计它们这样做。尤其当欺骗消费者的行为有利可图时，由只为优化盈利设计的算法将不可避免欺骗消费者。

此外，由于算法的不透明性，算法欺骗消费者的行为往往由于其隐蔽性而难以证实和追责。比如，算法可以产生大量独特排列的在线广告、网站和软件应用程序。每个排列都可以在特定的时间、特定的上下文中为特定的使用者量身定制信息并发送给他们。随之而来的是，越来越多的算法设计、微观目标和不断变化的数据传输，使得以前用来证明具有误导性或欺骗性的商业行为的方法已经失效。算法欺骗不仅是不可避免的，它也逃避了旨在禁止、惩罚和阻止商业欺诈的监管和审查。因此，识别算法欺骗的特征、分析算法欺骗产生的原因，提出精准有效的监管措施和规制方法是当下亟待解决的重点问题。

一、平台营销的运行理念和表征特点

平台营销的运行理念

平台营销的运行理念是向每个消费者呈现个性化的体验，这种体验通过两种方式进行微目标定位：第一，针对该消费者进行个性化设计；第二，算法实时优化覆盖销售全过程。许多平台的主页登录页面登录页面和内部页面是由算法实时编制的，并针对目标消费者进行定制，应用程序也同样如此。就像面对面销售一样，这种数字行为打破了营销和销售之间的界限；微型目标数字材料既是向消费者传递信息的通信，也是企业向消费者销售产品的接口。

为了在线界面设计的目的，算法采集并输入任何已知或推断的消费者数据，包括他们的收入、习惯、近期的生活习惯和心理状态。一个实时优化的界面是根据可能影响消费者是否以业务所需的方式响应的时刻的维度设计的。例如，这可能包括消费者一天、一周或一年的时间、地点、天气、目前的活动以及情绪或身体状态。比如，某平台可能会使用视频捕捉和情感识别软件来瞄准“18岁至30岁的女性，她们在那一刻看起来很悲伤”。

在获取“转化率”方面，微目标材料可能比大众传播和标准化销售接口更有效，“转化率”指的是点击量、页面浏览量、销售额、客户留存率，或企业希望得到的任何消费者反应。咨询公司麦肯锡报告称，“基于个人实时需求、兴趣和行为的数据激活营销……可以将总销售额提高15%到20%”。在一项实验中，学者们发现，即使是定制一条横幅广告，消费者点击该广告的次数也几乎增加了一倍。微目标数字材料并不总能达到目标，但设定目标的技术正在不断变得更加准确。数字经济中的四个关键要素让平台能够在每一刻为每个消费者提供最有效的数字设计：无处不在的数据收集、连接的数字接口、算法和创造性的人工智能。

平台营销的表征特点

1.无处不在的数据收集

现实情况中，当消费者在浏览平台界面时，他们的行为经常被实时监控，平台可以随时把最合适的产品推荐给顾客。通过无处不在的数据收集，算法收集了大量关于人的信息数据，其中很多可以匹配到跨设备和环境的个人。这些数据主要从个人信用卡和借记卡记录，在线搜索、浏览、游戏、阅读和社交媒体活动，电子邮件和在线日历，声音和通过物联网捕捉的视频以及智能手机定位跟踪传感器等媒介中提取。

同时，算法利用上述大数据来推断和预测消费者的身份、资源、需求、习惯、情绪、行为和对刺激的反应。那些能够被推断或预测到具有足够的商业价值的信息是惊人的。单是定位数据就可以提供“婚姻不稳定的迹象、吸毒成瘾的证据，以及心理治疗的记录。”通过手机收集的按键和加速度计数据可以精准识别个体消费者。年龄、性别、性取向、种族、宗教、政治观点、个性、认知能力和对生活的满意度可以很好地从Facebook的“喜欢”中推断出来。为了衡量广告的效果，并决定未来的广告服务时间和对象，算法可以将电视广告印象数据与消费者的智能手机、平板电脑和电脑数据，以及个人或家庭购买数据联系起来。

进入工业文明以来，企业为了盈利一直在收集和分析客户信息，但数据的数量和粒度以及挖掘速度和我们今天面临的算法收集和分析截然不同特别是大数据分析可以揭示人类可能从未考虑过的关系。一个不直观但意义重大的发现是元数据即关于数据的数据，可以与消费者在网上观看或做的内容或内容一样具有预测性。大数据揭示的是，消费者在网上发布的照片的色调、亮度和饱和度以及内容都能反映出发布人的性格特征与兴趣爱好。此外，消费者在社交媒体上分享信息的广度，以及他们写电子邮件的长度、复杂性和语法和他们分享或撰写的内容一样，都能用来预测他们对市场营销的反应。

2.密集的连接数字接口

人们越来越多地通过在线数字界面来生活——购物、玩耍、社交、组织、阅读、学习等等。数字接口既是当今无处不在的数据收集的管道，也是传递广告、网页、电子邮件、文本和其他受收集数据影响的材料的媒介。此外，数字界面不是消费者可以轻易拒绝互动的被动留言板；它是动态的、互动的、侵入性的和适应性的；它还会闪现信息，在新闻和社交媒体消息中插入内容，甚至会改变消费者实际路径上的数字广告牌显示。

在线下，营销会带有一定的针对性，但在数字经济的在线界面上可以进行实时营销。算法可以根据消费者或环境的提示立即改变。例如，旅游公司Expedia在2016年宣布，通过网络摄像头和智能手机摄像头，它能够分析消费者在浏览销售网站时的面部表情，并立即根据消费者对网站的非语言反应提供个性化服务。连接接口帮助平台实现了对消费者最直接且全面的控制。平台界面的内容、字体、颜色和布局以及图像、图形、产品搜索流程等都是由企业决定的。这种控制允许企业为单个消费者设计交互，并为企业寻求的结果优化交互。数字营销的商业价值体现在企业的选择上，现在的网络广告数量要远远超出传统纸质媒体。

3.个性化营销

通过机器学习和实验，算法日臻完善。目前，算法足以以微观目标数字商业材料回应消费者需要。并能根据消费者和市场的变化，实时优化这些材料的有效性。算法系统运行迅速、准确、自主且不透明。虽然营销人员长期以来一直使用测试来预测哪些广告最有效，但离线的人工指导和在线的实时机器控制的实验之间的差异是深远的。算法的速度和规模使人们能够进入一个普通人类迭代无法探索的巨大设计空间。2020年的一项实验显示，平台营销文本的转化率是基于人类营销人员目标文本的13倍。在追求准确性和速度的过程中，机器正在生成越来越不受人类假设和限制的算法。在无监督的机器学习中，计算机处理未标记的数据以找到模式，并使用这些模式对新数据做出预测。2020年，谷歌宣布了一种新的自动机器学习系统，该系统无须人工参与算法设计；该系统每秒测试10,000个模型，直到找到该任务的最佳算法。

因为算法可以发现和利用人类从未测试过甚至没有注意到的关系，传统的销售员营销已被平台营销超越并取代。“这是一种自动化到可以通过在营销软件系统中设定商业目标来引导的营销过程。”平台营销系统通过在案例子集上进行随机操作来进行自主实验。大多数算法驱动的营销实验都是在人群层面上进行的，利用与一组消费者和情境相关的数据，预测使用相似的相关数据对消费者和情境最有效的设计。现在，最前沿的是“互动营销”——在单个消费者身上进行实验，以发现哪种数字设计能让消费者在微小的瞬间产生“想要”的行为。当算法了解到更多关于特定用户的信息时，向用户呈现的数字界面就会进行调整。企业不需要投入资本研发平台营销技术，因为有成千上万的第三方供应商提供服务来执行平台营销过程的不同部分。算法自动化的效率意味着即使是小公司也会采用这些技术。正如谷歌在2018年宣布的那样，其服务正在“让每个广告商都掌握算法”。

4.创造性营销

Facebook的广告只有标题、主文本、视觉效果和视频以及一个行动号召按钮四个组件。算法可以选择一组人工创建的组件选项，并预测哪种组合最适合消费者。现在的人工智能科技可以让算法生成自己的内容，并在没有任何一个由人类直接设计组件的情况下创造数字商业材料。一家汽车制造商使用人工智能为数千种不同的广告编写文本，每一种广告都是针对100多个不同的消费群体中的一个量身定制的。

咨询公司Gartner预测，“到2022年，营销内容创作者将利用人工智能内容生成技术制作超过30%的数字内容。”算法生成的内容不仅便宜，而且非常有效。算法可以创造出比人类营销人员更有说服力的文本。2019年，一家金融服务公司得出结论，该公司的聊天机器人接受了公司呼叫中心语音数据的训练，在销售贷款方面的成功程度堪比顶级人工电话营销人员，是没有经验的电话营销人员的4倍。

二、平台营销中算法欺骗的产生

平台营销中的数字环境促成算法欺骗主要有以下三个原因。首先，消费者认为数字界面缺乏代理，这使得消费者不会注意到在线材料可能被设计成欺骗的程度。其次，消费者通常以一种高效的、以任务为中心的、习惯性的方式与在线环境互动，导致他们经常忽略数字界面中的信息。最后，大数据和实时跟踪可以识别出哪些消费者因个人特征、身体或情绪状态而特别容易受到攻击，这让企业有机会利用这一弱点。

数字环境滋生算法欺骗

人们通常把数字界面理解为与他人互动的工具，但是用户在使用这些界面时基本上看不到它们。正如哲学家们所讨论的，“一旦我们习惯了一种特定的技术，设备或界面本身就会从有意识的注意力中退去，让我们能够专注于我们正在用它来完成的任务。”用户并不关注界面的设计如何塑造他们与在线内容的交互和感知。消费者也低估了在线下购物环境中所呈现的信息和选择的构造性质。销售人员可以利用各种人际影响技巧来做出选择，这些技巧之所以强大，部分原因是它们不被注意到。商店里有些食物摆放在成年人的视线范围内，有些则放在儿童的视线范围内，但人们往往忽略了货架是为了增加销售额而设计的。然而，尽管消费者对商家可能试图在线下欺骗他们的意识有限，但他们更不会相信商家可能在网上欺骗他们。因此，企业有动机去培养和维持消费者的控制错觉。一位网页设计顾问观察到，网站访问者倾向认为他们对自己的行为负责。当用户认为自己对针对他们的商业信息有更多的控制权时，他们发现这些信息更有说服力。即使控制的是传递信息的“化身”，而不是信息本身。

消费者对控制的错觉以及他们没有意识到数字界面是为企业的利益而设计的，这构成了欺骗性设计不太可能受到质疑甚至被注意到的背景。被欺骗后，用户可能会责备自己没有仔细检查界面，或者没有仔细阅读屏幕上的文本。微目标可能会加剧自责，因为向不同的消费者展示不同的数字材料可能会掩盖他们经历背后的共性，降低消费者认识到个人受害的可能性。即使是单一的消费者也可能没有机会两次检查同一网页，以辨别欺骗成分；就数字内容的微目标而言，人工智能“经常按需生成网页，这些网页以前没有人见过，将来也不会再见到。”根据调查分析，平台个性化推荐的商品质量并未得到有效保障，而更多的是广告植入，经常会推荐一些性价比较低的商品。

消费者上网习惯诱发算法欺骗

人工智能时代的互联网允许用户进行多任务处理，将他们的注意力分散到不同的设备、窗口上，当使用移动设备时，还可以浏览世界。他们只感知一小部分在线内容。即使是在线下，消费者通常也不会阅读细则。但在网上，有三件事会发生：第一，消费者的关注范围进一步缩小；第二，无形内容的数量可以大幅扩大；第三，消费者不太仔细地阅读网页设计，并根据他们的反射性习惯做出假设。有经验的互联网用户以一种高度目标导向的方式将他们的注意力放在网上。他们不自觉地忽略任何看起来是例行公事的东西，比如“服务条款”超链接或滚动框。消费者声称，他们在点击“我同意”之前会阅读文本，但实际证据表明他们并不这么做。

一项研究发现，在自然条件下，每1000个软件购买者中只有一到两个会点击查看条款和条件，即使是这些罕见的消费者也不太可能阅读他们发现的内容。可以插入在线细则的术语数量几乎是无限的。在线下进行的交易，除了商品的身份和价格之外，没有任何条款，在线交易还伴随着大量的附加条款，在线小字印刷的长度可能正在扩大。因此，企业在网上比在线下有更多的空间来隐藏有关其交易的重要信息。

更重要的是，消费者往往会不自觉地忽略网上的大字体、图片和视频。互联网用户“高度关注当前的任务，无情地忽视与他们的目标无关的内容。”他们的眼睛扫视着标题和副标题。用户通常会忽略任何与广告相邻的内容，那些位于广告通常出现的位置的内容，或者那些在视觉上从周围内容中突出的内容，因为他们认为这些位置或格式中的任何一个内容都是广告。对于在笔记本电脑或台式机等大屏幕上浏览的网站，用户平均只花8%的时间在屏幕底部20%的地方。他们将60%的时间花在网站的第一个可见屏幕上，而不是看“折页以下”。消费者同时使用移动设备完成许多其他任务，这让他们更容易分心，注意力持续时间更短。举例来说，在乘坐地铁时使用移动设备需要将注意力分散在看屏幕、保持个人空间和跟踪车站上，减少用于检查数字界面的心理带宽。使用移动设备的消费者非常不耐烦：超过半数的消费者只会等待3秒或更少的时间来加载网站。

这些数字观看习惯可能会让企业在很大程度上展示消费者通常无法阅读的内容。产品或服务的好处可以在消费者看到的区域内吹捧，而利益的成本、风险、条件或限制可以隐藏在消费者很少关注的区域内。这使得消费者很容易被欺骗，因为大多数人在做决定时完全忽视了未知和不受注意的信息。为了节省时间和精力，消费者还根据对在线互动的假设开发了反射性捷径。当他们在网上注册一项服务、安装一个程序或购买一种产品时，许多人都迫不及待地开始使用一项新的服务或完成一项任务，他们经常会一个接一个地点击“下一步”按钮，就像在自动驾驶仪上一样。

此外，数字内容的动态特性为利用一种称为变化盲目性的感知怪癖提供了机会，用户通常认为，如果屏幕发生变化，用户就会注意到变化。变化盲目性是指当焦点在其他地方，或者没有视觉线索来提醒消费者变化时，未能察觉到视野中的变化。例如，当页面重新加载或闪烁时，通过更改网页的内容，新内容看起来不会相对于页面的其余部分移动，也不会引起用户的注意。或者，当用户将注意力从屏幕或屏幕的一部分移开时，可以定时进行移动。

算法瞄准并利用平台交易漏洞

从消费者的人口统计数据和行为中可以推断出永久性或暂时性的认知或感知障碍。例如，年龄的增长会降低人们对屏幕外围和蓝色（超链接的传统颜色）的感知。实时数据可以通过减少消费者的注意力来显示损害感知的状态。例如，玩家在玩在线游戏时可能处于“心流”状态，因此更有可能无意识地点击突出显示的按钮继续游戏。暂时性的认知和精神运动能力丧失，包括疲劳或醉酒造成的能力丧失，可以从移动设备的地理空间移动、键盘敲击的方式，甚至是推文的模式中推断出来。发现减值可以利用欺骗性设计来实现销售，如果没有减值就不会发生。

大数据可以方便地根据消费者的个性特征、教育水平或最近的生活事件来定位他们，所有这些都可能影响欺骗的易感程度。将横幅广告与消费者的冲动性相匹配，极大地提高了广告的效果。与受教育程度较高的消费者相比，黑暗模式对受教育程度较低的消费者的决策影响更大。调查表明，最近发生的负面生活事件（如离婚、失业、家庭成员或密友去世）与容易受骗之间有直接关系。其他预测欺骗易感性的因素则更加出人意料。例如，更善于计算而不那么冲动的消费者似乎更容易相信某些类型的误导性广告。对实际消费者进行实时的基于机器的实验，可能会在人群层面上发现更复杂的易感性关联。互动营销对个体消费者进行的实验甚至可能识别出脆弱性的特殊迹象。

情绪状态可能影响欺骗性设计的易感性，也可以通过大数据分析检测出来。2017年，脸书告诉广告商，它可以“实时监控帖子和照片，借此判断年轻人何时感到‘压力’‘挫败’‘不知所措’‘焦虑’‘紧张’‘愚蠢’‘愚蠢’‘无用’和‘失败’”。人们不需要接受该公司的表面价值，就可以看到，即使是对这些感觉的不完善的预测，也可以被用来打动易受欺骗的消费者。压力和焦虑会损害认知功能和决策能力；抑郁症与认知能力下降有关。情绪状态和对广告的反应之间的关系并不是什么新发现。正如营销专家解释的那样：“情绪是广告商能够极大影响的一种情境。例如，广告商可以根据媒体内容所引发的情绪来选择节目、杂志、报纸，甚至是互联网网站。”不同之处在于，情感定位可以非常精确，利用特定时刻特定消费者的数据，比如对消费者的电子邮件或其他在线“对话”进行“内容情感分析”。

数字通信也会把个人带入更脆弱的状态，助长欺骗。正如瑞恩卡洛所言：“公司将越来越多地处于创造傻瓜的位置，而不是等待一个傻瓜诞生。”一个引人注目的例子是Facebook成功地操纵新闻推送来影响用户的情绪。一个更普通的例子是，商业信息错误地声称某个优惠将很快过期或数量有限，让消费者产生一种心态，认为他们必须立即行动，而不做进一步地思考。网络游戏提供了另一个影响情绪的机会，进而影响人们对欺骗的敏感性。2016年，一位学者将游戏内置广告的下一个阶段描述为“能够操纵反馈效价或难度级别”，从而影响玩家的感知，从而影响他们的“品牌评估和决策过程”。

可以预见，利润最大化算法将在某一时刻设计出实时调整的游戏，从而产生输赢，取决于哪个结果将激励玩家以对业务最有利的方式行事。然而，情绪状态、易受欺骗性和消费者行为之间的关系是非常复杂的。例如，一些研究发现，处于积极情绪中的消费者能够更好地识别广告中的虚假信息。其他研究表明，与处于中性状态的受试者相比，处于消极情绪状态的受试者和处于积极情绪状态的受试者的逻辑推理能力都降低了。还有一些研究表明，刺激的情绪影响程度，而不是情绪效价（积极或消极），影响人们的注意力。

算法可以识别人类意想不到的关系和无法评估的交互变量。正如一名记者在采访虚假产品（如假减肥药、假杀毒软件）的营销人员后总结的那样，“Facebook的目标算法是如此强大……（营销人员）不需要自己去识别那些傻瓜——Facebook会自动识别。”尽管销售合法产品的企业可能没有意识到他们是在微小地锁定漏洞，但针对转化率进行优化的算法无疑也会识别出那些目前也在接受更微妙欺骗的消费者。

不受法律约束的数字设计过程导致算法欺骗

如果不加以控制，平台营销将不可避免地导致企业从事欺骗行为。倡导“实时个性化”的平台营销能向消费者展示与其当前个人需求和愿望相关的信息。但企业会优化他们的数字行为以实现转换，这是企业为了盈利而寻求的可衡量的结果。企业不会为消费者的享受或满足而进行优化，除非这些恰巧与转换相一致。如果没有干预，平台营销将无法区分被欺骗消费者的转化率和理解消费者的转化率。在被欺骗的消费者更有可能采取所希望的行动的情况下，算法将不可避免地欺骗，以最大限度地提高转化率。

算法制作的网上档案和机器人欺骗了选民、求偶者和其他人，这通常是金融骗局的一部分。不太为人所知的是，算法可以自主选择并参与欺骗，即使人类设计的算法系统并没有参与欺骗。当Facebook的人工智能研究实验室使用算法来训练机器人与人类谈判时，机器人很快就采取了“最初假装对一件毫无价值的东西感兴趣，后来却妥协承认”的策略。研究人员没有料到会有这样的结果：“我们的算法学会了欺骗，没有任何明确的人类设计，只是试图实现它们的目标。”2018年，一个人工智能系统在执行任务时欺骗了自己的程序员。

三、算法欺骗的法律规制困境

欺骗性的数字商业行为将日益威胁旨在保护消费者和确保公平竞争的法律的可执行性。这些法律包括广泛禁止不公平、滥用和欺骗性的做法，以及有针对性地禁止在特定情况下的误导性陈述、遗漏或做法。它暴露了每一种方法在证明数字消费者欺骗方面的效力在下降。就在不受约束的平台营销不可避免地导致消费者欺骗的时候，消费者保护和不公平竞争指控变得越来越难以证明，使得数字欺骗越来越不受法律的影响。在与数字屏幕的短暂互动中，消费者可能没有意识到他们被欺骗了，可能会责怪自己没有更仔细地检查屏幕。此外，当平台针对不同的消费者使用不同的算法时，消费者可能无法理解彼此的体验。最后，平台会尽可能避免与会投诉的消费者进行在线交易。因此，平台营销信息瞬息即逝和以实时个性化为目标的特性，导致企业逃避了为算法欺骗承担的法律责任。

算法欺骗的法律界定

美国联邦贸易委员会法案（Federal Trade Commission Act）将算法欺骗定义为可能误导消费者合理行为的陈述、不作为或行为。为了取得成功的索赔，原告必须查明被告的具体通信或活动是非法的，并证明该具体通信或活动导致或可能导致理性消费者怀有错误信念。此外，只有当这些虚假的消费者信念是实质性的，即影响消费者关于产品或服务的行为或决定，并对消费者和竞争造成伤害时，算法欺骗才产生。由于算法系统越来越多地实时生成商业材料和面向消费者的微观目标定制版本，算法欺骗变得很难甚至不可能得到证明。

算法欺骗的证明及其困境

1.算法欺骗的证明方法

随着人工智能的发展和算法的广泛应用，法律上已经采用了各种方法来确定一个平台企业是否从事算法欺诈行为。事实发现者检查具体的商业沟通或行为，并应用事实发现者自己的判断、常识和直觉来确定沟通或行为留下的“净印象”是否具有欺骗性。

所谓欺骗性材料之外的外部证据也被认为是欺骗性的间接证据。欺骗性材料包括显示欺骗意图的商业文件或内部市场调查，来自被欺骗消费者的证词，以及客户投诉记录。近几十年来，法律体系已转向社会科学形式的外部证据，这些外部证据是为诉讼目的而创造的。这些包括对商业资料的专家面部分析，复制测试以从消费者主体中引出这些资料所传达的信息，在调查实验中，研究对象在接触了相关的商业材料后对交易的信念与接触了对照品后的信念进行了比较。

2.算法欺骗的证明困境

（1）理性人假设标准失效

如上所述，证明平台企业借用算法欺骗消费者的试金石是理性人假设标准。法院和行政机构认为，针对儿童或癌症患者等特别易受影响的消者商业行为，适用的标准是这些群体的合理成员。企业的陈述、不作为或行为欺骗或可能欺骗相关消费者群体的“相当少数”“相当部分”或“非相当数量”的证据符合合理的消费者标准。虽然法官们不愿公布具体数字，但当引入定量证据时，判定赔偿责任的门槛徘徊在法院所说的消费者“混淆率”15%左右。数字商业材料是为微时刻设计的。当这样做有利可图时，平台营销会在最脆弱的消费者最脆弱的时刻将特定的材料，而不是在他们最合理的时候将普通消费者。

最终，平台营销的目标是在时间和空间的单个时刻为单个消费者设计数字材料。在一对一营销的世界里，谁是目标群体的合理成员？从定义上讲，通信的对象只是消费者。现代营销消除了实际消费者和理性消费者之间的区别，使后者的标准变得无关紧要。

（2）欺诈意图缺失

在没有人有意欺骗的情况下，企业可以违反法律对误导或欺骗行为的禁令。尽管如此，欺骗案件往往在很大程度上依赖于被告意图欺骗的证据或对其行为的欺骗性的了解。根据一些法规，这一证据可以减轻原告获取昂贵的专家证人证据的负担。如果企业意图欺骗消费者，法院通常会认为它成功地做到了这一点。然而，随着机器更多地使用人工智能而不是人类智能来执行营销和销售任务，欺骗意图可能会消失。如上所述，企业正朝着使用人工智能来设计和定位数字材料的方向发展。在某种程度上，没有人需要直接参与。唯一可识别的业务意图可能是最大化业务指标，如点击率、销售额或留存率。没有人需要有意欺骗或知道设计是欺骗性的。

此外，一个算法可以同时使用数百个其他数据点来决定在任何特定时刻向哪个消费者显示哪个销售门户设计。此外，市场调研和用户体验可用性研究正变得越来越少。在数字环境中，如上所述，企业正转向依赖平台营销及其在该领域的真实消费者身上自主试验的能力。这种实验产生了快速的、生态上有效的结果，然后系统使用这些结果来不断改进和适应。人类不再需要审查测试结果并决定如何处理该结果。因此，在平台营销的时代，企业可以在无意中，甚至在不知情的情况下欺骗客户。没有了商业专家，原告就必须寻找其他途径来证明数字欺骗。

（3）缺乏人口效度

在实证研究中，群体效度是指研究对象的结果准确反映对整个感兴趣群体进行研究所能得到的结果的程度。如果研究对象中相关特征的频率和分布不能反映感兴趣人群的频率和分布，那么该研究可能产生的结果具有较弱的群体效度。举例来说，当目的是衡量客户是否对一笔交易的重要事实感到困惑时，对那些永远不会参与该交易的受试者进行的研究具有较弱的人口效度。总体有效性的一般概念可以说明任何证明方法的结果，法律认为这些证明方法准确地反映了如果对所有相关总体进行检验将获得的结果。

数字商业材料的定制性质为许多证明欺骗的常用方法带来了人口有效性的挑战。由于法官和消费者的背景知识、信息处理技能和感知能力往往不同，司法面部分析的结果可能缺乏人口效度。可能欺骗实际消费者的东西可能骗不了法官，可能欺骗法官的东西可能骗不了实际消费者。例如，法官通常比普通消费者更有文化和计算能力，并且可能比消费者更仔细地处理文本。数字接口的非文本元素对消费者的影响更大。司法面部分析的结果在线下语境中已经具有较弱的人口效度，而数字媒介的出现更是雪上加霜。数字格式通过超链接、折页下方定位等方式，扩大了企业可以塞进交流中的文本数量。同时，在线浏览习惯减少了消费者阅读文本的比例。有不同浏览习惯的法官不知道消费者如何与界面互动。因此，在数字界面上阅读所有文本的法官面前的信息与消费者所理解的完全不同，而且法官和消费者之间的鸿沟可能在网上比在线下更大。

在某种程度上，算法将欺骗性的营销和销售材料直接针对那些身体、性格或人口统计学特征使他们特别容易受到欺骗的人，还会产生另外两个问题。第一，法官和专家很少来自弱势群体，他们可能难以理解诸如认知缺陷或财务紧张的消费者的观点。第二，随着人工智能变得越来越不可思议，可能无法看出该算法是根据脆弱性来针对消费者的。由于认识到他们自己的反应可能与据称欺骗性材料所针对的人群的反应不同，法院经常依赖，有时还要求对实际消费者进行专家测试。然而，这些测试的总体有效性也很弱。诉讼测试和实验的对象来自广泛的人口统计：所有产品的潜在买家。这可能适合线下大众营销的测试，但不适用于在线微目标设计的测试。微目标材料的相关人群仅是那些拥有与算法选择的微目标消费者的精确数据点组合相匹配的数据配置文件的消费者。专家证人可能无法确定这一人群，因此无法将研究对象的相关数据配置文件与算法为该对象选择的广告或网页的特定版本进行匹配。即使对一种算法的检查会揭示出某种特定的数字设计是针对诸如婚姻不稳定或药物滥用问题的消费者的，获得这类消费者的样本来参与消费者测试也不太可行。

（4）缺乏生态效度

在实证研究中，生态效度是指研究对象对实验中使用的刺激的反应与他们在现实世界中遇到这些刺激时的反应相同的程度。要求受试者阅读有关产品或服务的披露信息，然后测试他们对该产品或服务的理解的研究，产生的结果具有较弱的生态效度。消费者在现实世界中遇到材料的条件与事实调查者、专家或研究对象检查这些材料的条件之间存在许多差异。就微目标数字材料而言，这些条件的两个方面特别可能影响生态效度：第一，材料周围的语境与材料在现实世界中出现的语境在相关方面的差异程度；第二，研究对象在评估他们在现实世界中遇到相同材料时所经历的相同情感或认知状态的程度。

事实调查人员、专家和研究对象在非背景的环境中检查所谓的欺骗性材料，因为作为一个实际问题，消费者遇到数字商业材料的环境是不可复制的。在喧嚣的市场中可能误导消费者完成交易的东西，可能不会对在安静的室内、办公室或测试实验室中寻找事实的人、专家或研究对象产生误导。特别是在在线环境中，屏幕上的其他内容可能会影响消费者与同一屏幕上出现的企业资料的交互和解释。同样地，消费者之前在在线游戏中与绿色按钮的互动可能会影响他们对游戏中遇到的下一个绿色按钮的理解。消费者已经完成了购买项目的选择并处于结账过程中，这可能会影响消费者是否将附带的免费送货的订阅报价简单地解释为免费送货的报价。甚至是进入网站的路径也可能影响消费者的反应。举例来说，如果消费者搜索“关节炎疼痛”，然后看到搜索结果，将他们带到了一个网页，该网页销售一种声称可以减轻关节疼痛的产品，他们可能会得出结论，该产品减轻了由关节炎引起的关节疼痛。这种上下文效果在测试设置中是不可复制的。受试者可能会被指示从一个网页走一条特定的路径到另一个网页，但这样做对受试者的影响可能与受试者作为消费者在自己的生活中选择这条路径不同。同样地，状态效应也不能用于诉讼目的。如果一种营销算法检测并利用年轻人的压力、挫败、焦虑或失败感，而事实调查者或专家没有经历这些状态，他们对欺骗的评估可能会遭受较弱的生态效度。算法可以将许多相互作用的数据点集成到一个优化函数中，以满足微目标消费者的需求。这种匹配问题损害了为诉讼目的而进行的消费者测试和实验结果的种群和生态有效性。

（5）无法分析的算法欺骗

微定位的自动化本质意味着，单个企业向消费者集体提供的独特数字材料的数量正在呈指数级增长。2017年，Facebook的“动态创意”人工智能系统可以生成6000多个版本的广告。YouTube的技术也可以在视频广告方面发挥同样的作用。在一个广告活动中，定制的传播排列可以达到数百万。如此庞大的订制版本给证明算法欺骗带来了一个迫在眉睫的不实用性问题。法院可能愿意分析或接受对数字材料的代表性样本的测试，而不是要求原告将每个样本都提交给法院。然而，即使是分析或测试一个样品也可能是昂贵的。例如，如果一个业务分发1000独特的在线广告的产品，每个交付给一个消费者，所需的样本量来生成结果，误差在5%在278年可能95%置信水平的广告。为了一项诉讼，对278个广告每一个进行调查实验是不可行的。

数字材料设计的激增所带来的不实用性问题，在过去十年的欺骗性贸易行为诉讼中已经变得很明显。在2013年的一项决定中，联邦贸易委员会分析了一家公司针对一种产品发布的36个不同广告，并确定消费者是否有可能从每一个广告中收到虚假信息。委员会宣布，有关消费者对该公司广告牌的解读的证据不能证明该公司的印刷广告是否传达了欺骗性的声明。尽管印刷版本包含了与广告牌相同的标题和图像，但印刷版本包含了可能改变消费者收到的信息的额外文本。两年后，在一起指控一家企业的在线营销服务具有欺骗性的案件中，该企业为自己辩护的理由是，它“从事了多元测试，在这种情况下，在线网站被反复更改，以确定哪些更改增加了购买，”导致“数百或可能数千个不同的网页。”被告辩称，原告专家对被告网站的125个的简要分析不能证明被告的其他网站的任何信息。法院从来没有直接处理从125个网站推断的问题，但是驳回了原告的论点，即法院可以依靠专家的总结来判断这125个网站。法庭随后煞费苦心地查看了数十个被告的网站。

如今的企业利用大数据、算法和数字环境来进行实时的现场实验，以收集有关实际消费者反映的证据。他们不再完全依赖于诉讼中使用的任何方法——不再依赖于专家判断，不再依赖于复制和可用性测试，不再依赖于调查和可用性实验。此外，企业明白消费者反应是难以预测的，并且受到微目标营销算法选择的数据点组合所反映的消费者特征和状态的严重影响。因此，现行法律体系中用来证明欺骗行为的机制也必须改变，以解释这些事实。

四、算法欺骗的法律规制路径

创设算法代理与信义义务理论

1.算法契约中的算法代理角色

使用算法来订立合约的公司，其意图比通常需要订立合约的公司更为普遍。当算法足够复杂到具有突发行为时，公司没有明确的、客观的意愿同意算法选择的合同，并被授权代表公司选择和建立合同关系。自动计算机能够改变其存储程序，并根据其在交易过程中获得的信息开发新的指令。由于程序会随着时间的推移而变化，没有任何人类的干预，因此很难将其描述为人类意图的体现或表达。因此，现在的理论将否定由自动计算机生成的协议的有效性。

我认为，思考算法契约的问责模型的最好方法是将算法定义为建设性代理。算法扮演的是人类代理的角色，因此代理法是一种恰当的法律渊源，但必须受到“建设性”资格的制约，因为算法不是人，因此不能被视为人类代理。代理允许法律将知识和意图归到没有直接参与任务（包括订立合同）的委托人身上。委托人可以通过暗示的方式或批准的方式正式授权其代理人，即在代理人行动后接受其行为的利益。法律应该对待使用算法订立合同的公司或个人的意图和知识水平，就像法律对待代理法中委托人的意图和知识水平一样。我先不讨论算法是否可以是传统意义上的人或代理。在这一分析中，没有任何东西表明算法可以或应该被视为人。算法可以是没有法律人格的代理人，也可以是准代理人，目的是理解其原则的法律义务。这里的利害关系是使用算法的原则所面临的问责情况。这种方法在现行合同法中有坚实的基础，但它通过正式地使这些代理原则具有可执行性，略微推动了法律的进一步发展。美国的统一电子交易法（Uniform Electronic Transactions Act）将算法理解为代理。统一电子交易法允许此类合同通过电子记录和签名形成，从而使电子记录和签名具有与传统纸质记录和手工签名相同的法律效力，从而促进算法合同的创建。该法的立法目的是“建立纸质和手工签名的电子记录和签名的法律对等”。它试图避免选择媒介来决定任何争端或分歧的结果。仅仅因为算法合约是以电子形式形成的，就认为它们具有可执行性，这与法律的目的是背道而驰的。算法合约的可执行性必须取决于一般的私法规则。

建立代理关系有两种方式：通过协议或通过批准。协议代理关系必须有明示或默示同意代理关系的表示。代理关系由追认产生，必须接受自称代表被代理人的利益或者肯定其行为。重要的是，必须有一些客观证据表明委托人知道该行为并选择受其约束。批准可能是授权算法作为代理的主要方法。这是因为许多公司不可能或不希望使用算法作为代理来预测和授权算法可能做出的每一个具有必要的特殊性的决定。代理模型为等式添加了重要的解释部分，即让使用算法的公司提供一些客观证据，表明它知道算法的行为，并打算受到算法的约束。一家公司至少有三种可能的方式来显示被约束的意图。首先，委托人可以创建一个跟踪算法，实时更新该压缩算法的相关动作，以及该算法为什么会以这种方式行动的理论。其次，委托人可以保证算法潜在的不确定性。最后，也是最简单的，算法合同主体可以为每个事务引入人工审批节点。当加害人既不获益也不损失时法律最低限度地阻止了一种有害行为。为了拥有任何实体都想要的可强制执行的合同，算法合同的代理模型要求实体形成必要的意图水平，对其侵权行为和其他诉讼原因负有责任。

2.算法信义义务与算法问责的可能

代理对算法合约的做法将允许代理在当前的标准下，成功地对欺诈、市场操纵和其他不当行为的公司采取行动。这促进了算法问责，允许公司有被问责的必要意图。目前，由于法律的不确定地位，公司能够在他们的算法合同方面有两种方式。他们使用算法契约，这意味着同意给定交易的特定意图。但当涉及为算法所造成的交易的不良结果承担责任时，评级机构难以证明其意图足够具体。美国商品期货交易公司对期货合约市场的监管就是一个很好的例子。

Gregory Scopino描述了他曾经工作过的机构面临的监管困境。在商品交易法（CEA）和商品期货交易委员会（CFTC）的监管下，有几项明显的非法交易行为，尽管如此，它们仍例行地通过交易算法进行。CFTC无法对使用算法进行交易的公司提起成功的诉讼，因为法律要求要么有明确的意图，要么完全不计后果。人们认为，这些算法对使用它们的公司的意图产生了太大的削弱，从而达到了这种意图的水平。根据对算法合约的代理解释，CFTC或其他参与者可以提出这样的论点，即使用算法参与这类欺诈的公司实际上有必要的意图因违反CEA和CFTC的规定而被起诉。通过这种方式，我们可以从算法契约中算法的代理角色推断出算法或平台应承担的信义义务。

算法越来越多地涉及企业对企业合同的形成，所以在分析算法如何形成合同时，考虑法律如何发挥作用是很重要的。本书为它们是如何形成和被认为是可执行的提供了一个理由，以促进算法问责。在订立合同的目的中，算法应被视为建设性代理人，以便能够对合同中产生的欺诈或市场操纵等不当行为追究法律责任，并促进算法问责制。

构建用户隐私保护与平等保障机制

每个人的数据隐私需求都是不一样的。统计资料显示，低收入者成为发薪日贷款和营利性教育诈骗等掠夺性产品的营销活动的目标。因此，数据隐私不仅是自治和尊严等价值观的组成部分，也是经济公正的一个重要问题。这是指确保每个人都能获得创造机会的物质资源，以过上不受紧迫经济问题影响的生活。

欧盟通用数据保护条例（General Data Protection Regulation，以下简称GDPR）于2018年5月18日在欧盟生效，它为欧盟成员国提供了统一的隐私保护法律框架。GDPR实施后限制了大数据对低收入群体和边缘社区居民的危害，并通过提高算法透明度和问责制的方法，对个人的隐私权和平等权进行了更有针对性、更实质性的保护。因此，GDPR中的一些保护方式，可以为我们加强弱势群体的数据隐私保护、促进社会公平公正提供思路和参考。

1.增强算法解释

算法决策的“黑箱”阻碍了算法的透明度、易读性和问责性。GDPR包含了几项旨在打开算法黑箱的条款，其中包括人们通常所说的“解释权”。根据GDPR，处理欧盟公民个人数据的实体必须通过向公民提供“有关相关逻辑的有意义信息”，在自动决策过程中“确保公平和透明的处理”。GDPR的解释权的范围在学术界和技术界引起了激烈的争论。一个核心问题是，解释应该是关于自动决策系统如何应用于特定的人，还是应该描述系统作为一个整体是如何运行的。Solon Barocas和Andrew Selbst将其定义为“基于结果的”解释和“基于逻辑的”解释之间的选择，基于结果的解释关注与特定的机器生成的决策相关的事实。这些解释可以潜在地为人们提供必要的信息，以纠正错误或遗漏，或对他们的数据进行修正，以获得商品或服务。然而，个性化的解释通常不足以解释对特定群体的不同影响，也不足以解决可以纳入算法的结构性问题。

因此，Andrew Selbst和Julia Powles认为，任何解释都必须服务于工具价值，即至少有足够的意义，以促进数据主体行使GDPR和人权法所保障的权利。类似地，玛戈特·卡明斯基要求一种解释，即“提供足够的信息，让个人能够据此采取行动。”换句话说，“其他基本法律权利的实质往往决定了”权利的性质的解释。有机构已经发布了反映这些见解的指南，规定“复杂的数学解释”是不必要的，而是定义“有关所涉及的逻辑的有意义的信息”，包括：1.在处理中使用的数据类别；2.数据的相关性；3.如何构建配置文件；4.概要与决策过程的相关性；5.如何利用档案来做出个性化的决定。

在某些情况下，以结果为基础的解释可能足以确保一个制度的运作是公平和符合法律的。例如，法律服务律师可以利用解释权来帮助客户，而不必承担繁重的诉讼。在当前的算法黑箱环境中，很难知道为什么一个客户被拒绝工作、住房、公共福利或类似的东西，甚至很难知道是否涉及算法。此外，许多涉及低收入者的诉讼没有证据发现或证据发现工具非常有限。而且，即使在可获得证据的情况下，证据开示也无法替代获得解释的权利，因为证据开示只有在案件立案后才会发生——而如果没有善意的基础，相信发生了不当行为，案件就不能立案。因此，对基于结果的解释的权利将打开算法黑箱接受审查，允许消费者纠正其个人数据中的错误或遗漏、请求复议、解释为何该算法在个人情况下是不准确或不恰当的或者采取措施提高自己达到算法期望结果的机会。

在技术方面，计算机科学家正在设计解释系统，将代码“翻译”为外行人可认知的可视化和交互，这一领域的研究也在不断发展。这些工具可以帮助低收入人群及其支持者确定可起诉的主张，特别是因为代表低收入人群的律师通常缺乏资源，无法聘请昂贵的专家来帮助他们理解科学技术材料并对其进行诉讼。在其他情况下，可能有必要挑战一个基础模型，比如当算法不准确地解释法律或歧视受保护的群体时。以Facebook的广告系统为例，该系统采用算法，允许广告商将女性、年长员工、少数族裔和其他特定群体排除在自己的信息流中。在这种情况下，以结果为基础的个别解释将不足以掩饰整个制度。此外，在某些情况下，人们可能会质疑自动决策是否适合手边的设置。理解一个模型是如何运作的，可能有助于回答自动决策是否是商业或政府权力的有效行使。

因此，法律不仅应要求对不满或好奇的个人作出解释，还应要求监管专家和具有审计系统准确性的技术专长的独立第三方作出解释，以及“对平等、非歧视、尊严、隐私和人权等价值观的不合规”。审计是算法系统中“检测歧视最普遍的社会科学方法”。法律还可以要求算法系统建立技术责任，这意味着软件“提供相关证据来支持评估和确保任何此类程序的主体能够确定规则和程序已得到遵守。”值得注意的是，GDPR对解释的权利既包含“个人透明度权利”，也包含“算法问责的系统方法”。GDPR的系统性方法部分是通过政府当局和独立第三方的外部算法审计，以及通过内部数据保护影响评估完成的。

在GDPR中，解释权旨在提高算法决策的公平性、透明度和问责性。算法解释可以帮助发现针对穷人的数字歧视和剥削，提高自动决策系统的准确性，这些系统对穷人进行分类并充当生活必需品的看门人，并将监视系统暴露在公众的监督之下。在所有这些方面，获得解释的权利可以增强经济公正。

2.限制算法自动化决策

GDPR第22条规定，当算法决策对个人产生“法律效果”或“类似重大影响”时，个人“有权不受仅基于自动处理的决策的影响，包括分析”。简而言之，它确保了在影响人类生活的重要决策中，人类可以求助于人类决策者。自动化处理对低收入人群有严重的后果，他们更有可能服从算法决策，对他们来说风险很高。首先，GDPR认识到在使用自动决策时，保持人在循环中的重要性。在许多情况下，算法的输出本身并不是决定性的，而是用来告知人类的判断。考虑COMPAS刑事量刑算法，法官在评估被告再次犯罪的可能性时考虑该算法的建议。在这里，算法应该告知法官的决策，而不是取代它。这并不会违反GDPR关于自动决策的禁令。可以肯定的是，有人担心法官们过于顺从算法，因为他们认为算法是客观的、不会出错的；这就是自动化偏向的困境。尽管如此，司法系统保持了一个“人在循环中”，并提供了倡导机制和对抗过程，对算法知情的结果提出质疑。因此，这一司法程序将满足GDPR关于单独自动处理的禁令，尽管风险预测算法可能会与宪法正当程序和平等保护规范相冲突，并因此提起诉讼。强有力的隐私法所提供的透明度可以成为通过其他法律原则寻求问责的基础。

萨菲娅·诺布尔描述了在互联网上搜索与少数族裔和女性有关的词汇时产生的令人不安的性别歧视和种族主义内容。比如，2011年，诺布尔在谷歌网站上搜索“黑人女孩”时，搜索结果最多的是色情内容链接。这些结果混合了种族和性别分析，“甚至是经济红线”，因为歧视性的数字资料控制了获取关键资源和机会的途径。诺布尔解释说，机器学习不是中立的；相反，它包括“有利于企业精英和有权有势者的决策协议”。

不受限制的自动分析风险进一步巩固了这些趋势，因为它可以使不准确和有偏见的推断永续存在，人们没有知识或求助渠道，这反过来又限制了机会，使人们陷入不利的循环。此外，雇主和企业可以挖掘数据，采取限制人们自主权和经济发展机会的做法。在所有这些方面，自动剖析可能会导致数字歧视和经济剥削，同时掩盖不准确和不完整的数据。此外，在没有人参与的情况下，监控决定可能会在没有正当程序的情况下惩罚某些类别的人。自动化分析的限制可能会缓和这些结果。它将推动实体依靠算法为受影响的个人提供基本的正当程序保护，从而实现透明度和问责制的价值，同时提高决策的准确性。

3.赋予个人被遗忘权

GDPR包含被遗忘的权利，保证数据主体有权要求数据控制器删除其个人数据。这项权利源于2014年欧洲法院裁决的谷歌诉西班牙案，该案件认定，欧洲人有权要求搜索引擎移除指向他们个人数据的链接。在这种情况下，一个西班牙人反对互联网上搜索他的名字，因为搜索结果会显示他过去的债务证据。法院认为，个人隐私权凌驾于谷歌的经济利益，以及公众对获取信息的兴趣之上，尽管这些相互竞争的因素需要逐一进行权衡。本权利不完全删除有关数据主体的在线内容；相反，它使这些内容更难通过搜索引擎找到。

算法会让贫困歧视更恶化。雇主可以利用筛选服务把低收入者从求职者中淘汰出来。信用评分算法可能导致银行拒绝向低收入人群提供贷款，从而加剧了区域差异。公立学校的排名算法可能更青睐技术先进、富有的家长。算法可以被用来以稀释穷人和有色人种选票的方式重新划分选区。Thomas Koenig和Michael Rustad指出了各种“耻辱的数字标志”，例如肥胖和吸烟与贫困有着密切的联系，但这些在过去可能一直被这些看门人和普通公众所忽视。如今，这些都是雇主通过求职者筛选服务、健康计划和其他监控技术来追踪的特征。因此，雇主可能不愿雇用或解雇某些低收入工人，以节省医疗保险费用。此外，人们面临的推断不仅来自他们自己的社交媒体帖子，还来自他们从社交媒体上的朋友那里收集到的数据，这些数据会推送到他们的数字资料中。他们的朋友的习惯和偏好被用来预测他们的行为。由于所有这些原因，被遗忘的权利可以帮助低收入者摆脱因其经济地位而产生的负面推论。

赋予个人被遗忘权可以确保由数字分析驱动的社会分类不会成为经济发展的永久障碍，数据错误和遗漏不会及时修正，从而损害个人利益。

建立算法监管问责机制

1.建立算法决策的公众参与机制

GDPR要求公众参与某些涉及数据隐私的算法项目，并将公众参与评价附属于数据保护影响评估（Data Protection Impactassessment，简称DPIAs）之中，DPIAs是数据控制器在处理个人数据时必须准备的报告。多种民主理论支持公众参与决策。首先，当决策包括最受影响的人的观点时，可以说决策是改进的，这些人可以提供所需的信息和新颖的解决问题的想法。在技术和科学领域，公众参与可以为决策过程注入一种以价值观为导向的视角，否则可能会被技术官僚方法所掩盖。公众参与也被视为在监管制度中建立合法性的一种方式，因为人们从他们理解和塑造的过程中获得信任。另一种参与式民主理论关注的是受影响社区通过参与公民生活获得政治和社会技能，以及增强尊严和自尊所带来的好处。归根结底，公众参与是“由强加于共和政体的政治平等和人民主权的民主价值观所支撑的”。

隐私与环境和反贫困领域有相似之处。与环境一样，数据隐私涉及企业目标和公众利益之间的紧张关系，由政府行为者进行监督，而政府行为者又受制于监管捕获。像自然资源一样，隐私是人类繁荣的一个不可或缺的资源，但一旦被剥夺就很难重新获得。此外，气候变化和监督资本主义迫在眉睫的危险同样深远。与社会福利项目一样，边缘化社区受到独特的影响。然而，在资料私隐方面，公众参与并不是现行或拟议的规管计划的正式组成部分。部分原因可能是公众对技术侵犯隐私的范围和规模一无所知。一个国际隐私保护组织报告说，大多数消费者仍然认为网络隐私主要是他们所分享的数据，而不是从他们的行为观察到的数据，推断或预测。根据经验，对于剖析是如何工作的以及它所能揭示的信息类型的一般理解是非常低的。

当隐私曝光后，公众主要通过媒体引发的愤怒、数据安全漏洞诉讼，以及小规模的公众抗议来参与其中，对低收入社区来说尤其如此。这些不是事先参与的正式机制，而是对危急时刻的事后响应——这可能通过数据隐私制度中的参与性机制加以避免。GDPR对公众参与的要求是适度的，其“在适当的时候”的警告是不明确的。尽管如此，它为思考更广泛的公众参与规范如何能加强美国数据隐私打开了大门。首先，应该在有关数据隐私的立法听证会以及幕后会议和谈判中涉及多个利益相关者的观点。到目前为止，大部分的证词和游说活动都是由行业代表提供的，只有一小部分以消费者为导向的非营利组织参与其中。当选代表应该在立法过程中邀请——消费者、民权和人权组织也应该要求——各种各样的观点。制定相关法律只是一个开始，但公众参与也应纳入目前的数据隐私和数据安全机制。在机构制定法规的过程中，公众评论过程应该积极寻求一系列利益相关者的意见，而不是被动地等待意见被提交。美国加州消费者隐私法特别要求加州总检察长征求广泛的公众参与，以通过法规“进一步实现本标题的目的”，并查看是否需要任何实质性的例外和修改，以适应不断变化的技术和其他法律。

此外，政府和其他监督隐私法执行的行政机关应定期开展调查，就数据隐私的影响征求公众意见。此前的公开调查显示，低收入人群更担心自己的数据隐私，对自己管理数据的能力感到不太安全。行政机关应定期就新出现的数据隐私问题举行公开听证会，并包括一系列利益相关者。政府机构应建立包容性的消费者和雇员咨询委员会，有权收集和分享有关数据隐私做法和影响的信息。数据私隐机构还应开展公共教育，告知人们其数据的使用和滥用，以及他们的数据私隐权利和执行方案。

算法可用于信息收集和教育目的。我们的目标应该是与公众进行持续对话，以确保大数据的承诺得以实现，同时限制其更有害的影响。通过对话，社会可以确定某些数字技术和数据实践应该受到限制或彻底消除。例如，一些隐私专家主张禁止面部识别技术和定向广告，来自多个利益相关者的持续辩论可能会进一步形成实质性干预，对推进经济公正的技术应用进行干预。在任何公众参与过程中，了解对低收入人群来说被放大的陷阱是至关重要的。他们的可能因种族、文化、收入和语言等因素而被忽视：缺乏传统的专业标志，如教育或专业资格证书以及缺乏其他能提供影响力和谈判优势的资源。表面上的参与可能会产生不信任，同时会从其他社会正义改革努力中转移资源，甚至很难对“带有社区支持假设”的结果提出质疑。没有真正的权力，拥有话语权是毫无意义的。因此，公众参与必须对多元文化价值敏感，并寻求最佳做法，以确保它不会进一步使低收入和少数群体社区边缘化。在环境领域，反对环境种族主义的环境正义运动导致了多种具体的参与性最佳做法，包括边缘化人口并赋予他们权力。这些经验表明，边缘群体的有意义的参与需要承诺提供资源和积极的外联。人们的生活正在被数字分析和监控系统塑造，在一个民主国家，他们应该对这些系统如何运行有发言权。

2.建立算法问责机制

作为其“设计数据保护”方法的一部分，GDPR在实施过程中涉及多个利益相关者，其目的是从设计阶段及以后将数据保护融入处理技术。GDPR将隐私视为一项人权，因此授予个人某些（非绝对）权利，如本文前面讨论的解释权和被遗忘权。个人可以直接向管制员要求他们的权利，如果不遵守规定，他们可以向国家数据保护局（DPA）提出申诉，或诉诸法庭寻求赔偿。个人并没有承担大部分隐私执法的责任。相反，GDPR包括一系列促进合规的参与者。它是一个“协作治理”机制，利用个人、企业和政府的监督。因此，利益集团、数字权利基金会等第三方可以代表个人提起诉讼，在某些国家还可以代表公共利益提起诉讼。

对于他们来说，算法必须遵守各种主动问责机制。GDPR认识到“监管机构不能通过自上而下的控制来完成所有事情，但监管机构必须自己参与更少侵犯隐私的系统的设计。”其中，算法需要采用并实施数据保护政策和安全措施，并任命一名独立的数据保护官监督合规情况。他们必须及时、简明和清楚地与资料当事人沟通有关处理其个人资料的事宜。他们必须向他们国家的数据保护机构以及受影响的个人报告数据泄露。他们要为数据中心和云提供商等处理器违反GDPR的行为负责。当他们处理个人资料可能会对个人利益造成很大风险时，他们必须草拟和执行《个人资料保护条例》，并在出现这些情况时，向其国家的《个人资料保护条例》咨询。GDPR规定，控制人员可以通过自愿认证项目证明其符合性；预计欧盟成员国将发布合规标准。算法问责制的理念是为了确保政府机构和企业对其自动决策系统进行自我评估，并获得外部专家对其算法的审查，同时为个人提供有意义的正当程序权利，以挑战不公平、有偏见或有害的系统。