从工作，到出行，到恋爱，到人际交往，乃至生活的旮旮旯旯，智能机器已经在越来越多场景下影响着我们的生活质量、社会福祉及至行动自由。在数字经济蓬勃发展的当下，算法正义的理念无疑比任何时候都要重要。

2020年，西方社会频繁揭露出因算法导致的社会不公，甚至是离奇可笑的丑闻。无论是力求提高侦察效率的英国警方，寻找评分替代方案的Ofqual，还是利用算法分配疫苗的美国医院，算法对于他们而言似乎代表着更为高效、高级、高端的解决方案。然而，愈是设计复杂的算法，越可能出现意想不到的负面效果。算法歧视以及对私生活侵犯的问题已然愈发严重，但尚有更强大的商业资本和政治倾向推进算法进一步嵌入我们的个人和社会生活中。

2020年，算法相关法律规则正在缓慢发展，目前的讨论仍然局限于如何增强对算法的理解层面。诚然，我们对于算法的理解实在太有限，而计算科学却不断希望突破人类的智能界限，创造出连图灵也无法想象的机器。我们能否在人机共存的时代到来之前落实制度和基本权利的保障？欧盟的AI治理白皮书以及英国的算法歧视报告或许能够给你带来些许希望。

1. 真正的人脸识别第一案：英国的Bridges和美国的BIPA
2. 自动生成高考成绩？疫情时期英国的估分算法
3. 斯坦福算法与疫苗分配
4. 招聘算法与情绪AI
5. 算法治理：欧盟委员会的人工智能白皮书
6. 算法歧视治理：英国视角

1.         真正的人脸识别第一案：英国的Bridges和美国的BIPA

在数年的市场扩张和社会渗透之后，人脸识别技术终于在2020年得到了有力的司法审查。2019年9月，英国高等法院认定南威尔士警局使用人脸识别技术搜捕在逃嫌疑犯的做法不违反的人权及英国法律，随即引起轩然大波。（李汶龙, 2019）这一判决在今年八月被英国上诉法院（该法院专门处理二审案件）推翻。

南威尔士警局是英国仅有的两个授权测试使用人脸识别系统的英国警方（另一个是伦敦警察局）之一。原告Edwards Bridges原本不是警方搜寻的嫌疑人，但因走过警方的人脸识别系统被抓取到脸部生物识别数据，Bridges认为自己的隐私权受到了侵犯。

英国没有专门治理人脸识别等新技术的法案，但可适用于该技术的在公共部门使用的法律不止一种。Bridges案件中关于人脸识别合法性的讨论跨越了人权法（尊重私生活权）、普通法（授予警方权力索取个人信息以供犯罪侦查所用）、数据保护法（敏感数据处理以及数据保护影响评估）以及平等法（关于公共部门需采取措施消弭歧视或促进公平的义务）。上诉法院的判决部分推翻了原审，认为在消除歧视和数据保护方面的措施没有达到法律的要求，也因不合比例而被认定为违反Bridges的基本权利。

除了英国的Bridges案件之外，美国伊利诺伊州的人脸识别诉讼也初见端倪。该州生物识别信息隐私法 (Biometric Information Privacy Act, BIPA）早在2008年就已经出台，是美国第一个立法控制生物识别信息使用的州，随后其他州也纷纷效仿（例如华盛顿和德克萨斯）。BIPA支持个人提起集体诉讼，胜诉可以获得一千至五千美金的赔偿。随着人脸识别的不断扩张，集体诉讼的数量也与日俱增。与Bridges案不同，美国的几起集体诉讼不涉及公共部门，被告均为美国科技大企业。今年7月，包括微软、亚马逊和谷歌等大企业再次被告上法庭。发起诉讼的Steven Vance以及Tim Janecyk主张，在未经同意的情况下，他们的人脸数据出现在IBM数据库中并被用于训练人脸识别系统。 (Hatmaker, 2020) 有趣的是，在美国，很多富有争议的案件往往以和解的形式收尾。例如今年一月，针对Facebook的集体诉讼案就以5.5亿美元和解费的赔偿方案宣告收场。(Coldewey, 2020)

2. 自动生成高考成绩？疫情时期英国的估分算法

由于抗疫不力，新冠疫情对于英国社会的影响远比国内大得多，而且更为持久。当国内已经近乎恢复正常生活时，英国还在酝酿方案应对疫情。与国内的大规模动员和协同不同，英国政府认为中国模式无法效仿，进而花了很长时间探索和测试科技在抗疫中扮演的角色。除了数字病理追踪之外（详见科技伦理篇），英国资格与考试监督办公室 (Ofqual) 突发奇想，在取消学生的A-levels考试（相当于中国的高考）之后，决定使用算法自动为学生生成A-levels成绩，以此作为大学入学标准。算法估分方案出台之后引发了英国学生的强烈抗议。

Ofqual本来可以选择由各校老师对自己的学生进行评估并且依据平时表现得出分数，但这样一种做法被Ofqual认为有欠公正，因为很可能会造成“高分通胀” (grade inflation)——也即本校老师刻意给本校学生打高分以增加升学竞争力。（Ofqual, 2020）抵制高分通胀无疑是公平性的一种体现，但这一“算法”最大的问题在于基于各个学校历史平均表现给各校学生打分。这种做法无疑忽略了“差学校”也有“好”学生的存在，以及成绩一般的学生也可能在不断进步的可能性。最终，Ofqual不得不叫停了这一方案，回到由各校教师评估作为估分依据的方案。英国部分地方（例如威尔士）还出台政策表示，如果算法估分高于人工估分，则以高分为准。

Ofqual的估分算法还引发了数据保护学界关于GDPR第22条拒绝自动化决策权利是否的讨论。(Jones & Safak, 2020) 第22条赋予个人的社会生活面向不受机器控制，但适用前提是案件涉及的决策必需完全由自动化决策系统完成的。在其Personal Information Charter中，Ofqual主张第22条不适用，因为算法得出的分数后来还需人工审核。这一观点虽然得到英国信息专员的认可 (ICO, 2020)，但受到学界的强烈抵制。如果第22条被解读为但凡存在人工审核就不适用的话，GDPR设定的法律保障就完全被束之高阁，因为近乎所有的自动化决策系统多少都会有人工的参与和把控。与此对立，欧盟第29条工作组对于第22条的解读是只要在决策过程当中没有人工参与（第22条就可以适用）。(WP251, 2018)

3. 斯坦福算法与疫苗分配

疫情打破正常的生活结构之后，算法得到重用并不断渗透进入社会当中的示例比比皆是。除了英国的评分自动化丑闻之外，2020年底，在美国斯坦福还出现了一起因疫苗分配不公而引发的争议。疫苗在美国得到批准之后，斯坦福医疗中心 (Stanford Medical Centre) 在首批疫苗分配的问题上决定使用算法进行分配。但是整个医疗中心上到主管、下至员工都不知道谁参与了算法的设计。(Guo and Hao, 2020) 最终算法得出的分配结果令人瞠目：首批5000支疫苗中，只有7支分配给了中心在一线医护工作者（总计1300余人）。(Chen, 2020)

斯坦福医院不久后道歉，宣称不公平的结果是由于一个“非常复杂的”算法造成。但是，随后的媒体报道披露用于疫苗分配的程序都是基于人工设定的规则 (rule-based)，并不涉及机器自主学习。在一些统计学家看来，这里使用的“算法”只不过是基础性代数。

为何在如此重大的资源分配问题一定要使用算法，这是很多人开始质疑的问题。与斯坦福相比，美国很多其他地方的疫苗分配规则都简单明了，完全基于群众的工作属性以及可能被传染的风险。虽然斯坦福算法在设计上考量了诸多因素以确保公平，但设计阶段的周到考虑不意味着结果正义。恰恰相反，算法设计过于复杂往往会导致设计者无法及时发现其中的漏洞乃至歧视属性。设计者需要思考并消除算法可能带来的负面影响，而掌握分配权力的机关同时也应进行根本性的反思：所谓“智能”科技是否真的智能？将很多工作面向自动化到底是否会最终提升效率？为什么一定要使用算法？

医院出面道歉之后，斯坦福的疫苗分配方案仍未完全公布。不过，斯坦福算法的风波很可能跟英国Ofqual的估分算法一样，最终选择看起来“低效”但能够保障质量和公正的人工方案。

4. 招聘算法与情绪AI

算法向社会多维渗透的另一个隐忧是在招聘环节中的使用。对于求职者而言，海投已然成为了范式。而在招聘彼端，如何层层筛选大批应聘者也是现实需求。所谓的“招聘算法”(hiring algorithms)应运而生，旨在帮助企业在众多求职者中迅速寻找到合适的人选，提升招聘效率和准确性的同时降低人力资源的投入。虽然从概念上看人力资源自动化的方向是高效的，但市场中目前出现的算法以及吹嘘的算法智能性普遍缺乏科学依据。

针对海投，有科技公司设计出帮助人力部门自动读取、筛选建立的机器学习算法。相应地，也有一些求职者开始使用人工智能设计、完全简历以提高录取率。看上去AI的应用和发展实现了双赢，同时帮助了招聘应聘两端。但是，随着简历制作和筛选环节不断依赖AI系统，算法会更加倾向于由AI而非人工制作的简历。随着算法不断优化，筛选环节完全交由AI系统自动处理，人类将难以设计出比AI系统生成的更好的简历。最终，没有经济实力使用科技生成简历的求职者可能因此会丢失工作机会。

除了简历评估之外，机器学习算法还使用在面试环节。如今有越来越多的面试加入人机互动环节，尤其在多轮面试的前期阶段。例如，科技公司HireVue宣传他们的科技产品可以通过对面试视频的分析为每一个应聘者形成一个所谓“求职分数”(employability score) 。(Chen and Hao, 2020) 这样大胆的主张吸引了很多人力部门的注意力。但是，没有任何科技证据能保证这些所谓的求职算法能够准确抓取或解读应聘者的表情。生成的所谓情绪数据或者表情数据也多为噱头，因为表情是极为复杂的生物特征，并且不同文化中的表情所传达的含义可谓大相径庭。去年由美国东北大学Lisa Feldman Barrett带领的研究团队得出结论，我们无法仅凭观察某人的面部表情来推断其情绪。(Barrett et al., 2019) 强行将面试环节自动化，招聘企业或许可以得到些许的效率提升，而且最终寻找到不错的求职对象。但对于应聘者以及初出校园的学生而言，原本就已经过度竞争的劳动市场将变得更加严峻而冷漠。

5. 算法治理：欧盟委员会的人工智能白皮书

算法分生和扩张的同时，相关的法律治理也在进一步推进当中。

欧盟委员会继2019年推出《可信赖人工智能道德准则》 (Ethics Guidelines for Trustworthy AI) 之后，今年二月又发布了《人工智能白皮书》(European Commission, 2020) 。与同一时间发布的《欧洲数据战略》不同，白皮书指出了既有法律的不足而没有明确未来人工智能治理的特别立法。但是，白皮书中描绘了AI治理的可能进路、方法和框架，为下一步立法奠定了基础。

欧盟委员会明确了AI治理原则上需基于其产生的风险或潜在危害程度 (risk-based)，并且提出了一种二分方案。对于所谓“高风险”的AI应用，白皮书主张施以更严苛的法律要求，涉及训练数据、信息留存和公开、人工监控、救济保障等多个面向。为了确保这些措施能够付诸实施，白皮书对高风险AI提出了“事先合规评估”(prior conformity assessment) 的要求。“非高风险”AI应用无需满足上述要求；倘若科技服务提供者选择主动满足这些要求 (opt-in)，可以获得一个所谓的质量认证标识 (quality label)。

欧盟委员会提出了一个看似合理完善的治理图景，但白皮书中很多制度细节还需推敲打磨。作为欧盟人工智能高级专家组成员 (EU High Level Expert Group on AI)，英国伯明翰大学教授Karen Yeung指出了报告中诸多需要完善的部分。（Yeung, 2020）首先，欧盟委员会对于风险概念的理解似乎过于单薄，没有明确考虑系统性风险以及对于公共利益造成危害的潜在风险。倘若将注意力仅放在既有法律框架上，欧盟的AI治理就忽略了可能受到威胁的各项基本权利。Yeung主张，AI治理框架应该建筑在基本权利保障的基础之上。此外，白皮书对于安全风险 (safety risk) 的关注也有些过于狭窄，应充分涵盖所有对于人类、财产和环境可能造成的危害。再次，将AI风险等级简单二分的方式略显粗糙，Yeung主张应该对其精准细化（形成五级制度），并且明确每一级别涉及到的合规要求。另外，未来出现的AI治理框架与GDPR等既有法律的界限和分工也是一个很重要的问题，只有明确其界限才能够给产业带来足够的法律确定性。

6. 算法歧视治理：英国视角

脱欧之后的英国没有因为摆脱了欧盟治理框架而停止规则的发展。在英国，算法的治理“政处多门”，最新一任的保守党政府也很热衷于创立新的治理机关。数据伦理与创新中心 (Centre for Data Ethics & Innovation, CDEI)是英国目前推动算法治理的主要机构之一。这个具有独立性的政府咨询机构于2018年创立，名义上隶属于英国数字、文化、媒体和体育部 (Department for Digital, Culture, Media & Sport)。CDEI近年来关注的重点是数字广告和算法歧视，在2020年分别发布了关于这两个议题的最终研究报告。(CDEI, 2020) CDEI的算法歧视报告将重心放在四种算法自动化决策的场景，包括警务、地方政务、金融和雇佣。这些场景也是算法歧视最可能带来危害的场合，因为机器决策会直接影响到每个人的社会福祉和基本保障。

虽然英国很多法律——例如2010年的公平法案——理论上适用于应对算法歧视的问题，但执法层面存在诸多挑战和不确定性。算法歧视治理最大的挑战在于如何发现潜在的歧视性效果，因此报告的主要建议是增强算法的透明度和信息公开。算法的歧视性效果也并非显而易见，很多情形下需要对训练数据以及输出结果进行缜密的分析和评估才能减小歧视。这意味着英国政府需要提升其理解、管理和治理新科技的能力，并且充分招纳有关人才。除此之外，报告还建议政府就平等法案如何适用在自动化决策和算法歧视的问题上提供指引，尤其考虑到数据收集需要合规，而歧视治理的工具本身可能会产生歧视效果这些难题。

以英国著名的女性数学家Augusta Ada King伯爵夫人命名的Ada Lovelace Institute (ADI) 机构一直致力于数据和AI治理，尤其是公共部门的使用。在CDEI报告的基础之上，他们提出了一些具体性的建议。(Ada Lovelace, 2020) ADI尤其提到对算法评估不能仅关注政策、程序以及算法结果。评估的手段和方法应该多元，包括但不限于采访员工，获取内部政策文件等。算法评估是一个多学科融合合作的过程，因此评估者应站在跨学科的视角下确定评估的策略和方法。要真正了解一个科技产品在现实中对社会及其公众造成的影响，只关注该产品在设计研发阶段是远远不够的。由于算法本身在不断演进，评估和审计也应实时更新。

参考文献

Ada Lovelace, Regulatory inspection of algorithmic systems

Article 29 Working Party, ‘Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679’ (WP251, rev.01)

Caroline Chen, 'Only Seven of Stanford’s First 5,000 Vaccines Were Designated for Medical Residents' (ProPublica, 18 December 2020)

CDEI, 'Review into bias in algorithmic decision-making' (2020)

Eileen Guo and Karen Hao, 'This is the Stanford vaccine algorithm that left out frontline doctors' (MIT Technology Review, 21 December 2020)

Elliot Jones and Cansu Safak, 'Can algorithms ever make the grade?' (Ada Lovelace, 18 August 2020)

European Commission, ‘White Paper on Artificial Intelligence – a European approach to excellence and trust’(Shaping Europe’s Digital Future, 19 February 2020)

ICO Statements on Ofqual's Algorithms for Grading

Karen Yeung, 'Response to European Commission White Paper on Artificial Intelligence' (2020)

李汶龙，欧美网络法年度述评2019（十之六）：人脸识别的合法性争议 http://liwenlong.blog.caixin.com/archives/219169

Lisa Feldman Barrett et al., 'Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements' (2019) 20(1) Psychological Science in the Public Interest 1-68

Ofqual, 'The fairest possible way to recognise students’ achievements this year - by Roger Taylor, Chair' (News Sotry, 10 August 2020)

Taylor Hatmaker, 'Lawsuits allege Microsoft, Amazon and Google violated Illinois facial recognition privacy law' (The TechCrunch, 15 July 2020)