论文部分内容阅读
摘 要：对算法歧视进行一体化规制的预设失之抽象，个别化规制的探讨则受限于部门法思维，过于宏观与过于微观的视角都存在各自盲点，基于类型界分的规制范式重构尝试探索一条折中路径。承认算法歧视在根源上与传统歧视具有同质性是进行分类的前提，复现型算法歧视、加剧型算法歧视及新增型算法歧视是在比对算法决策与传统决策的基础上实现的类型化整合，以此为基础分析规制歧视的传统范式也显得有的放矢。面对不同类型算法歧视存在的技术难题与法理障碍，进一步细化具体类型中的特殊情形，提炼规制重点，将深化对算法歧视的认知，实现以制衡算法权力为核心的规制范式重构。
关键词：算法歧视;算法权力;规制范式
中图分类号：DF920.0 文献标志码：A
文章编号：1001-2397（2021）04-0115-12
DOI：10.3969/j.issn.1001-2397.2021.04.10
不同概念语境下对算法歧视的探讨明晰了其基本内涵与进行法律规制的正当性和必要性，对算法歧视规制路径的具体化研究则有待进一步深化。以追寻算法歧视的根源为起点，考察算法决策的形成过程，将发现其与传统决策存在高度趋同的特质。为此，有必要从算法和歧视的关系入手，明确算法歧视的表现形式并对其进行类型化整合，在分析规制歧视的传统范式及其缺陷的基础上，重构更具针对性的规制范式。
一、算法歧视的概念语境
算法歧视并非法律体系中的规范表达，主要出现于学术讨论和新闻报道之中，检索和分析代表性文献，对算法歧视的探讨主要集中于以下三种语境，论证重点有所差异。
（一）算法社会语境下的算法歧视
随着智能设备的全面普及，数据的收集、处理与整合成为常态，作为主体的人正在被数据化和客体化John Cheney-Lippold，We Are Data： Algorithms and the Making of Our Digital Selves， New York University Press， 2017， p.141.，评分社会Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 2 （2014）.、微粒社会[德]克里斯托夫·库克里克：《微粒社会：数字化时代的社会模式》，黄昆、夏柯译，中信出版社2017年版。、数字社会胡凌：《数字社会权力的来源：评分、算法与规范的再生产》，载《交大法学》2019年第1期，第22页。直观地呈现了这种变化。算法的重要性逐渐凸显，它不但是实现数据控制的工具，而且具备主体化的潜力，足以形成算法权力。其野心是全知全能——了解一切并预测一切，控制算法的人对作为数据主体的人群进行分析、控制、指挥、命令和塑造，进而对整个人群进行分类、选择、理解和决策。算法社会中，企业与政府是算法的主要使用者，个人作为消费者无处逃遁，隐私和言论自由等个人权利将受到前所未有的多方威胁Jack M. Balkin， Free Speech in the Algorithmic Society： Big Data， Private Governance， and New School Speech Regulation，51 UC Davis Law Review 1153 （2018）.。较之于种种颠覆性变革和社会关系重构，算法歧视只是算法社会的危害之一，论者的关注焦点深入对人的智性发展进行遏制的可能路径於兴中：《算法社会与人的秉性》，载《中国法律评论》2018年第2期，第65页。。算法歧视或是遮蔽在这种叙事之中，或是仅作为规制算法或算法权力必要性的论据出现丁晓东：《论算法的法律规制》，载《中国社会科学》2020年第12期，第138-159页。，相关细节问题没有进一步展开。
（二）技术限定下的算法歧视
与算法社会这一引人注目的宏观视角不同，强调在人工智能、大数据和自动化决策等技术语境下认知算法歧视的研究试图提出整体性应对方案。人工智能的实质是对人类思维活动进行模仿并不断实现进化，算法技术的提升使得前所未有的数据流被用来解决实际问题，通过“数据+算法”的方式自动形成决策。这一过程中可能出现的种种不公平现象，被统称为“算法歧视”。人工智能、大数据、自动化决策是从不同侧面呈现算法社会的方式，限定在这些技术语境之下讨论的歧视现象往往具有同质性，用以质疑和反思算法歧视的例证也高度趋同。施加了人工智能、大数据、自动化决策等不同技术语境进行限定的讨论中，关于算法歧视的界定并未体现出太大差异。这一方面说明前述技术在实践中高度交叉、难以进行有效区分，另一方表明施加这些技术限定对算法歧视的讨论并无助益，或许仅能起到彰显所涉论题前沿性的效果。
（三）特定领域中的算法歧视
针对已经出现的具体问题，实用主义导向的研究试图在比照传统歧视现象的基础上，探讨特定领域内的算法歧视问题。“大数据杀熟”、算法就业歧视、算法种族歧视、算法性别歧视等问题均引发关注。例如，“大数据杀熟”被特定化为经营者以大数据为“原料”借助算法技术对具有购买经历的消费者采取不利的个性化价格策略喻玲：《算法消费者价格歧视反垄断法属性的误读与辨明》，载《法学》2020年第9期，第83页。。规制“大数据杀熟”的讨论在《消费者权益保护法》或《反垄断法》的既定框架内展开陈兵：《法治经济下规制算法运行面临的挑战与响应》，载《学术论坛》2020年第1期，第11-21页。。这对解决特定领域的法律适用问题具有现实价值，体现了部门法理论对新技术问题的积极回应。但部门法经验存在局限性，能否扩展到其他算法歧視问题不无疑问。此外，还有一些针对特定领域算法歧视问题的讨论虽然将主题限定在算法引发的某一具体歧视现象，但无论是成因分析还是治理路径最终都走向了对算法歧视普遍特点的一般化讨论，使得这种限定仅具有形式意义。 综观各个概念语境下对算法歧视的讨论，基本形成如下共识：作为算法权力扩张的副产品，算法歧视随着人工智能、大数据与自动化决策的发展应用而出现，能够与传统歧视现象形成对照，对算法歧视进行法律规制具有正当性和必要性。鉴于社会科学的核心问题是因果关系分析陈瑞华：《论法学研究方法》，法律出版社2017年版，第133页。，对算法歧视规制路径的探讨必须探明算法歧视的根源。
二、算法歧视的根源探寻
算法是指将输入转换成输出的计算步骤序列，本质上是任何良定义（well-defined）的计算过程，将值或值的集合作为输入，将某个值或值的集合作为输出[美]Thomas H. Cormen等：《算法导论（原书第三版）》，殷建平等译，机械工业出版社2013年版，第3页。。算法决策既是对算法应用结果的概括，也体现了决策过程自动化的特点。在输入——分析——输出的三环节流程中，难以消除的既存偏见导致数据输入和算法设计中的偏见无法避免，算法决策的类型化思维形成的聚类和分类模式是一种有利于偏见生成的模型，而算法运行的准自主化趋势又进一步将偏见内化为算法的随机表达。
（一）既存偏见的难以消除
在探寻算法歧视根源的尝试中，将歧视追溯到算法偏见是最具代表性的做法。在美国被用于预测未来犯罪的算法工具COMPAS广遭诟病，不同机构的调查基本坐实了它基于种族、年龄、性别等上百个因素预测评估再犯可能性时极有可能对黑人造成歧视例如，ProPublica的一项调查发现，白人被告人的结果误报率是24%，而黑人被告的误报率高达45%，这些结果直接影响了有关审前保释、量刑和假释的判决。https：//www.washingtonpost.com/news/%20monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/%20noredirect=on. 2020年10月2日訪问。。梅森的论断颇具代表性：风险评估中种族不平等的根源既不在于输入数据，也不在于某个算法，更不在于算法方法本身，而是预测的性质决定了任何预测方法都会把过去的不平等投射到未来。他借用计算机科学的术语“垃圾进，垃圾出”（garbage in， garbage out），使用“偏见进、偏见出”（bias in， bias out）形象地概括了算法歧视的生成机理Sandra G. Mayson，Bias in， Bias out，128 The Yale Law Journal 2224 （2019）.。与存在于计算机系统中的偏见类似，算法偏见主要来源于既存偏见，算法设计者在编程时可能有意或无意将自身偏见、社会风气、制度体制以及文化差异嵌入算法之中刘友华：《算法偏见及其规制路径研究》，载《法学杂志》2019年第6期，第59页。。算法决策的前提是获取数据，只要人类对某些群体或事物的偏见无法消除，这些偏见极有可能出现在输入算法的数据之中或将算法设计者自身的偏见融入其中，产生歧视性结果。
（二）算法决策的归类思维
基于大数据的算法决策流程可以大致概括为：使用历史数据归纳出某个类别，针对一个新的对象，按照已知的数据特征，将其归属于“最像”它的类别，如果该类别还有其它已知特征，就预测这个对象也具有相应特征张玉宏、秦志光、肖乐：《大数据算法的歧视本质》，载《自然辩证法研究》2017年第5期，第83页。。按照认知心理学的观点，类型化实际上来源于人类为了节省认知资源、简化认知过程而对未知事物范畴化的认知态度高明华：《偏见的生成与消解：评奥尔波特〈偏见的本质〉》，载《社会》2015年第1期，第209页。。范畴化导致的结果是范畴内部的相似性和范畴之间的差异性被夸大，进而形成难以克服的偏见。与传统决策相比，算法决策虽然在数据处理能力和决策效率上大为提升，但依然难以跳脱人类认知过程的类型化思路。这种思路一方面受到算法设计者认知模式的影响，另一方面是提升决策效率的必然选择。类型化思维主导下的算法决策很难实现真正的个性化，例如依据不同特征对消费者分类之后，被聚集于同一类别的消费者接收到的广告具有高度趋同性。
（三）算法运行的准自主化趋势
算法应用普遍采纳的机器学习使得算法运行日趋复杂，甚至出现算法设计者无法预料的结果，其中就包括歧视性的决策结果。算法运行的自主化不断提升，通过基于大数据的自我训练、自我学习过程完成参数调整与模型建构，实现算法的自我生产贾开：《人工智能与算法治理研究》，载《中国行政管理》2019年第1期，第18页。。较之于机器学习，深度学习进一步提升了算法运行的自主化，它使用了人工神经网络的分层结构，模拟生物大脑的神经网络，通过收集训练数据并进行学习，再将所学知识应用于更大的数据集。深度学习具有自动提取特征的功能，不需要数据科学家在其预测不理想时进行干预，不断实现模型优化，形成成熟模型并最终找到最优解Ignacio N. Cofone，Algorithmic Discrimination is an Information Problem， 70 Hastings Law Journal 1395-1396 （2019）.。准自主化运行的算法在学习过程中建立了何种认知无从预测，被内化的偏见在算法决策中的随机表达最终导致歧视性结果的出现。
（四）对算法歧视进行分类的必要性
深入分析就会发现，算法歧视形成的根源与传统歧视具有高度同质性。首先，人类社会普遍存在的各种偏见无法消除已是事实，不同族群之间的异见与割裂非但没有弥合的迹象，反而渐有加深之势。其次，算法决策在思维模式上是对人脑的模仿，范畴化的思维路径依然是人类思维领域中的主导方式。最后，人脑进行的决策过程如何实现仍是科学研究中的基础性疑难问题，其自主化较之于算法更为突出。既然在根源上具有同质性，传统歧视的规制范式应在一定程度上具有类比与借鉴的价值。因此，有必要对算法歧视与传统歧视进行比对，检视算法决策与传统歧视之间究竟呈现出哪些关系，实现对算法歧视的类型化整合。 三、算法歧视的基本样态与类型界分
歧视的显著特征是对本质相同或类似的人或事进行不合理的区别对待周伟：《论禁止歧视》，载《现代法学》2006年第5期，第69页。。从时间维度考察，传统决策及其引发的歧视现象在前，算法决策和由此产生的歧视性结果在后。比对二者在结果上的差异，将发现算法歧视与传统决策下的歧视存在下列关系，算法歧视的基本样态也得以呈现。
图1 算法与歧视的关系
（一）算法歧视的基本样态
1.复制歧视
如果算法决策复现了原有的歧视，其实质是将原本存在的偏见显露于外。例如，在谷歌的广告服务中，定向推送的算法决策使得男性比女性看到的高薪招聘广告更多。这显然是复制了在职场中存在的性别偏见和性别歧视，甚至算法可能就是为了实现广告主希望将特定广告投放给特定主体的想法而设计的https：//www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study. 2020年10月5日訪问。。
2.减少歧视
如果算法决策使得歧视显著减少，其实质是隐藏了部分偏见。Uber的事例就是明证：美国的出租车司机群体中普遍存在对非洲裔犯罪率高、拒付车费可能性高等偏见，巡游式出租车经常拒绝黑人的乘车请求，形成事实上的歧视。Uber使用的算法程序添加了限制性要素，司机在接受行程订单后才能看到乘客的照片和目的地，防止司机基于姓名、家庭住址等能够判定种族的信息选择乘客Clinton Yates，Uber： When Cabs Whiz By， It’s a Pick Me Up， Wash. Post（Sep.28， 2012）， https：//www.washingtonpost.com/blogs/therootdc/post%20uber-when-cabs-whiz-by-its-%20a-pick-me-up/2012/09/28/06a4%201fOc-082f-11e2-858a-531%20ldf86ab%2004_blog.html？hpid=z4. 2020年10月5日访问。。
3.消除歧视
如果算法决策使得原有歧视不复存在，则是通过算法变量的设定以及机器学习的改进将原本存在的偏见隐藏或直接在算法的参考变量中剔除偏见。考吉尔（Cowgill）在研究一家软件公司工作筛选算法的表现时发现，当该公司推出算法来决定哪些求职者应该获得面试机会时，“非传统”求职者更受青睐，对显著性不足的求职者表现出的偏见明显减少Alex P. Miller，What Less-Biased Decisions？ Use Algorithms， Harvard Business Review， July 26， 2018. https：//hbr.org/2018/07/want-less-biased-decisions-use-algorithms. 2020年10月5日访问。。
4.代理歧视
如果算法决策使得原有的歧视不易觉察，虽然在表面上隐藏了偏见，实质上依然造成了歧视性对待的结果。据彭博社报道，亚马逊在六个主要城市的当日送达服务区域不同程度地排除了以非洲裔美国人为主的邮政编码，而环绕这些社区的其他街区均能享受当日送达服务David Ingold & Spencer Soper，Amazon Doesn’t Consider the Race of Its Customers. Should It？Bloomberg （Apr.21， 2016）， http：//www.bloomberg.com/ graphics/2016-amazon-same-day. 2020年10月5日访问。。这在表面上隐藏了针对种族、性别、年龄的偏见，但却通过其他能够替代相应偏见的要素形成“代理歧视”（proxy discrimination）Anya E. R. Prince & Daniel Schwarcz，Proxy Discrimination in the Age of Artificial Intelligence and Big Data， 105 Iowa Law Review 1260 （2020）.。
5.加剧歧视
如果算法决策使得原有的歧视更为严重，意味着既存偏见通过算法的运行扩散。这种扩散可能体现为社会群体中针对某人或某事的某种偏见更为严重，也可能体现为个人遭受的偏见和歧视性待遇随着算法的应用而更加严重。例如，谷歌的搜索引擎自动补足算法利用搜索记录帮助人们预测其想要搜索的内容，既存偏见反映在自动补足的搜索内容中，使偏见更为扩展Memac Ogilvy & Mather Dubai，UN Women Ad Series Reveals Widespread Sexism， UN Women （Oct.21， 2013）. https：//www.unwomen.org/en/news/stories/2013/10/women-should-ads. 2020年10月6日访问。。又如，一位患双向情感障碍的大学生想找一份装杂货的工作，但由于他申请的便利店都在使用相同的心理测试软件来筛选求职者，因此他被所有便利店拒绝Rachel Thomas， What HBR Gets Wrong About Algorithms and Bias，Harvard Business Review （Aug.7， 2018）. https：//www.fast.ai/2018/08/07/hbr-bias-algorithms/. 2020年10月6日访问。。
6.新增歧视
如果算法决策出现了新的歧视现象，意味着在决策过程中出现了新的偏见，并最终显露于外。算法应用中普遍采纳的机器学习以及深度学习使得算法运行更趋复杂，甚至出现不少意料之外的结果，其中就包括新的偏见以及歧视性结果。例如，卡利斯坎（Caliskan）等学者使用内隐关联测试（IAT）量化人类偏见时发现，在利用网络上常见的人类语言进行训练时，机器学习程序从文本语料库中自动推导的寓意中包含了偏见Aylin Caliskan， Joanna J. Bryson & Arvind Barayanan， Semantics derived automatically from language corpora contain human-like biases， 356 Science 183 （2017）.。 （三）新增型算法歧视的规制
新增型算法歧视出现在机器学习算法应用的场景下，不同的机器学习算法在可预测性方面的难度存在差异。有监督的算法意味着设计者和运营者能够控制决策系统的学习方向和预期结果，无监督的算法则无法预设和控制其输出结果崔聪聪、许智鑫：《机器学习算法的法律规制》，载《上海交通大学学报（哲学社会科学版）》2020年第2期，第42页。。这意味着对这两种技术模式之下的新增型算法歧视进行规制也有差异：对有监督的机器学习算法，应通过风险评估降低其不确定性;对无监督的机器学习算法，则应通过限制应用范围规避其不确定性。
1.规制有监督模式下的新增型算法歧视重在评估算法影响
按照计算机领域的专业界定，学习效果较好的机器学习算法一般情况下都难以脱离监督学习的作用。即便是“阿尔法零”（AlphaGo Zero）这样的机器学习代表作，其训练过程也需要受到人为设置的围棋胜负规则限制See David Sliver & Julian Schrittwieser， et al，Mastering the game of Go without human knowledge， 550 Nature 354-359 （2017）.。因此，对有监督的机器学习算法能够事前干预，但这种算法仍然具备动态更新的特点，存在较大的不确定性，如何降低新增算法歧视出现的风险与可能性是需要重点关注的问题。建立恰当的风险评估机制是一种较为理性的选择，需要监管机构和第三方协同努力，借助多学科的专家力量，不断优化监督效能，强化设计者和运营者对算法决策的控制力。在这一过程中，需明确特定人员对特定事项的算法输入数据、输出内容、系统源代码的访问权限，保证算法风险评估的有效开展。
2.规制无监督模式下的新增型算法歧视重在限制算法应用
无监督的机器学习算法具有高度的不确定性，在决策过程中产生偏见并形成歧视性对待的结果也无法预估，由此成为设计者与使用者推诿责任的借口。在技术水平尚不足以实现对这种算法进行有力干预的前提下，只能对应用范围做严格限制，可以考虑将其限定于科学研究与电子游戏等不影响人类现实活动的领域。此外，即使设定了这种限制，仍然难以避免在现实中出现应用机器学习算法并产生歧视性对待的结果，因此有必要设定针对算法设计者与使用者的无过错责任或过错推定责任，使受到歧视性对待的算法决策相对人获得救济。通过侵权法上更为苛刻的注意义务设定，也能倒逼算法设计者对算法技术进行改进与优化。
六、结语
反歧视立法是私主体权利意识觉醒之后要求公平对待并争取权利和实现权利的过程，更多体现为对公权力的限制。进入大数据时代，算法权力的兴起已是不争的事实，对个人生活越来越具备“构成性地位”陈景辉：《算法的法律性质：言论、商业秘密还是正当程序》，载《比较法研究》2020年第2期，第128页。，对抗算法权力也成为应对算法歧视并在算法社会中争取公平对待的核心問题。对算法歧视进行类型化整合，针对复现型算法歧视、加剧型算法歧视和新增型算法歧视确定各自的规制重点，实现对算法歧视规制范式的重构，本质上仍是从不同侧面为制衡算法权力提供更多可能路径，以期进一步探究算法背后的人性基础和制度目标。
本文责任编辑：林士平
关键词：算法歧视;算法权力;规制范式
中图分类号：DF920.0 文献标志码：A
文章编号：1001-2397（2021）04-0115-12
DOI：10.3969/j.issn.1001-2397.2021.04.10
不同概念语境下对算法歧视的探讨明晰了其基本内涵与进行法律规制的正当性和必要性，对算法歧视规制路径的具体化研究则有待进一步深化。以追寻算法歧视的根源为起点，考察算法决策的形成过程，将发现其与传统决策存在高度趋同的特质。为此，有必要从算法和歧视的关系入手，明确算法歧视的表现形式并对其进行类型化整合，在分析规制歧视的传统范式及其缺陷的基础上，重构更具针对性的规制范式。
一、算法歧视的概念语境
算法歧视并非法律体系中的规范表达，主要出现于学术讨论和新闻报道之中，检索和分析代表性文献，对算法歧视的探讨主要集中于以下三种语境，论证重点有所差异。
（一）算法社会语境下的算法歧视
随着智能设备的全面普及，数据的收集、处理与整合成为常态，作为主体的人正在被数据化和客体化John Cheney-Lippold，We Are Data： Algorithms and the Making of Our Digital Selves， New York University Press， 2017， p.141.，评分社会Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 2 （2014）.、微粒社会[德]克里斯托夫·库克里克：《微粒社会：数字化时代的社会模式》，黄昆、夏柯译，中信出版社2017年版。、数字社会胡凌：《数字社会权力的来源：评分、算法与规范的再生产》，载《交大法学》2019年第1期，第22页。直观地呈现了这种变化。算法的重要性逐渐凸显，它不但是实现数据控制的工具，而且具备主体化的潜力，足以形成算法权力。其野心是全知全能——了解一切并预测一切，控制算法的人对作为数据主体的人群进行分析、控制、指挥、命令和塑造，进而对整个人群进行分类、选择、理解和决策。算法社会中，企业与政府是算法的主要使用者，个人作为消费者无处逃遁，隐私和言论自由等个人权利将受到前所未有的多方威胁Jack M. Balkin， Free Speech in the Algorithmic Society： Big Data， Private Governance， and New School Speech Regulation，51 UC Davis Law Review 1153 （2018）.。较之于种种颠覆性变革和社会关系重构，算法歧视只是算法社会的危害之一，论者的关注焦点深入对人的智性发展进行遏制的可能路径於兴中：《算法社会与人的秉性》，载《中国法律评论》2018年第2期，第65页。。算法歧视或是遮蔽在这种叙事之中，或是仅作为规制算法或算法权力必要性的论据出现丁晓东：《论算法的法律规制》，载《中国社会科学》2020年第12期，第138-159页。，相关细节问题没有进一步展开。
（二）技术限定下的算法歧视
与算法社会这一引人注目的宏观视角不同，强调在人工智能、大数据和自动化决策等技术语境下认知算法歧视的研究试图提出整体性应对方案。人工智能的实质是对人类思维活动进行模仿并不断实现进化，算法技术的提升使得前所未有的数据流被用来解决实际问题，通过“数据+算法”的方式自动形成决策。这一过程中可能出现的种种不公平现象，被统称为“算法歧视”。人工智能、大数据、自动化决策是从不同侧面呈现算法社会的方式，限定在这些技术语境之下讨论的歧视现象往往具有同质性，用以质疑和反思算法歧视的例证也高度趋同。施加了人工智能、大数据、自动化决策等不同技术语境进行限定的讨论中，关于算法歧视的界定并未体现出太大差异。这一方面说明前述技术在实践中高度交叉、难以进行有效区分，另一方表明施加这些技术限定对算法歧视的讨论并无助益，或许仅能起到彰显所涉论题前沿性的效果。
（三）特定领域中的算法歧视
针对已经出现的具体问题，实用主义导向的研究试图在比照传统歧视现象的基础上，探讨特定领域内的算法歧视问题。“大数据杀熟”、算法就业歧视、算法种族歧视、算法性别歧视等问题均引发关注。例如，“大数据杀熟”被特定化为经营者以大数据为“原料”借助算法技术对具有购买经历的消费者采取不利的个性化价格策略喻玲：《算法消费者价格歧视反垄断法属性的误读与辨明》，载《法学》2020年第9期，第83页。。规制“大数据杀熟”的讨论在《消费者权益保护法》或《反垄断法》的既定框架内展开陈兵：《法治经济下规制算法运行面临的挑战与响应》，载《学术论坛》2020年第1期，第11-21页。。这对解决特定领域的法律适用问题具有现实价值，体现了部门法理论对新技术问题的积极回应。但部门法经验存在局限性，能否扩展到其他算法歧視问题不无疑问。此外，还有一些针对特定领域算法歧视问题的讨论虽然将主题限定在算法引发的某一具体歧视现象，但无论是成因分析还是治理路径最终都走向了对算法歧视普遍特点的一般化讨论，使得这种限定仅具有形式意义。 综观各个概念语境下对算法歧视的讨论，基本形成如下共识：作为算法权力扩张的副产品，算法歧视随着人工智能、大数据与自动化决策的发展应用而出现，能够与传统歧视现象形成对照，对算法歧视进行法律规制具有正当性和必要性。鉴于社会科学的核心问题是因果关系分析陈瑞华：《论法学研究方法》，法律出版社2017年版，第133页。，对算法歧视规制路径的探讨必须探明算法歧视的根源。
二、算法歧视的根源探寻
算法是指将输入转换成输出的计算步骤序列，本质上是任何良定义（well-defined）的计算过程，将值或值的集合作为输入，将某个值或值的集合作为输出[美]Thomas H. Cormen等：《算法导论（原书第三版）》，殷建平等译，机械工业出版社2013年版，第3页。。算法决策既是对算法应用结果的概括，也体现了决策过程自动化的特点。在输入——分析——输出的三环节流程中，难以消除的既存偏见导致数据输入和算法设计中的偏见无法避免，算法决策的类型化思维形成的聚类和分类模式是一种有利于偏见生成的模型，而算法运行的准自主化趋势又进一步将偏见内化为算法的随机表达。
（一）既存偏见的难以消除
在探寻算法歧视根源的尝试中，将歧视追溯到算法偏见是最具代表性的做法。在美国被用于预测未来犯罪的算法工具COMPAS广遭诟病，不同机构的调查基本坐实了它基于种族、年龄、性别等上百个因素预测评估再犯可能性时极有可能对黑人造成歧视例如，ProPublica的一项调查发现，白人被告人的结果误报率是24%，而黑人被告的误报率高达45%，这些结果直接影响了有关审前保释、量刑和假释的判决。https：//www.washingtonpost.com/news/%20monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/%20noredirect=on. 2020年10月2日訪问。。梅森的论断颇具代表性：风险评估中种族不平等的根源既不在于输入数据，也不在于某个算法，更不在于算法方法本身，而是预测的性质决定了任何预测方法都会把过去的不平等投射到未来。他借用计算机科学的术语“垃圾进，垃圾出”（garbage in， garbage out），使用“偏见进、偏见出”（bias in， bias out）形象地概括了算法歧视的生成机理Sandra G. Mayson，Bias in， Bias out，128 The Yale Law Journal 2224 （2019）.。与存在于计算机系统中的偏见类似，算法偏见主要来源于既存偏见，算法设计者在编程时可能有意或无意将自身偏见、社会风气、制度体制以及文化差异嵌入算法之中刘友华：《算法偏见及其规制路径研究》，载《法学杂志》2019年第6期，第59页。。算法决策的前提是获取数据，只要人类对某些群体或事物的偏见无法消除，这些偏见极有可能出现在输入算法的数据之中或将算法设计者自身的偏见融入其中，产生歧视性结果。
（二）算法决策的归类思维
基于大数据的算法决策流程可以大致概括为：使用历史数据归纳出某个类别，针对一个新的对象，按照已知的数据特征，将其归属于“最像”它的类别，如果该类别还有其它已知特征，就预测这个对象也具有相应特征张玉宏、秦志光、肖乐：《大数据算法的歧视本质》，载《自然辩证法研究》2017年第5期，第83页。。按照认知心理学的观点，类型化实际上来源于人类为了节省认知资源、简化认知过程而对未知事物范畴化的认知态度高明华：《偏见的生成与消解：评奥尔波特〈偏见的本质〉》，载《社会》2015年第1期，第209页。。范畴化导致的结果是范畴内部的相似性和范畴之间的差异性被夸大，进而形成难以克服的偏见。与传统决策相比，算法决策虽然在数据处理能力和决策效率上大为提升，但依然难以跳脱人类认知过程的类型化思路。这种思路一方面受到算法设计者认知模式的影响，另一方面是提升决策效率的必然选择。类型化思维主导下的算法决策很难实现真正的个性化，例如依据不同特征对消费者分类之后，被聚集于同一类别的消费者接收到的广告具有高度趋同性。
（三）算法运行的准自主化趋势
算法应用普遍采纳的机器学习使得算法运行日趋复杂，甚至出现算法设计者无法预料的结果，其中就包括歧视性的决策结果。算法运行的自主化不断提升，通过基于大数据的自我训练、自我学习过程完成参数调整与模型建构，实现算法的自我生产贾开：《人工智能与算法治理研究》，载《中国行政管理》2019年第1期，第18页。。较之于机器学习，深度学习进一步提升了算法运行的自主化，它使用了人工神经网络的分层结构，模拟生物大脑的神经网络，通过收集训练数据并进行学习，再将所学知识应用于更大的数据集。深度学习具有自动提取特征的功能，不需要数据科学家在其预测不理想时进行干预，不断实现模型优化，形成成熟模型并最终找到最优解Ignacio N. Cofone，Algorithmic Discrimination is an Information Problem， 70 Hastings Law Journal 1395-1396 （2019）.。准自主化运行的算法在学习过程中建立了何种认知无从预测，被内化的偏见在算法决策中的随机表达最终导致歧视性结果的出现。
（四）对算法歧视进行分类的必要性
深入分析就会发现，算法歧视形成的根源与传统歧视具有高度同质性。首先，人类社会普遍存在的各种偏见无法消除已是事实，不同族群之间的异见与割裂非但没有弥合的迹象，反而渐有加深之势。其次，算法决策在思维模式上是对人脑的模仿，范畴化的思维路径依然是人类思维领域中的主导方式。最后，人脑进行的决策过程如何实现仍是科学研究中的基础性疑难问题，其自主化较之于算法更为突出。既然在根源上具有同质性，传统歧视的规制范式应在一定程度上具有类比与借鉴的价值。因此，有必要对算法歧视与传统歧视进行比对，检视算法决策与传统歧视之间究竟呈现出哪些关系，实现对算法歧视的类型化整合。 三、算法歧视的基本样态与类型界分
歧视的显著特征是对本质相同或类似的人或事进行不合理的区别对待周伟：《论禁止歧视》，载《现代法学》2006年第5期，第69页。。从时间维度考察，传统决策及其引发的歧视现象在前，算法决策和由此产生的歧视性结果在后。比对二者在结果上的差异，将发现算法歧视与传统决策下的歧视存在下列关系，算法歧视的基本样态也得以呈现。
图1 算法与歧视的关系
（一）算法歧视的基本样态
1.复制歧视
如果算法决策复现了原有的歧视，其实质是将原本存在的偏见显露于外。例如，在谷歌的广告服务中，定向推送的算法决策使得男性比女性看到的高薪招聘广告更多。这显然是复制了在职场中存在的性别偏见和性别歧视，甚至算法可能就是为了实现广告主希望将特定广告投放给特定主体的想法而设计的https：//www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study. 2020年10月5日訪问。。
2.减少歧视
如果算法决策使得歧视显著减少，其实质是隐藏了部分偏见。Uber的事例就是明证：美国的出租车司机群体中普遍存在对非洲裔犯罪率高、拒付车费可能性高等偏见，巡游式出租车经常拒绝黑人的乘车请求，形成事实上的歧视。Uber使用的算法程序添加了限制性要素，司机在接受行程订单后才能看到乘客的照片和目的地，防止司机基于姓名、家庭住址等能够判定种族的信息选择乘客Clinton Yates，Uber： When Cabs Whiz By， It’s a Pick Me Up， Wash. Post（Sep.28， 2012）， https：//www.washingtonpost.com/blogs/therootdc/post%20uber-when-cabs-whiz-by-its-%20a-pick-me-up/2012/09/28/06a4%201fOc-082f-11e2-858a-531%20ldf86ab%2004_blog.html？hpid=z4. 2020年10月5日访问。。
3.消除歧视
如果算法决策使得原有歧视不复存在，则是通过算法变量的设定以及机器学习的改进将原本存在的偏见隐藏或直接在算法的参考变量中剔除偏见。考吉尔（Cowgill）在研究一家软件公司工作筛选算法的表现时发现，当该公司推出算法来决定哪些求职者应该获得面试机会时，“非传统”求职者更受青睐，对显著性不足的求职者表现出的偏见明显减少Alex P. Miller，What Less-Biased Decisions？ Use Algorithms， Harvard Business Review， July 26， 2018. https：//hbr.org/2018/07/want-less-biased-decisions-use-algorithms. 2020年10月5日访问。。
4.代理歧视
如果算法决策使得原有的歧视不易觉察，虽然在表面上隐藏了偏见，实质上依然造成了歧视性对待的结果。据彭博社报道，亚马逊在六个主要城市的当日送达服务区域不同程度地排除了以非洲裔美国人为主的邮政编码，而环绕这些社区的其他街区均能享受当日送达服务David Ingold & Spencer Soper，Amazon Doesn’t Consider the Race of Its Customers. Should It？Bloomberg （Apr.21， 2016）， http：//www.bloomberg.com/ graphics/2016-amazon-same-day. 2020年10月5日访问。。这在表面上隐藏了针对种族、性别、年龄的偏见，但却通过其他能够替代相应偏见的要素形成“代理歧视”（proxy discrimination）Anya E. R. Prince & Daniel Schwarcz，Proxy Discrimination in the Age of Artificial Intelligence and Big Data， 105 Iowa Law Review 1260 （2020）.。
5.加剧歧视
如果算法决策使得原有的歧视更为严重，意味着既存偏见通过算法的运行扩散。这种扩散可能体现为社会群体中针对某人或某事的某种偏见更为严重，也可能体现为个人遭受的偏见和歧视性待遇随着算法的应用而更加严重。例如，谷歌的搜索引擎自动补足算法利用搜索记录帮助人们预测其想要搜索的内容，既存偏见反映在自动补足的搜索内容中，使偏见更为扩展Memac Ogilvy & Mather Dubai，UN Women Ad Series Reveals Widespread Sexism， UN Women （Oct.21， 2013）. https：//www.unwomen.org/en/news/stories/2013/10/women-should-ads. 2020年10月6日访问。。又如，一位患双向情感障碍的大学生想找一份装杂货的工作，但由于他申请的便利店都在使用相同的心理测试软件来筛选求职者，因此他被所有便利店拒绝Rachel Thomas， What HBR Gets Wrong About Algorithms and Bias，Harvard Business Review （Aug.7， 2018）. https：//www.fast.ai/2018/08/07/hbr-bias-algorithms/. 2020年10月6日访问。。
6.新增歧视
如果算法决策出现了新的歧视现象，意味着在决策过程中出现了新的偏见，并最终显露于外。算法应用中普遍采纳的机器学习以及深度学习使得算法运行更趋复杂，甚至出现不少意料之外的结果，其中就包括新的偏见以及歧视性结果。例如，卡利斯坎（Caliskan）等学者使用内隐关联测试（IAT）量化人类偏见时发现，在利用网络上常见的人类语言进行训练时，机器学习程序从文本语料库中自动推导的寓意中包含了偏见Aylin Caliskan， Joanna J. Bryson & Arvind Barayanan， Semantics derived automatically from language corpora contain human-like biases， 356 Science 183 （2017）.。 （三）新增型算法歧视的规制
新增型算法歧视出现在机器学习算法应用的场景下，不同的机器学习算法在可预测性方面的难度存在差异。有监督的算法意味着设计者和运营者能够控制决策系统的学习方向和预期结果，无监督的算法则无法预设和控制其输出结果崔聪聪、许智鑫：《机器学习算法的法律规制》，载《上海交通大学学报（哲学社会科学版）》2020年第2期，第42页。。这意味着对这两种技术模式之下的新增型算法歧视进行规制也有差异：对有监督的机器学习算法，应通过风险评估降低其不确定性;对无监督的机器学习算法，则应通过限制应用范围规避其不确定性。
1.规制有监督模式下的新增型算法歧视重在评估算法影响
按照计算机领域的专业界定，学习效果较好的机器学习算法一般情况下都难以脱离监督学习的作用。即便是“阿尔法零”（AlphaGo Zero）这样的机器学习代表作，其训练过程也需要受到人为设置的围棋胜负规则限制See David Sliver & Julian Schrittwieser， et al，Mastering the game of Go without human knowledge， 550 Nature 354-359 （2017）.。因此，对有监督的机器学习算法能够事前干预，但这种算法仍然具备动态更新的特点，存在较大的不确定性，如何降低新增算法歧视出现的风险与可能性是需要重点关注的问题。建立恰当的风险评估机制是一种较为理性的选择，需要监管机构和第三方协同努力，借助多学科的专家力量，不断优化监督效能，强化设计者和运营者对算法决策的控制力。在这一过程中，需明确特定人员对特定事项的算法输入数据、输出内容、系统源代码的访问权限，保证算法风险评估的有效开展。
2.规制无监督模式下的新增型算法歧视重在限制算法应用
无监督的机器学习算法具有高度的不确定性，在决策过程中产生偏见并形成歧视性对待的结果也无法预估，由此成为设计者与使用者推诿责任的借口。在技术水平尚不足以实现对这种算法进行有力干预的前提下，只能对应用范围做严格限制，可以考虑将其限定于科学研究与电子游戏等不影响人类现实活动的领域。此外，即使设定了这种限制，仍然难以避免在现实中出现应用机器学习算法并产生歧视性对待的结果，因此有必要设定针对算法设计者与使用者的无过错责任或过错推定责任，使受到歧视性对待的算法决策相对人获得救济。通过侵权法上更为苛刻的注意义务设定，也能倒逼算法设计者对算法技术进行改进与优化。
六、结语
反歧视立法是私主体权利意识觉醒之后要求公平对待并争取权利和实现权利的过程，更多体现为对公权力的限制。进入大数据时代，算法权力的兴起已是不争的事实，对个人生活越来越具备“构成性地位”陈景辉：《算法的法律性质：言论、商业秘密还是正当程序》，载《比较法研究》2020年第2期，第128页。，对抗算法权力也成为应对算法歧视并在算法社会中争取公平对待的核心問题。对算法歧视进行类型化整合，针对复现型算法歧视、加剧型算法歧视和新增型算法歧视确定各自的规制重点，实现对算法歧视规制范式的重构，本质上仍是从不同侧面为制衡算法权力提供更多可能路径，以期进一步探究算法背后的人性基础和制度目标。
本文责任编辑：林士平