机器学习算法与社会歧视偏见

机器学习从业者应该关注算法带来的社会歧视问题，而不仅仅是准确度和给公司带来的利润。

机器学习中的伦理问题
大多数时候，机器学习并不涉及特别敏感的社会道德问题。有人给我们一个数据集，并要求我们根据给定的属性预测房价，将图片分类到不同的类别。当我们被要求基于受保护进行预测时，我们该怎么做才能遵守反歧视法律？
我们如何确保我们不会将种族主义、性别歧视或其他潜在的偏见嵌入我们的算法中，无论是明确还是暗示？
你可能并不会感到惊讶的是，美国在这个问题上已经有过几起重要的诉讼案件，其中最引人注目的可能是涉及Northpointe有争议的COMPAS--替代性制裁的惩教罪犯管理概况这个软件，它可以预测被告将犯下另一个犯罪案件的风险。专有算法考虑了137项问卷中的一些答案来预测这种风险。
2013年2月，Eric Loomis被发现驾驶一辆用于拍摄的汽车。他被捕并承认躲避一名军官。在判决他时，法官不仅要查看他的犯罪记录，还要看一个名为COMPAS的工具分配的分数。
COMPAS是目前在美国各地用于预测暴力犯罪热点的几种风险评估算法之一，确定囚犯可能需要的监督类型，或者提供可能对量刑有用的信息，如 - 如Loomis案。COMPAS将他列为重新犯罪的高风险，而Loomis被判处六年徒刑。
他对裁决提出上诉，理由是法官在考虑算法的结果时，其内部工作是秘密的，无法检查，违反了正当程序。上诉到了威斯康星州最高法院，法院指出，如果COMPAS从未被征询过，判决也将是相同的。然而，他们的裁决使用了敦促算法。
可以理解的是，这个案例在机器学习界引起了不小的轰动。
争议愈演愈烈
到目前为止，我们所讨论的只是一个据称是不公正的人，据称他被一种算法严厉地判断。然而，当我们快进到2014年时，这个软件背后的争议会变得更加激烈。
在几个更有争议的结果被吐出算法并仔细检查后，它再一次引起了公众的注意。
然后，美国司法部长埃里克霍尔德警告说，风险评分可能会向法院注入偏见。他呼吁美国量刑委员会研究其使用情况。
"尽管这些措施是出于最好的意图而制定的，但我担心它们会无意中破坏我们确保个性化和平等正义的努力，"
他补充说，
"它们可能会加剧我们已经非常普遍的无根据和不公正的差异，在刑事司法系统和我们的社会。"
然而，量刑委员会没有开展风险评分研究。因此，ProPublica作为对美国生活中算法的强大考察。
ProPublica的检查得出了一些有趣的结论。不仅算法荒谬地不准确（不到20％的预测是真的），还表现出显着的种族差异，正如霍尔德所担心的那样。在预测谁会再次犯罪时，该算法以大致相同的速度但以非常不同的方式对黑白被告犯了错误。
这个公式特别容易将黑人被告作为未来的罪犯，将他们错误地贴上标签，这几乎是白人被告的两倍。 白人被告被误标为低风险，比黑人被告更频繁。黑人被告被钉住的可能性仍高出77％，因为未来暴力犯罪的风险更高，预计未来犯下任何罪行的可能性高45％。
这可能听起来很糟糕，但这个故事还有很多东西要比眼睛看到的要多。根据我们分析这个的方式，我们可以发现算法既是种族主义又不是种族主义，它取决于我们在模型中定义"平等"的方式。对于本文的其余部分，我将尝试帮助我们理解这个模型实际上是以可接受的方式设计的，但仍然可以产生据称的种族主义结果。
歧视的类型
我们首先需要定义算法中可能存在的歧视类型，以及我们在前面的示例中处理的类型。我们将两种形式的歧视称为不同的影响和不同的待遇。
不同的待遇 -涉及以不允许的方式对某人进行分类。它涉及歧视的意图，通过明确提及群体成员资格来证明。
不同的影响 -查看分类/决策对某些群体的影响。不需要任何意图，它是面向中立的。
不同的影响通常被称为无意识的歧视，而不同的处理则是故意的。
最高法院认为对特定群体产生不成比例影响的做法如果"基于合理的商业考虑"，则不会造成不同的影响。
在考虑以下任何受保护属性时，可能会导致不同的处理或不同的影响。

所有这些属性都可以用作我们的机器学习算法中的特征，因此我们的算法有可能在这些属性的基础上进行区分。一些常见的例子是面部识别，累犯（如前所述）和招聘。我们可以做些什么来帮助解决这个问题？
训练数据中的歧视性偏见
当分类和决策基于不准确的信息时，歧视会影响社会商品（例如，认为7英尺以上的每个人都是不好的保姆）。这些想法经常被人类偏见所延续，并嵌入用于训练算法的数据中。
在这种情况下，机器学习算法不会减轻人的偏差。事实上，它们是在所制作的分类中复制的。为什么会这样？像Northpointe软件那样的累犯分数是基于先前的逮捕，第一次警察联系的年龄、父母的监禁记录。
这些信息是由世界上的偏见（例如来自文化价值观和民族主义）和更普遍的不公正（例如种族偏见）所塑造的。
这种偏见也存在于自然语言处理中，其关注于文本数据。这方面的一个很好的例子是题为"人是计算机程序员，因为女人是家庭主妇？Debiasing Word Embeddings"，它显示了软件向量中自动生成的类比，例如男性→计算机程序员，女性→家庭主妇。这些反映了原始文本中的性别歧视。
更一般地说，这些偏见来源通常来自：
过度抽样和欠抽样 歪斜的样品 特征选择/有限特征 代理/冗余编码 世界上的偏见和不公正那么我们如何消除这些偏见呢？机器学习算法可以使歧视永久化，因为它们是针对有偏见的数据进行训练的。解决方案是识别或生成无偏的数据集，从中可以得出准确的概括。
消除偏见
种族，性别和社会经济阶层等特征决定了我们与某些绩效任务的结果相关的其他特征。这些都是受保护的属性，但它们仍然与某些性能任务相关 - 而性能任务则是假定的社交产品。例如：
白人家庭的平均财富是黑人家庭平均财富的七倍。 财富与您是否可以偿还贷款有关。 财富的差异取决于历史和现在的不公正。机器学习本质上是历史的。为了有效打击歧视，我们需要改变这些模式。然而，机器学习强化了这些模式。因此，机器学习可能是问题的一部分。
"即使历史是一个向正义倾斜的弧线，机器学习也不会屈服。"
那么，我们该何去何从？我们注定要有种族主义和性别歧视的算法吗？
即使我们优化准确性，机器学习算法也可能使歧视永久存在，即使我们使用无偏见的数据集进行工作并且具有考虑社会商品的性能任务。我们还能做些什么？
顺序学习 更多理论 因果建模 优化公平在所有这些中，优化公平似乎是最简单和最好的行动方案。在下一节中，我们将概述如何优化模型以实现公平性。
优化公平
构建优化非歧视的机器学习算法可以通过以下四种方式完成：
将非歧视标准正式化 人口平等 均衡赔率 经过良好校准的系统我们将依次讨论这些问题。
将非歧视标准正式化基本上是其他3种方法所涉及的标准，它们是旨在使非歧视标准正式化的标准类型。但是，这份清单并非详尽无遗，可能还有更好的方法尚未提出。
人口平价提出决策（目标变量）应独立于受保护的属性 - 种族，性别等与决策无关。
对于二元决策Y和受保护属性A：
P（Y = 1 | A = 0）= P（Y = 1 | A = 1）
无论受保护的属性（无论是（A = 1）还是（A = 0）），做出某些决定的概率（Y = 1）应该是相同的。然而，人口统计奇偶校验使用完美预测器C = Y，其中C是预测变量，Y是目标变量。
要理解异议，请考虑以下情况。假设我们想要预测一个人是否会购买有机洗发水。某些团体的成员是否购买有机洗发水并不独立于该团体的成员资格。但是，人口统计平等将排除使用完美预测器。
均衡赔率建议预测变量和受保护属性应该是独立的，以结果为条件。对于预测变量R，结果Y和受保护属性A，其中所有三个都是二进制变量：
P（R = 1 | A = 0，Y = 1）= P（R = 1 | A = 1，Y = 1）。
该属性（无论是（A = 1）还是（A = 0））不应该改变您的估计（P），即某个相关预测因子（R = 1）对候选者是否成立的可能性。相反，（某些决定的）结果（Y = 1）应该。该过程的一个优点是它与理想预测器兼容，R = Y.
考虑以下案例，让学生被耶鲁大学录取，因为他们是高中时的告别演说者。均衡赔率假定知道学生是否是同性恋并不会改变学生是否是告别演说者的概率。
预测者R=您是否是高中告别演说者（1）或不是（0）
结果Y=进入耶鲁（1）与否（0）
属性A=同性恋（1），直（0）
P（R = 1 | A = 0，Y = 1）= P（R = 1 | A = 1，Y = 1）。
经过良好校准的系统建议结果和受保护属性是独立的，以预测器为条件。对于预测变量R，结果Y和受保护属性A，其中所有三个都是二进制变量：
P（Y = 1 | A = 0，R = 1）= P（Y = 1 | A = 1，R = 1）
某些结果发生的概率（Y = 1）应该不受某些受保护属性（无论是（A = 0）还是（A = 1））的影响，而应该以相关预测因子（R = 1）为条件。这种配方的优势在于它不会意识到 - 它让每个人都遵循相同的标准。
与之前的例子相比，知道学生是同性恋并不会改变学生是否进入耶鲁的可能性。均衡赔率和经过良好校准的系统之间的区别是微妙的，但很重要。
事实上，这种差异是我们在开始时讨论的COMPAS软件不一致的基础。
那么COMPAS种族主义者呢？
均衡的赔率和经过良好校准的系统是互不兼容的标准。有时候，鉴于某些经验环境，我们不能让系统得到很好的校准和均衡。让我们来看看ProPublica和Northpointe之间关于COMPAS是否偏向黑人被告的辩论中的这一事实。
Y =被告是否会重新犯罪
A =被告的种族
R = COMPAS使用的累犯预测因子
Northpointe的防御：COMPAS经过良好校准，即
P（Y = 1 | A = 0，R = 1）= P（Y = 1 | A = 1，R = 1）。

COMPAS系统对被告进行大致相似的累犯预测，无论其种族如何。
ProPublica的回应：COMPAS对黑人被告的假阳性率较高，对白人被告的假阴性率较高，即不满足均等赔率：
P（R = 1 | A = 0，Y = 1）≠P（R = 1 | A = 1，Y = 1）

被告的种族对于个人是处于低风险还是中/高风险类别有所不同。无论是（A = 0）还是（A = 1），COMPAS已经确定一些累犯风险预测因子将被告（P（R = 1））的概率有所不同，而不仅仅是被告是否会赢得"重新犯罪（Y = 1）。
为什么会这样？
当某些经验事实成立时，我们具有良好校准和赔率均衡系统的能力就会崩溃。似乎产生问题的是我们之前讨论的问题：由不公正造成的背景事实。例如，由于更高的警察审查，被抓获再次犯罪率更高。
很难弄清楚何时适用某些公平标准。如果某些标准没有为其他标准付出代价，那么当你不确定时，你会更少担心应用它。但是，由于情况并非如此，我们需要了解未达到某些标准的影响。
那么我们讨论的哪个标准最好选择？所有这些方法都具有很好的功能，但都有其缺点。
所以现在怎么办？
我们不能在一个小角落里划分公平，而不是为了改变世界上的不公正和在机器学习系统之外发生的歧视。这并不意味着我们什么都做不了！我们必须为某些领域的公平性制定一些标准，同时努力改变基准利率。
尽管存在一些争议以及其中一些人不受欢迎，但COMPAS软件仍在继续使用。开发算法的人不会因为在不知不觉中开发种族主义算法而被指控或监禁，但必须选择一些标准来基于COMPAS试图解决的情况进行预测。
它可能是一个算法，它可能不完美，但它是一个开始，一个人必须从某个地方开始。
机器学习有助于减少歧视吗？
机器学习是一个非常强大的工具。随着人类开始从人文主义转向数据主义视角，这种情况越来越明显 - 我们开始更多地信任算法和数据，而不是人或我们自己的想法。
这使得我们尽可能使算法尽可能不偏不倚，这样他们就不会在不知不觉中使历史数据中嵌入的社会不公正永久化，这一点非常重要。然而，使用算法创造一个更公正和平等的社会也有巨大的潜力。一个很好的例子就是招聘过程。
假设您正在申请您的梦想工作，并且正处于面试过程的最后阶段。招聘经理有权决定您是否被录用。您是否想要一个无偏见的算法来决定您是否是最适合这份工作的人？
如果你知道招聘经理是种族主义者，你还会喜欢这个吗？还是性别歧视？
也许招聘经理是一个非常中立的人，并且纯粹基于绩效来完成工作，然而，每个人都有自己的倾向和潜在的认知偏差，这可能使他们更有可能选择他们最喜欢的候选人，而不是最好的人。如果可以开发无偏见的算法，招聘过程可能变得更快，更便宜，他们的数据可能会招聘更多技术熟练的人，这些人更适合他们的公司。另一个潜在的结果：更多样化的工作场所 该软件依赖于数据来表达来自各种各样的地方的候选人，并将他们的技能与工作要求相匹配，没有人为的偏见。
这可能不是完美的解决方案，事实上，在司法方面很少有完美的答案。然而，历史的弧线似乎倾向于正义，所以也许这将使正义向前迈进一步。
另一个很好的例子是自动贷款承销。与传统的手工承保相比，自动承保更准确地预测某人是否会违约贷款，其更高的准确性会导致更高的借款人批准率，尤其是对于服务不足的申请人。这样做的结果是，有时候机器学习算法比我们做出最准确的分类做得更好，有时候这可以解决招聘和信用审批等领域的歧视问题。
引用一句谷歌报道的文章：
"优化机会均等只是可用于改进机器学习系统的众多工具之一 - 仅靠数学不太可能带来最佳解决方案。攻击机器学习中的歧视最终需要采取谨慎的多学科方法。"