“编码相同的偏见”：人工智能在冠状病毒反应中的局限性

随着冠状病毒大流行的持久性，竞争与其死亡的种族和性别的社会经济影响已被揭露。人工智能（AI）在回应中发挥着关键作用，但它也可以加剧我们的健康系统中的不平等 - 这是拖延技术的限制回到聚光灯的关键问题。

对危机的响应有许多方式通过数据进行了调解 - AI算法使用的信息爆炸更好地理解和地址Covid-19，包括跟踪病毒的传播和发展治疗干预措施。

像它的人类制造商一样，不受偏见的影响。该技术 - 一般旨在消化大量数据，并扣除支持决策 - 反映了开发它的人类的偏见，并提供它用于吐出结果的信息。例如，多年前当亚马逊开发出AI工具来帮助排名候选人，通过从过去的员工学习，系统模仿其制造商的性别偏见降级妇女恢复。

“我们在Covid-19之前看到了AI广泛使用，并且在Covid-19期间，您在美国和美国纽约大学的杰出研究科学家梅雷迪斯惠特克联合创始人AI现在研究所，执行研究AI的社会影响。

监控工具密切关注从家庭和教育工具工作的白领，声称学生在考试中欺骗是否越来越普遍。但是惠特克服说，大多数技术都是未经测试的 - 有些人被证明有缺陷。然而，这并没有阻止公司从营销其产品作为治疗造成大流行造成的抵押损害的固化。

在美国，例如紧凑医疗设备叫A.脉搏血氧仪，旨在衡量血液中的氧气水平，患有一些冠状病毒患者粘在其微小的屏幕上，以决定何时去医院，除了医生的使用以帮助医院内的临床决策。

然而，设备工作方式的方式易于种族偏见，并且可能在轻质皮肤用户上校准。在2005年回来，一项研究明确地显示了该装置“大多是往往的高估（氧气）非白人的几个点饱和水平。

Whittaker表示，脉冲血氧仪装置的问题已知几十年来并未由制造商固定。“但是，即便如此，正在使用这些工具，它们正在生产数据，并且数据正在进行以塑造在医疗保健中使用的诊断算法。所以，即使在我们的AI系统的水平也是如此构建，它们在Covid-19的背景下，它们编码了相同的偏差和相同的种族主义和歧视历史，这些历史和歧视的历史如此清楚地表现出来。“

证据

同时，由于证据的身体积累了那些人颜色更容易死于Covid-19感染，这种多样性并不一定是反映在临床试验的斯巴巴中克里斯滕开发出毒品和疫苗 - 一种令人不安的模式在大流行之前。谈到性别多样性时，最近的审查发现，927个与Covid-19有关的试验中，超过半明确排除怀孕，以及孕妇从疫苗试验中完全排除在外。

这些临床试验中的产品结果不一定是人口的代表，欧盟AI和联合创始人欧盟高级专家组成员，这是一个致力于培养负责任的AI的组织。

“然后，如果您使用这些结果来为未来的预测喂养AI算法，那些人也将在这些预测模型中具有劣势，”她说。

在Covid-19上下文中使用AI技术的麻烦与大流行前困扰技术的偏差问题没有什么不同：如果您允许技术偏见数据，它将喷出偏见的结果。实际上，现有的大型AI系统还反映了它们建造的环境中缺乏多样性，以及建立它们的人。这些几乎完全是少数技术公司和精英大学实验室 - 西方的空间往往是非常白，富裕，技术面向和男性，“根据AI的2019年报告称。

但该技术并不简单地反映其制造商-AI也放大了他们的偏见，Whittaker说。

“一个人可能有偏见，但他们不会将这些偏差扩展到数百万和数十亿的决定，”她说。“虽然AI系统可以编码人类偏差，然后可以以具有更大影响的方式分配那些。”

她补充说，进一步复杂化问题，有自动化偏见问题。“如果人们由一个人制作，人们会更信任计算机制造的决定的趋势。所以，我们需要注意AI系统洗的方式这些偏见并使它们看起来严谨和科学，可能导致人们不太愿意讨论这些系统所作的决定。“

安全的

专家们表示，虽然研究人员开始就公平，可意识性和鲁棒性等有用的步骤达成一致，但虽然研究人员，但虽然研究人员虽然研究人员开始达成一致。

第一步是向迈勒尔向“问题零”问：根据Muller：我的问题是什么，我怎么能解决它？我是否解决了它人工智能还是用别的东西？如果有AI，这个应用程序是否足够好？它是否损害了基本权利？

“我们看到的是，许多人认为有时候是一种魔杖......它会解决一切。但有时它没有解决任何问题，因为它不适合这个问题。有时它是如此侵犯它可能解决一个问题，但创造了一个大的，不同的问题。“

Muller说，当在Covid-19的上下文中使用AI时，存在数据爆发，但数据需要可靠并优化。

“数据不能刚刚抛出另一种算法，她说，通过找到相关性来解释算法。”他们不明白病毒是什么。“

据英国Alan图灵学院的AI博士，AI展示了AI展示了人类决策中的偏见问题。他说，假设不使用算法意味着一切都会好起来，这是错误的。

有关这些系统的希望和兴奋，因为它们比人类更持续和高效运营，但他们缺乏常识，推理和背景的概念，人类更好，Weller说。

问责制

让人类参与更多做决定进程是为AI应用程序带来问责的一种方法。但是弄清楚那个人或人应该是至关重要的。

“简单地将人类放在过程中的某个地方并不能保证良好的决定，”惠特克劳特说。她说，有些问题是人类的工作，以及他们在需要解决的问题的情况下，有什么奖励。

“我认为我们需要真正缩小广泛的”人类“，看看谁和什么结束。”

人类监督可以以多种方式纳入护理以确保透明度和减轻偏见，建议Allai的穆勒和同事报告分析A.提案欧盟监管机构正在努力规范“高风险”AI应用，例如用于招聘，生物识别或部署健康。

这些包括审核AI系统的每个决策周期，监视系统的操作，具有自由裁量权来决定何时以及如何在任何特定情况下使用该系统，以及覆盖系统所做的决定的机会。

对于Whittaker，最近的发展，如欧盟监管机构规范“高风险”申请或社区在美国组织领导禁止面部识别技术的愿意令人鼓舞。

“我认为我们需要更多相同的......确保这些系统是可疑的，我们可以检查他们以确保他们是民主的控制，并且人们有权拒绝使用这些系统。”

Meredith Whittaker和Catelijne Muller将在一个小组中发言，以讨论在人工智能的人工智能中讨论解决性别和种族偏见欧洲研究与创新日会议将于9月22日至24日在线进行。

---

---