研究人员呼吁建立无偏见的人工智能
临床医生和外科医生越来越多地使用基于人工智能的医疗设备。这些人工智能设备依靠数据驱动的算法来为医疗保健决策提供信息，目前有助于诊断癌症、心脏病和眼部疾病，未来还将有更多应用。
鉴于人工智能的蓬勃发展，斯坦福大学的两名教师呼吁采取措施，确保这项技术不会加剧现有的医疗保健差距。
在一篇新的观点论文中，斯坦福大学的教职员工讨论了性、性别和种族偏见以及这些偏见如何被人工智能设备延续下去。作者提出了几种短期和长期的方法来防止与人工智能相关的偏见，例如改变医疗资助机构和科学出版物的政策，以确保为研究收集的数据是多样化的，并将更多的社会、文化和伦理意识纳入大学课程。
“长期以来，白人身体和男性身体一直是指导药物发现、治疗和护理标准的医学规范，所以重要的是，我们不要让人工智能设备陷入这种历史模式，”人文与科学学院约翰·l·海因兹科学史教授、5月4日发表在该杂志上的论文的高级作者隆达·希宾格说EBioMedicine．
“当我们为医疗保健开发人工智能技术时，我们希望确保这些技术对不同的人口和人群有广泛的好处，”斯坦福大学生物医学数据科学助理教授、计算机科学和电气工程助理教授、该研究的合著者詹姆斯·邹(James Zou)说。
研究人员说，随着个性化、精准医疗在未来几年的发展，偏见的问题只会变得更加重要。个性化医疗是根据患者的人口结构和基因等因素为每位患者量身定制的，如果使用人工智能，就容易出现不平等医疗设备不能充分解释个体差异。
Schiebinger说:“我们希望让人工智能生物医学界参与进来，防止偏见，在研究的初始设计中创造公平，而不是在事后解决问题。”
建构性——如果建构得当的话
在医学领域在美国，人工智能包含了一系列技术，可以帮助诊断患者的疾病，改善医疗保健服务，并加强基础研究。这些技术包括由软件运行的算法或指令。这些算法可以像另一双眼睛一样仔细阅读实验室测试和放射图像;例如，通过分析CT扫描的特定形状和颜色密度，可以表明疾病或损伤。
然而，在这些设备的开发和部署的各个阶段都可能出现偏差问题，邹解释说。一个主要因素是，算法用于形成模型作为基线的数据可能来自不具代表性的患者数据集。
由于没有适当考虑种族、性别和社会经济地位，这些模型对某些群体的预测能力很差。更糟糕的是，临床医生可能没有意识到人工智能医疗设备可能会产生扭曲的结果。
作为潜在偏差的一个例子，Schiebinger和Zou在他们的研究中讨论了脉搏血氧计。脉搏血氧仪大约在50年前首次获得专利，它可以快速、无创地报告患者血液中的氧含量。这些设备已被证明在治疗COVID-19中至关重要，低氧水平的患者应立即接受补充氧气，以防止器官损伤和衰竭。
脉搏血氧计的工作原理是用光照射病人的皮肤，记录含氧红细胞和脱氧红细胞对光的吸收。黑色素是赋予皮肤颜色的主要色素，它也会吸收光线，然而，对于高色素皮肤的人来说，这可能会扰乱读数。因此，研究表明，与白人患者相比，今天的行业标准血氧仪错误报告黑人患者血气水平的可能性是白人患者的三倍，这并不令人惊讶。血氧计还存在性别偏见，女性比男性更容易误报血氧水平。这些血氧计偏差意味着深色皮肤的人，尤其是女性，有得不到紧急补充氧气的风险。
邹教授说:“脉搏血氧计是一个很好的例子，说明在没有不同人口数据收集的情况下，开发一项医疗技术会导致有偏差的测量结果，从而导致患者的结果更差。”
这个问题扩展到批准后的设备评估临床使用．另一项最近的研究发表在自然医学引用于EBioMedicine在论文中，邹和斯坦福大学的同事审查了当时由美国食品和药物管理局批准的130个医疗人工智能设备。研究人员发现，130个设备中有126个仅使用以前收集的数据进行了评估，这意味着没有人衡量人工智能算法与人类临床医生的积极输入相结合在患者身上的效果如何。此外，只有不到13%的公开可用的已批准设备性能摘要报告了性别、性别或种族/民族。
邹说，在医疗环境中需要更多样化的数据收集和人工智能技术监测的这些问题“是解决偏见的最低目标之一”。
在宏观层面解决偏见问题
从长远来看，该研究探讨了更广泛的生物医学基础设施的结构性变化如何有助于克服人工智能不平等带来的挑战。
一个起点是资助机构，如美国国立卫生研究院。Schiebinger说，近年来已经取得了一些进展，并指出在2016年，NIH开始要求资助申请人将性别作为相关的生物变量纳入他们的研究。希宾格预计，NIH将制定类似的性别、种族和民族政策。与此同时，她在斯坦福大学的团队正在临床试验中将性别作为社会文化变量，这在2月份的《性别差异生物学》(Biology of Sex Differences)上发表了一篇研究报告。
Schiebinger说:“我们希望从资助机构的政策开始，以确定研究方向。”“这些机构可以发挥很大的作用，因为他们在分配纳税人的钱，这意味着受资助的研究必须使全社会的所有人受益。”
另一个机会集中在生物医学出版物，包括期刊和会议报告。斯坦福大学的研究作者建议，出版物制定政策，要求在适当的情况下进行性别和性别分析，同时考虑道德因素和社会后果。
对于医学院来说，作者建议加强课程设置，以提高人们对人工智能可能加剧社会不平等的认识。斯坦福大学和其他大学已经通过将道德推理嵌入到计算机科学课程中，朝着这一目标迈出了大步。
另一个使用跨学科方法减少偏见的例子是席宾格(Schiebinger)和邹市明(Zou)之间正在进行的合作。席宾格在斯坦福大学任教17年，是性别与科学领域的国际权威，邹市明是计算机科学和生物医学人工智能方面的专家。
希宾格说:“把人文学家和技术专家结合在一起是斯坦福所擅长的，应该做得更多。”“我们很自豪能够走在消除人工智能在医学领域偏见的最前沿，考虑到人工智能最终将影响人类生活的许多其他方面，这一点就更加重要了。”
