人工智能 (AI) 拥有巨大潜力促进社会和产业转型。然而，确保人工智能系统安全、公平、包容和值得信赖取决于其构建数据的质量和完整性。有偏见的数据集可能会产生人工智能模型，这些模型会延续有害的刻板印象，歧视特定群体，并产生不准确或不可靠的结果。本文探讨了数据偏差的复杂性，概述了实用的缓解策略，并深入探讨了为 AI 模型的训练和测试构建包容性数据集的重要性 [1]。
了解数据偏差的复杂性
数据在人工智能模型的开发中发挥着关键作用。 数据偏差可以通过多种方式渗透人工智能系统。以下是主要数据偏差类型的细分，以及现实世界的示例 [1,2]：
<标题>
偏差类型
描述
实际示例
<正文>
选择偏差
排除某些群体或代表性不足/过多
* 由于训练数据中的多样性表示有限，面部识别系统在深色皮肤个体上表现不佳。
* 调查模型主要反映城市人口，不适合全国范围内的资源配置。
信息偏差
错误、不准确、数据丢失或不一致
* 过时的人口普查数据导致社区预测不准确。
* 不完整的患者病史影响医疗人工智能的诊断。
标签偏差
数据标记方式的主观解释和无意识偏见
* 图像标签中编码的历史偏差，导致有害的错误分类。
*信用风险模型中的主观评价标准，无意中损害了某些社会经济群体的利益。
社会偏见
反映数据中现有的不平等、歧视趋势和刻板印象
* 从历史文本数据中编码性别偏见的词嵌入。
* 人工智能贷款审批系统无意中延续了过去的歧视性贷款做法。
有偏见的人工智能模型可能会产生深远的影响：
- 歧视：人工智能系统可能会基于种族、性别、年龄或性取向等受保护的属性进行歧视。
- 刻板印象的延续：有偏见的模型可能会强化和放大有害的社会刻板印象，从而进一步在决策系统中根深蒂固。
- 结果不准确或不可靠：基于有偏见的数据构建的人工智能模型可能会为特定群体或环境产生明显较差或不公平的结果，从而降低其效用、价值和可信度。
- 信任侵蚀：发现人工智能模型中存在偏见可能会损害公众信任，从而延迟有益技术的采用。
消除偏见的策略
构建公平的人工智能需要多管齐下，涉及工具、规划、透明度和人工监督：
- 偏差缓解工具：IBM AI Fairness 360 提供算法和指标来识别和减少整个 AI 开发生命周期中的偏差。
- 公平阈值：统计平等或机会均等等技术可建立定量的公平目标。
- 数据增强：过采样技术和合成数据生成有助于解决特定群体代表性不足的问题，从而提高模型性能。
- 数据管理计划 (DMP)：全面的 DMP 可确保数据完整性并概述收集、存储、安全和共享协议。
- 数据表：有关数据集特征、限制和预期用途的详细文档可提高透明度并帮助做出明智的决策 [3]。
- 人参与：人工智能模型应辅之以人类监督和验证，以确保安全、合乎道德的结果并保持问责制。
- 高级技术：对于复杂场景，探索重新加权、重新采样、对抗性学习、反事实分析和因果建模以减少偏差。
数据管理计划 (DMP) 指南
虽然数据管理计划可能会听起来像一个简单的文档。完善的数据管理计划可以在减少偏见和安全人工智能开发方面发挥巨大作用
- 道德考虑：DMP 应明确解决隐私、知情同意、潜在偏见来源以及潜在不成比例影响的问题。
- 数据来源：文档来源、转换和所有权，以确保随着时间的推移可进行审核。
- 版本控制：为数据集维护清晰的版本控制系统，以实现可重复性并跟踪更改。
不断发展的数据表以提高透明度
了解如何以及使用什么来训练人工智能模型可以更轻松地评估和解决索赔。在这种情况下，数据表发挥着重要作用，因为它们有助于提供以下内容
- 动机透明度：阐明数据集的创建目的、预期用途和已知限制 [3]。
- 详细构成：提供数据特征、相关性和潜在异常的统计细目 [3]。
- 全面的收集过程：描述采样方法、设备、误差来源以及此阶段引入的偏差。
- 预处理：文档清理、转换步骤和匿名化技术。
- 用途和限制：明确概述存在道德问题或偏见限制的合适应用和场景 [3]。
人工智能公平是一段旅程
实现安全人工智能是一项持续的努力。定期审核、外部反馈机制以及对持续改进的承诺，以响应不断变化的社会规范，对于构建值得信赖和公平的人工智能系统至关重要。
参考文献
1. Obermeyer, Z.、Powers, B.、Vogeli, C. 和 Mullainathan, S. (2019)。剖析用于管理人口健康的算法中的种族偏见。 科学，366(6464), 447-453。
2. Rajkomar, A.、Hardt, M.、Howell, M.D.、Corrado, G. 和 Chin, M. H. (2018)。确保机器学习的公平性，以促进健康公平。内科年鉴医学, 169(12), 866 -872。
3. Mitchell, M.、Wu, S.、Zaldivar, A.、Barnes, P.、Vasserman, L.、Hutchinson, B.、Spitzer, E.、Raji, I. D. 和 Gebru, T. (2019)。用于模型报告的模型卡。公平、问责和透明度会议会议记录，220-229。