要从 AI/ML 解决方案接收预期值,您首先需要获得用户的信任。您只有通过采用才能获得价值,而只有通过信任才能获得采用。
获得用户信任的挑战不仅适用于 AI 和 ML,也适用于传统分析。我们大多数人都能回忆起一些会议,其中一半的时间花在辩论数字的准确性上。事实上,化解此类争论是获得传统分析信任的最佳方式:通过提供每个人用来管理业务的单一事实来源。但仅凭这一点,并不能导致对 AI/ML 的信任。使用 AI/ML,用户需要比数据更信任,他们需要信任算法及其输出。
请考虑以下三个阶段,这些阶段可建立用户对 AI/ML 解决方案的信任:
第 1 阶段:质量
面对新模型,用户的第一个问题是,”模型的准确性如何?精度是衡量模型性能的标准方法,但它并不总是衡量模型本身的最佳方式。如何评估模型取决于模型的类型(二进制分类、回归、多分类等)和模型的目标。用户真正想知道的是模型的质量,以达到他们的特殊目的。例如,准确性不太可能是评估二进制分类模型以识别存在客户流失风险的客户端的最佳方式。如果用户将仅对预计改动的特定客户端执行操作,则目标预测存在风险。假设用户不会对”无风险”的预测采取任何操作。
用户要么希望有效地对风险采取行动,即他们想要精确性。或者,他们希望足够彻底,不会错过任何风险,也就是说,他们希望召回。如果他们想要精度和召回的平衡,他们可以尝试优化精度和召回的谐波平均值,也称为 F1 分数。
没有一个质量指标适用于每个业务目标,因此您需要访问多个质量指标,以便酌情使用。IBM Watson OpenScale 开箱即用,提供了九种不同的质量指标,并能够包括您自己的自定义指标。有帮助的是,OpenScale 仅显示适用于特定类型的模型的指标。这些指标提供了与用户协作以确定哪种质量指标最适合特定业务目标所需的信息。
第 2 阶段:说明
说服用户模型的质量只是建立他们信任的开始。他们将愿意审查模型的输出,但他们可能还没有准备好采用它。他们首先要求您解释模型如何到达每个建议或预测。对于大多数模型来说,这不是一件容易的事。
值得庆幸的是,IBM Watson OpenScale 提供了两种解释。首先是模型特征列表,其权重对预测有正或负贡献。此外,对比解释将提供最小要素值更改以更改预测和将维持相同预测的最大更改。总之,这些共同提供了前所未有的透明度。您可以在”使用 IBM Watson OpenScale 解释 AI 模型行为”博客中了解有关此功能的更多内容843137);字体系列: &报价;字母间距: -0.022em;孤儿: 2;寡妇:2;”*第 3 阶段:偏置检测和去除
在许多情况下,无论是受监管还是良好的商业意识驱动,用户都需要相信模型没有偏见。我们使用数据训练模型,数据有时可能包含固有的偏差。显然,我们希望我们的 AI/ML 解决方案能够减轻我们的人类偏见,而不是使其永久化。某些模型特征(如性别、年龄和种族)是防止偏见的明显领域,而其他模式则不太明显,例如种族和邮政编码之间或性别与姓名之间的强烈关联。
检测偏见不仅对弱势社区很重要。以大师高尔夫锦标赛为例,IBM 使用 AI 纠正对最受欢迎的高尔夫球手的过度强调,以突出最令人印象深刻的高尔夫:’大师赛特别 AI 亮点:3 分钟内完成一轮比赛‘.IBM Watson OpenScale 可以通过监视发送到模型的数据和模型的输出来检测运行时的偏差。有关偏置检测的详细信息,请查看IBM Watson OpenScale 中的”偏置检测”帖子。
知道存在偏见至关重要,但只有在用户知道结果可以无偏差时,才会实现用户信任。除了检测偏差外,OpenScale 还可以自动消除结果偏差。为了确保用户信任去偏置结果,用户可以在启用主动去偏置之前查看被动去偏置结果,从而将去偏置结果实时发送给用户。有关详细信息,请参阅 IBMWatson OpenScale 中的”消除偏置”。
这三个阶段是一个连续的周期,建立和赢得信任与每笔交易。目前只有一个解决方案可以帮助您实现和维护 AI/ML 解决方案 IBM Watson OpenScale的所有三个阶段的用户信任。