可解释的人工智能如何提高可靠性和可信度

随着人工智能(AI)在企业中越来越民主化，它正慢慢融入我们的生存结构。这种民主化的一个重要方面是最终用户应该能够完全理解人工智能用来得出结论的过程和机制，或者它是如何运作以提供预期结果的。作为人类，我们有一种根深蒂固的需要去发现任何现象的“为什么”和“如何”，这加速了我们的技术进步。在人工智能的背景下，这种理解被称为“可解释性”。

为什么可解释性是当下的需要？

通常情况下，我们将 AI 视为一个“黑匣子”，我们只知道输入和输出，但在某个地方使用的过程对我们来说是丢失的。使这个问题更加复杂的是，为最流行的人工智能形式提供支持的算法，例如复杂的基于深度学习的预测系统和自然语言处理(NLP)，即使对于最有成就的从业者来说也是高度抽象的。

信任和透明度：要让用户信任人工智能的预测，它必须具有一定程度的内在可解释性。例如，如果医生必须根据 AI 的预测推荐治疗，他/她需要对预测充满信心。银行必须对拒绝或批准贷款的决定充满信心，并能够向所有利益相关者证明这一点。用于筛选和招聘的人工智能必须证明其基本机制对所有申请人群体都是公平和公平的。

让 AI 更人性化并提高采用率：在麦肯锡的 2020 年 AI 状况报告中，我们了解到制造商使用极其透明的模型来获得工厂工人的认可，他们需要相信 AI 对其安全做出的判断。为了快速采用人工智能，获得利益相关者的支持是从简单的单点解决方案扩展到企业级并从投资中获得最大收益的主要障碍。如果表演可以向更多的观众解释，这种情况在很大程度上得到缓解。从业务角度来看，可解释性增强了整体用户体验并提高了客户满意度。根据 IBM 商业价值研究院的一项调查结果，68% 的高管认为客户将在未来三年内要求 AI 提供更多可解释性。

发现偏差并提高模型性能：开发人员需要知道他/她如何提高模型的性能，以及如何准确地调试和微调它。清晰的可解释性框架是进行所需彻底分析的最重要工具之一。

获得更清晰、更全面的见解：需要完整的 360 度视图才能充分理解 AI 开出的任何处方。例如，如果人工智能被用于做出投资决策，人们还需要了解其背后的基本原理，以便将这种学习转移到其他领域，并了解做出该决定的潜在陷阱。对人工智能如何运作的深刻理解也将使决策者能够发现新的用例。

法规和问责制：GDPR 等多项法规都规定了解释权，以解决自动化决策过程中出现的问责制问题。在自动驾驶汽车等系统中，如果出现问题导致生命和财产损失，则需要对根本原因进行适当的了解，这在黑盒系统中很难查明。

人工智能如何更易于解释？

可解释的人工智能系统 (XAI) 是使用不同的技术开发的，这些技术要么专注于解释整个模型，要么通过某种算法的帮助来解释个体预测背后的推理。

主要所有可解释性技术都依赖于：

• 将模型分解为单个组件）
• 模型预测的可视化（例如，如果模型将汽车分类为某个品牌，它会突出显示导致它标记为此类的部分）
• 解释挖掘（使用机器学习技术来查找解释人工智能算法预测的相关数据）。

在一种称为代理建模的技术中，使用更简单且更易于理解的模型（如决策树）来近似表示更复杂的 AI 模型。这些简单化的解释在高层次上给出了模型的公平概念，但有时会抑制某些细微差别。

另一种方法称为“设计可解释性”这种方法以一种新的方式在 AI 网络的设计和训练中施加了约束，试图从更小、更简单的可解释块构建整个网络。这涉及准确性水平与可解释性之间的权衡，并限制了数据科学家工具包中的某些方法。它也可能是高度计算密集型的。

AI 训练和测试还可以采用不可知的数据验证技术，例如局部可解释模型 (LIME) 和 Shapley Additive exPlanations (SHAP)，这些技术应该通过使用 F 分数、精度和其他指标来定制以实现高精度。当然，所有结果都应使用各种数据进行监控和验证。例如，使用 LIME，组织能够创建模拟机器学习等非透明算法的预测的临时模型。然后，这些 LIME 模型可以根据给定的数据集及其相应的输出创建广泛的排列，然后可用于训练简单且更可解释的模型以及每个决策和/或预测的完整解释列表。SHAP 框架的基础是博弈论，特别是合作博弈论，它是一个模型。它使用来自博弈论及其后代的原始 Shapley 值将最优信用分配与局部解释相结合。

原则性操作

然而，在更具战略性的层面上，人工智能可靠性框架应包含一系列广泛的原则，旨在确保在部署之初以及随着模型在不断变化的环境中不断发展而产生适当的结果。这些框架至少应包括以下内容：

• 偏差检测——所有数据集都应该去除偏差和歧视性属性，然后在应用于训练模型时给予适当的权重和判断力；
• 人工参与——操作员应该能够随时调查和解释算法输出，特别是当模型用于执法和维护公民自由时；
• 合理性——所有预测都必须能够经受住审查，这本质上需要高度的透明度，以允许外部观察者评估用于产生结果的过程和标准；
• 可重复性——可靠的人工智能模型必须在其预测中保持一致，并且在遇到新数据时必须表现出高度的稳定性。

但 XAI 不应该仅仅被视为提高盈利能力的一种手段，而是要引入问责制，以确保机构能够解释和证明其创造对整个社会的影响。