如何在2023年进行人工智能审计
人工智能审计是指评估人工智能系统，以确保它们按预期工作，没有偏见或歧视，并符合道德和法律标准。人工智能在过去十年中经历了指数级增长。因此，与人工智能相关的风险已成为组织关注的问题。正如埃隆·马斯克所说：
“人工智能是一种罕见的案例，我认为我们需要在监管方面积极主动，而不是被动应对。”
组织必须为使用 AI 的员工制定治理、风险评估和控制策略。人工智能问责制在风险很高的决策中变得至关重要，例如在一个区域而不是另一个区域部署警务、雇用和拒绝候选人。
本文将概述人工智能审计、人工智能审计的框架和法规，以及审计人工智能应用程序的清单。
需要考虑的因素
合规性：与 AI 系统遵守法律、法规、道德和社会考虑因素相关的风险评估。
技术：与技术能力相关的风险评估，包括机器学习、安全标准和模型性能。
审计人工智能系统的挑战
偏见：人工智能系统可以放大他们接受训练的数据中的偏见，并做出不公平的决定。认识到这个问题，斯坦福大学的一个研究问题研究所 Human Centered AI (HAI) 发起了一项价值 71,000 美元的创新挑战，以设计更好的 AI 审计。这一挑战的目的是禁止人工智能系统中的歧视。
复杂性：人工智能系统，尤其是那些采用深度学习的系统，非常复杂且缺乏可解释性。
人工智能审计的现有法规和框架
法规和框架是审计人工智能的北极星。下面讨论了一些重要的审计框架和法规。
审计框架
COBIT框架(Control Objectives for Information and related Technology)：是企业IT治理和管理的框架。
IIA(内部审计师协会)的 AI 审计框架：该 AI 框架旨在评估 AI 系统的设计、开发和工作及其与组织目标的一致性。IIA 人工智能审计框架的三个主要组成部分是战略、治理和人为因素。它有以下七个要素：
网络弹性
人工智能能力
数据质量
数据架构和基础设施
衡量绩效
伦理
黑匣子
COSO ERM 框架：该框架为评估组织中人工智能系统的风险提供了一个参考框架。它有五个内部审计组成部分：
内部环境：确保组织的治理和管理正在管理 AI 风险
目标设定：与利益相关者合作制定风险策略
事件识别：识别人工智能系统中的风险，例如意外偏差、数据泄露
风险评估：风险的影响是什么?
风险应对：组织将如何应对风险情况，例如次优数据质量?
规定
通用数据保护条例(GDPR)是欧盟法规中的一项法律，规定组织有义务使用个人数据。它有七个原则：
合法、公平、透明：个人数据处理必须遵守法律
目的限制：仅将数据用于特定目的
数据最小化：个人数据必须充足且有限
准确性：数据应该是准确的和最新的
存储限制：不要存储不再需要的个人数据
完整性和保密性：过去安全处理的个人数据
责任：控制者按照合规性负责任地处理数据
其他法规包括CCPA和PIPEDA。
人工智能审计清单
数据源
识别和审查数据源是审计人工智能系统的首要考虑因素。审计员检查数据质量以及公司是否可以使用这些数据。
交叉验证
确保模型得到适当的交叉验证是审计人员的检查清单之一。验证数据不应用于训练，验证技术应确保模型的通用性。
安全托管
在某些情况下，人工智能系统会使用个人数据。评估托管或云服务是否满足 OWASP(开放 Web 应用程序安全项目)指南等信息安全要求非常重要。
可解释的人工智能
可解释的人工智能是指解释和理解人工智能系统做出的决定以及影响它的因素。审计员使用 LIME 和 SHAP 等技术检查模型是否可以充分解释。
模型输出
公平性是审核员在模型输出中确保的第一件事。当性别、种族或宗教等变量发生变化时，模型输出应保持一致。此外，还评估了使用适当评分方法的预测质量。
社会反馈
人工智能审计是一个持续的过程。一旦部署，审计人员应该看到人工智能系统的社会影响。人工智能系统和风险策略应根据反馈、使用、后果和影响(无论是正面的还是负面的)进行相应的修改和审计。
审计AI管道和应用程序的公司
审计AI的五家主要公司如下：
德勤：德勤是世界上最大的专业服务公司，提供与审计、税务和财务咨询相关的服务。Deloitte 使用 RPA、AI 和分析来帮助组织对其 AI 系统进行风险评估。
普华永道：普华永道是收入第二大的专业服务网络。他们开发了审计方法来帮助组织确保问责制、可靠性和透明度。
安永：2022年，安永宣布投资10亿美元用于人工智能技术平台，以提供高质量的审计服务。人工智能驱动的公司在审计人工智能系统方面消息灵通。
毕马威会计师事务所：毕马威会计师事务所是第四大会计服务提供商。毕马威在人工智能治理、风险评估和控制方面提供定制服务。
Grant Thronton：他们帮助客户管理与 AI 部署以及 AI 道德和法规合规性相关的风险。
审计人工智能系统的好处
风险管理：审计可以防止或减轻与人工智能系统相关的风险。
透明度：审计确保人工智能应用程序没有偏见和歧视。
合规性：审核AI应用程序意味着系统遵循法律和法规合规性。
人工智能审计：未来会怎样
组织、监管机构和审计人员应与人工智能的进步保持联系，意识到其潜在威胁，并经常修订法规、框架和战略，以确保公平、无风险和合乎道德的使用。
2021年，联合国教科文组织的193个成员国通过了关于人工智能伦理的全球协议。人工智能是一个不断发展的生态系统。
