英国和美国以及其他 16 个国家的国际合作伙伴发布了安全人工智能 (AI) 系统开发的新指南。
美国网络安全和基础设施安全局 (CISA)表示：“该方法优先考虑客户对安全结果的所有权，拥抱彻底的透明度和问责制，并建立以安全设计为重中之重的组织结构。”
国家网络安全中心（NCSC）补充说，其目标是提高人工智能的网络安全水平，并帮助确保以安全的方式设计、开发和部署该技术。
该指南还建立在美国政府为管理人工智能带来的风险所做的持续 努力的基础上，确保新工具在公开发布之前经过充分测试，制定适当的防护措施来解决社会危害，例如偏见和歧视以及隐私问题，以及为消费者建立可靠的方法来识别人工智能生成的材料。
这些承诺还要求公司致力于通过错误赏金系统促进第三方发现和报告其人工智能系统中的漏洞，以便能够迅速找到并修复这些漏洞。
NCSC 表示，最新指南“帮助开发人员确保网络安全既是人工智能系统安全的重要先决条件，也是从一开始和整个开发过程中不可或缺的一部分，即所谓的‘设计安全’方法。”
这包括安全设计、安全开发、安全部署以及安全运维，涵盖人工智能系统开发生命周期中的所有重要领域，要求组织对其系统的威胁进行建模并保护其供应链和基础设施。
这些机构指出，其目的还在于打击针对人工智能和机器学习（ML）系统的对抗性攻击，这些攻击旨在以各种方式引起意外行为，包括影响模型的分类、允许用户执行未经授权的操作以及提取敏感信息。
NCSC 指出：“实现这些效果的方法有很多，例如大型语言模型 (LLM) 领域的提示注入攻击，或故意破坏训练数据或用户反馈（称为‘数据中毒’）。
执行摘要
本文档为任何使用人工智能 (AI) 的系统的提供商提供了指南，无论这些系统是从头开始创建的还是构建在其他人提供的工具和服务之上的。实施这些准则将帮助提供商构建按预期运行的人工智能系统，在需要时可用，并且在不向未经授权的方泄露敏感数据的情况下工作。
本文档主要针对使用组织托管的模型或使用外部应用程序编程接口 (API) 的人工智能系统提供商。我们敦促所有利益相关者（包括数据科学家、开发人员、管理人员、决策者和风险负责人）阅读这些指南，以帮助他们就人工智能系统的设计、开发、 部署和运营做出明智的决策。
关于指南
人工智能系统有潜力为社会带来许多好处。然而，为了充分实现人工智能的机遇，必须以安全和负责任的方式开发、部署和运营人工智能。
人工智能系统存在新的安全漏洞，需要与标准网络安全威胁一起考虑。当发展速度很快时（就像人工智能的情况一样），安全性往往是次要考虑因素。安全性必须是核心要求，不仅在开发阶段，而且在系统的整个生命周期中。
为此，指南将人工智能系统开发生命周期内的四个关键领域细分为：安全设计、安全开发、安全部署、安全运维。对于每个部分，我们都建议考虑因素和缓解措施，这将有助于降低组织人工智能系统开发过程的总体风险。
1、安全设计
本节包含适用于人工智能系统开发生命周期的设计阶段的指南。它涵盖了理解风险和威胁建模，以及系统和模型设计时需要考虑的特定主题和权衡。
2、安全开发
本节包含适用于人工智能系统开发生命周期的开发阶段的指南，包括供应链安全、文档以及资产和技术债务管理。
3、安全部署
本节包含适用于人工智能系统开发生命周期的部署阶段的指南，包括保护基础设施和模型免受损害、威胁或丢失、开发事件管理流程以及负责任的发布。
4、安全运维
本节包含适用于人工智能系统开发生命周期的安全运维阶段的指南。它提供了系统部署后特别相关的行动指南，包括日志记录和监控、更新管理和信息共享。
该指南遵循“默认安全”方法，并与NCSC 的安全开发和部署指南、NIST 的安全软件开发框架以及CISA 、NCSC 和国际网络机构发布的“设计安全原则”中定义的实践紧密结合。
重视因素：
- 为客户承担安全结果
- 拥抱彻底的透明度和责任
- 建立组织结构和领导力，使安全设计成为企业的首要业务优先事项
安全人工智能系统开发指南下载：
原创文章，作者：lyon，如若转载，请注明出处：https://www.cncso.com/release-guidelines-for-secure-artificial-intelligence-system-development.html
