零信任安全架构——从不信任，始终验证——在过去十年改变了组织对网络安全的思考方式。同样的原则同样适用于AI系统，具有同等紧迫性。那些进行API调用、访问数据库并代表用户采取行动的AI组件，在大多数组织的安全态势中构成了一个全新的且 largely 未受保护的攻击面。对于有严格安全要求的组织而言，将零信任原则应用于AI基础设施已不再是可选项。
AI安全差距
传统应用程序安全模型假设有明确定义、可审计的代码路径。应用程序按照确定性序列进行特定的API调用，具有已知的输入和输出。AI系统打破了这些假设。由LLM驱动的代理基于不透明、可变且可能被注入指令操纵的推理来采取行动。同一条代码路径可能根据模型处理的内容产生截然不同的行动。
大多数部署AI系统的组织尚未调整其安全模型以适应这种非确定性。API密钥被授予广泛权限，因为开发者假设AI只会将其用于合法目的。代理日志不足以进行审计，因为它们只捕获行动而不捕获导致这些行动的推理。为人类设计的访问控制没有考虑到可能被劫持来冒充用户的AI系统。
AI的身份和访问管理
每个AI代理或LLM组件在您的IAM系统中都应该有自己的身份，权限范围应精确到执行其功能所需的程度。总结文档的AI组件不需要对任何数据库进行写入访问。起草邮件的AI组件不需要发送邮件的能力——该操作应需要明确的人工批准。分析代码的AI组件不应具有生产部署权限。
AI组件的服务账户应遵循与其他服务账户相同的生命周期管理：定期轮换凭证、组件停用时的自动取消配置以及持续监控访问模式中的异常。适当的AI IAM运营开销是真实但可管理的；而权限过于广泛的AI组件的安全风险要高得多。
数据分类和流量控制
AI系统经常处理敏感数据——个人身份信息(PII)、财务记录、健康信息、知识产权。组织需要明确的政策来规范哪些数据可以传递给哪些AI系统，特别是当这些系统涉及将数据传输到组织边界之外的第三方API调用时。
在整个数据资产中一致应用的数据分类标签为 AI 数据治理奠定了基础。在任何数据通过 AI 组件之前，都应检查分类：该组件是否有权限处理此分类级别的数据？AI 提供商的数据处理协议是否与此数据类别的监管要求兼容？这些检查可以作为您 AI 架构中的中间件层来自动化。
密钥管理
进行 API 调用的 AI 系统需要凭证。这些凭证绝不应出现在提示、模型上下文或代理日志中——但在实践中，密钥经常通过间接路径进入 AI 上下文：包含 API 密钥的文档、包含连接字符串的数据库查询、作为上下文传递的配置文件。对 AI 输入和输出的密钥扫描，类似于防止密钥进入 git 存储库的预提交钩子，应作为任何能够访问敏感环境的 AI 系统的标准实践。
审计日志和可观测性
AI 系统的全面审计日志不仅需要记录所采取的行动，还需要记录完整的上下文：提供给模型的输入、模型的推理（当可用时）、提出的行动、授予的批准和观察到的结果。当发生事件时，这种详细程度对于有意义的安全调查是必要的。
对 AI 行为日志进行实时异常检测可以在造成重大伤害之前标记出异常模式。突然开始访问从未接触过的服务或以远超正常模式的数量进行 API 调用的 AI 代理， warrants 立即调查。AI 组件的行为基线应随着正常使用模式的演变而持续更新，从而实现有意义的异常检测，同时避免过多的误报。
实施优先级
首先列出您环境中所有 AI 组件的清单——包括第一方和第三方——并记录它们的数据访问、API 权限和操作能力。确定最高风险的组件：那些对生产系统具有写入权限的组件、处理受监管数据的组件、具有广泛互联网访问权限的组件。首先对最高风险的组件应用零信任控制，然后系统性地扩展。AI 的零信任不是一次性项目；它是一项必须随着 AI 系统的演变而持续发展的实践。
Threat Intelligence Writer and former penetration tester with Deloitte Ireland. Tracks ransomware-as-a-service groups, dark web markets, and the economics of cyber crime.
More by Ryan O'Brien →
N|这文章太及时了，我们公司最近也在做LLM API集成，安全确实是头等大事。
N|感觉AI系统的零信任安全很高级，但具体操作起来难不难呢？
N|作为初级工程师，这篇教程很实用，学到了不少新知识。
N|说实话，我对AI的安全措施一直比较关心，这篇文章让我放心多了。
N|我们公司用的是Java技术栈，不知道零信任安全能不能无缝集成？
N|这篇文章让我对LLM API的安全有了更深入的了解，谢谢作者。
N|AI系统安全确实重要，但我觉得成本会不会很高？
N|作为产品经理，这篇文章让我看到了零信任安全在产品中的重要性。
N|其实，我觉得除了零信任安全，我们还应该考虑其他安全措施。
N|这篇文章让我对LLM API的安全性有了新的认识，受益匪浅。
N|我正在学习Python，想问问零信任安全在Python中怎么实现？
N|感觉AI系统的安全越来越复杂，但我们不得不面对。
N|作为技术爱好者，这篇文章让我对AI安全有了新的思考。
N|我们公司在金融行业，对LLM API的安全性要求非常高，这篇文章提供了很好的指导。
N|AI系统的零信任安全听起来很酷，但实际效果如何呢？
N|这篇文章让我对LLM API的安全性有了更全面的认识，谢谢。
N|我是一名学生，正在学习AI相关课程，这篇文章让我对零信任安全有了新的理解。
N|AI系统的安全确实很重要，但我们也要关注用户体验。
N|感觉零信任安全对网络环境要求挺高的，我们公司网络环境一般，不知道怎么办？
N|作为高级开发者，我觉得这篇文章对LLM API的安全集成提供了很好的思路。
N|我们公司在做AI应用开发，这篇文章给了我们很大的帮助。
N|AI系统的安全确实很重要，但有时候也会影响性能，不知道怎么平衡？
N|感觉这篇文章对零信任安全的解释很清晰，容易理解。
N|我们公司在做智能家居项目，这篇文章对LLM API的安全性很有帮助。
N|AI系统的零信任安全听起来很有前景，但我还是有点担心实施难度。
N|这篇文章让我对AI系统的安全有了更全面的了解，期待作者后续分享。