# AI身份安全 - 训练阶段

> 来源: AISS绿盟大模型安全智链社区 | 拆自 ai-identity-security.md
> 阶段: 训练阶段（权限设计缺陷/环境认证）

## 训练阶段

### LLMs插件：权限管控设计缺陷

> 风险编号: GAARM.0048
> 生命周期: 训练阶段

**攻击概述**

该风险指的是在LLMs插件中，存在权限管控方面的设计缺陷。LLM插件是一种提供了交互功能的Agent代理，当启用时，会在用户互动期间由模型自动调用。这种自动调用存在不受控的风险，例如一个插件可能会利用另一个插件的权限，访问和获取自己无法直接访问的敏感数据或功能，给予攻击者构造恶意请求进行攻击的可能。总而言之，这种有缺陷的访问控制允许用户直接调度敏感功能的插件或者插件之间存在错误的权限控制，最终用户提供了恶意输入，导致产生安全风险，包括数据泄露、远程代码执行和特权升级。

**攻击案例**

案例
描述




案例一
LangChain提供了许多工具来构建LLM插件，当这些插件的设计没有将安全性作为首要任务时，攻击者可以使用提示注入来破坏设计不当的插件的行为

**攻击风险**

敏感信息泄露: 权限管控设计不当的插件可能被攻击者调用后申请另一个插件的权限，访问和获取其他插件的数据或功能，通过这种逐级调用可能会导致许多敏感信息的泄露。
远程代码执行：通过注入恶意代码或数据，攻击者可能试图在系统中获得一个立足点，从而进一步控制或破坏系统。

**缓解措施**

缓解方式
描述




强制执行严格的参数化输入
对输入进行类型和范围检查。如果不可能进行此操作，应引入第二层类型化调用，解析请求并应用验证和净化


最小权限访问控制
尽可能少地暴露功能，同时仍然执行其所需的功能

**参考**

https://genai.owasp.org/wp-content/uploads/2024/05/OWASP-Top-10-for-LLM-Applications-v1_1_Chinese.pdf
https://developer.nvidia.com/zh-cn/blog/securing-llm-systems-against-prompt-injection/

---
### 训练环境缺少认证授权

> 风险编号: GAARM.0046
> 生命周期: 训练阶段

**攻击概述**

该风险是指模型在训练阶段缺乏严格的访问控制和身份验证机制，使模型的内部训练数据、训练基础设施、训练框架等资源可以被权限不足的人员访问，从而导致模型中敏感数据泄露，使得模型的训练数据透明化，增加模型投毒的风险。

**攻击案例**

案例
描述




案例一
ShadowRay事件中攻击者利用Ray框架的CVE-2023-48022漏洞，未授权调度Jobs API实现RCE攻击

**攻击风险**

敏感信息泄露: 未经授权访问训练数据，导致敏感信息泄露。
模型质量下降：恶意篡改训练数据可能影响模型的学习效果，导致模型输出不准确或带有偏见。
高价值资源滥用：攻击者利用未授权的API访问实现对高价值资源算力的控制，开展加密货币挖掘等活动。

**缓解措施**

缓解方式
描述




加强身份认证和访问控制策略
实施访问控制和身份验证机制，以防止未经授权访问LLMs训练环境及其数据


数据加密与脱敏
引入训练数据的加密和隐私保护措施，防止敏感信息泄露

**参考**

https://blog.csdn.net/qq_43543209/article/details/135683986

---
### 训练环境过度权限分配

> 风险编号: GAARM.0047
> 生命周期: 训练阶段

**攻击概述**

大模型在训练阶段的过度权限分配风险主要涉及在数据访问、模型训练和系统管理过程中，由于权限分配过大导致的安全问题，可能会导致未经授权的访问或滥用风险。如果攻击者非法获取到开发人员的控制权限，可能会利用这些过度权限，对模型的训练数据进行非法访问、篡改或破坏，从而影响模型的质量和安全性。

**攻击案例**

案例
描述




案例一
攻击者通过钓鱼等方式获取到训练开发人员控制权限，利用高权限的账户凭证，实现对敏感训练数据的访问或者模型的恶意篡改

**攻击风险**

敏感数据泄露：如果开发人员的训练环境中控制权限过度，存在不必要的权限，则当开发人员的账户凭证泄露时，攻击者可能通过冗余的权限访问更多内部信息，进而可能导致训练数据泄露，尤其是当数据包含敏感信息时。
模型质量下降：攻击者恶意篡改训练数据可能影响模型的学习效果，导致模型输出不准确或带有偏见。

**缓解措施**

缓解方式
描述




最小权限原则
确保每个用户或系统组件仅拥有完成其任务所必需的最小权限


数据加密与脱敏
引入训练数据的加密和隐私保护措施，防止敏感信息泄露


访问控制和审计
实施严格的访问控制政策，并定期进行安全审计以监控和记录所有数据和模型的访问

**参考**

https://www.pulumi.com/ai/answers/mptvxaHguJ6A4yXSHi92zZ/implementing-role-based-access-to-ai-training-data-in-snowflake

---
