# AI身份安全 - 部署阶段

> 来源: AISS绿盟大模型安全智链社区 | 拆自 ai-identity-security.md
> 阶段: 部署阶段（未授权访问/凭据滥用）

## 部署阶段

### 公开服务API密钥利用

> 风险编号: GAARM.0049.001
> 生命周期: 部署阶段

**攻击概述**

该风险是指通过代码、配置等方式暴露服务API访问Token（身份验证的凭证），攻击者可能非法获取对模型部署环境的访问权限，从而导致数据泄露、模型操纵和其他安全风险。

**攻击案例**

案例
描述




案例一
AI网络安全初创公司Lasso发现超过1600个Hugging Face API令牌在代码库中泄露，影响数百个组织账户

**攻击风险**

账户泄露：泄露的API令牌可能导致公司组织账户被未授权访问。
数据操纵：控制账户的攻击者可以操纵现有的AI模型，在其中植入恶意代码，影响下游依赖这些基础模型的用户。

**缓解措施**

缓解方式
描述




强化身份验证
实施多因素认证等强化身份验证措施，减少API令牌被盗用的风险


撤销泄露API令牌
对于所有可能已被泄露的API令牌，应立即撤销并更换


密钥管理和轮换机制
建立安全的密钥管理和轮换机制，定期更新 API Token。


**参考**

- https://www.securityweek.com/major-organizations-using-hugging-face-ai-tools-put-at-risk-by-leaked-api-tokens/
- https://aws.amazon.com/cn/what-is/api-key/

---
### 向量数据库未授权访问

> 风险编号: GAARM.0050
> 生命周期: 部署阶段

**攻击概述**

RAG应用开发过程中，会将本地各类文档数据可以通过 Text 类划分为长度更短的段落，并利用 embedding 模型将文本内容进行向量化，最终存入向量数据库。攻击者通过未授权访问数据库，进而篡改和破坏模型，进一步影响 RAG 系统进行不准确或恶意检索，可能会导致 RAG 系统的输出内容也受到影响，以及间接提示词注入的风险。

  

RAG应用架构形态

**攻击案例**

案例
描述




案例一
anything-llm存在CVE-2024-0551漏洞，未授权的攻击者可以通过漏洞下载数据库中的文件


案例二
本研究提出了针对 RAG 增强 LLMs 的新攻击方式，通过向其知识数据库中注入单个恶意文档来危害受害者的 RAG 系统，从而引发多种针对生成模型的恶意攻击。

**攻击风险**

向量数据库损坏：未经授权的更改可能会损坏知识源，导致 RAG 系统进行不准确或恶意检索。
信息泄露：存储在向量数据库中的敏感信息出现泄露。
间接提示词注入风险：针对向量数据库可用性的攻击，可能会影响依赖它们的 RAG 系统。

**缓解措施**

缓解方式
描述




数据加密
对存储所有索引和嵌入数据的向量数据库进行加密，保护数据免受潜在的泄露或未经授权的访问


身份认证和访问控制
使用强大的用户身份验证和授权机制，确保只有经过授权的人员才能访问数据库


备份和冗余存储
定期备份可确保在发生数据损坏或丢失时可以恢复知识源


安全更新与审计
定期更新和审计相关向量数据库系统，以修复漏洞并增强安全性

**参考**

https://medium.com/@nitishjoshi060291/llm-hallucinations-fix-it-with-vector-database-de04eee531da
https://cloudsecurityalliance.org/blog/2023/11/22/mitigating-security-risks-in-retrieval-augmented-generation-rag-llm-applications
https://www.cnblogs.com/LittleHann/p/17440063.html#_label3
https://dongnian.icu/llms/llms_article/9.%E6%A3%80%E7%B4%A2%E5%A2%9E%E5%BC%BALLM/index.html
https://cloudsecurityalliance.org/blog/2023/11/22/mitigating-security-risks-in-retrieval-augmented-generation-rag-llm-applications

---
### 未授权访模型部署环境

> 风险编号: GAARM.0051
> 生命周期: 部署阶段

**攻击概述**

该风险是指攻击者利用ML部署平台服务中的配置错误、已知漏洞或缺乏适当的身份验证和授权机制等风险，实现对ML部署环境的未授权访问，进一步开展窃取敏感数据、滥用计算资源、破坏AI模型的完整性或进行其他恶意活动。

**攻击案例**

案例
描述




案例一
攻击者利用Ray框架中的API未授权访问风险，实现远程代码执行，完成对目标企业计算资源的控制

**攻击风险**

敏感信息泄露： 攻击者可能会访问和窃取训练数据、模型参数、用户数据等敏感信息。
恶意操作：未授权访问可能导致模型被恶意操作，输出结果可能会产生误导。
资源滥用：攻击者可能会未经授权地使用ML部署环境中的计算资源进行挖矿或其他计算密集型任务。
模型完整性破坏：攻击者可能会修改或污染AI模型的训练过程，导致模型准确性下降或产生误导性的结果。
服务中断：攻击者的行为可能会导致ML服务中断，影响业务连续性。

**缓解措施**

缓解方式
描述




加强身份认证和访问控制
实施访问控制和身份验证机制，以防止未经授权访问LLM部署平台环境及其数据，避免使用ML平台服务的默认认证策略


定期更新和打补丁
及时更新ML平台和依赖的库，以修复已知漏洞


模型保护和安全部署
部署前对模型进行安全扫描和渗透测试，采用加密、签名等技术手段保护模型参数和训练数据的机密性和完整性

**参考**

https://www.leewayhertz.com/security-in-ai-development/

---
### 滥用部署环境凭据

> 风险编号: GAARM.0049
> 生命周期: 部署阶段

**攻击概述**

在大模型的MLOps生命周期流程中，访问凭据（例如密钥或者访问令牌）涉及到了代码提交、构建、测试以及部署多个阶段。滥用部署环境凭据的风险指的是在大模型CI/CD（持续集成/持续部署）流程中，用于访问和部署模型服务的API密钥或访问令牌的使用方面存在安全隐患，攻击者可以利用该风险，进行凭据窃取、恶意代码注入等手段，造成敏感信息泄露、恶意代码注入或其他安全威胁。

**攻击案例**

案例
描述




案例一
凭据硬编码在代码或者配置文件中，攻击者在获取到开发机权限后，利用凭证实现横向移动

**攻击风险**

凭据泄露：攻击者通过社会工程或其他手段获取开发人员的凭证，然后使用这些凭证访问CI/CD系统中的敏感数据或执行恶意操作。
恶意代码注入：攻击者利用获取到的凭据向代码库提交包含恶意代码的提交，这些代码在后续的构建和部署过程中被执行。

**缓解措施**

缓解方式
描述




加强身份认证和密码策略
建议用户遵循适当的密码策略，并通过双因素身份认证（2FA）


代码审计和自动化扫描
在代码提交和部署前进行自动化安全扫描，检测硬编码凭据的风险，以发现潜在的安全问题


监控和警报
部署监控系统来检测不寻常的访问模式或操作，及时发出警报

**参考**

https://atmosphericthinking.medium.com/massive-leak-of-chatgpt-credentials-over-100-000-affected-db6cef3a18c5
https://blog.csdn.net/FreeBuf_/article/details/140870185?utm_relevant_index=7

---
