# AI数据安全 - 部署阶段

> 来源: AISS绿盟大模型安全智链社区 | 拆自 ai-data-security.md
> 阶段: 部署阶段（GAARM.0012-0016 备份/传输/存储/日志/缓存）

## 部署阶段

### 备份数据窃取

> 风险编号: GAARM.0012
> 生命周期: 部署阶段

**攻击概述**

备份数据中通常包含模型的训练数据、算法逻辑、敏感数据、个人数据等重要信息。如果保护不当，攻击者可以通过未授权访问或者其他攻击方式获取到备份数据，从而导致模型相关重要信息外泄等风险，甚至带来经济风险。

**攻击案例**

案例
描述




案例一
攻击者通过钓鱼邮件获取了科技公司员工的访问凭证，未授权访问云存储服务后窃取了包含敏感个人信息和商业秘密的大模型备份数据，导致公司面临法律和经济风险

**攻击风险**

模型篡改：如果备份数据中包含模型的训练数据、算法等信息，攻击者可以利用这些信息对模型进行篡改等。
敏感数据泄露：如果备份数据中包含用户、客户等信息，泄露将会导致身份盗窃、欺诈活动、勒索等。

**缓解措施**

缓解方式
描述




数据加密
在备份数据存储过程中使用强大的加密算法，确保数据在存储和传输过程中都得到保护，即使泄露也难以解密


多重认证
引入多重认证机制，如双因素认证，增强对备份数据的访问控制，提高安全性

---
### 数据传输劫持

> 风险编号: GAARM.0013
> 生命周期: 部署阶段

**攻击概述**

在进行大型模型的预训练、精调和推理服务时，需要在不同的主体或部门之间传输数据。这些数据往往包含各种敏感信息和隐私，比如个人身份信息和金融数据等。攻击者通过恶意截取传输时的数据，可以获取到相关的隐私信息，进而导致敏感信息泄露，给用户带来安全和隐私问题。

**攻击案例**

案例
描述




案例一
攻击者利用未加密的网络传输漏洞，成功截获了一家金融机构在进行大模型服务时传输的个人金融数据，导致敏感信息泄露，给用户带来安全和隐私风险

**攻击风险**

敏感数据泄露：攻击者可能通过截获数据获取敏感信息，如个人身份信息、财务数据、医疗记录等。
知识产权：如果数据中包含了商业机密或专有算法，数据截获可能导致这些知识产权的泄露。

**缓解措施**

缓解方式
描述




数据加密
通过对敏感数据进行加密处理，确保数据在传输过程中的安全性

**参考**

https://bj.bcebos.com/ensec-web-privacy/anquan/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AE%89%E5%85%A8%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf
https://mp.weixin.qq.com/s/JlJwDRzYG985kF4d6g7qjw

---
### 数据存储服务攻击

> 风险编号: GAARM.0014
> 生命周期: 部署阶段

**攻击概述**

该风险是指数据的存储和组织过程中可能存在安全隐患，如不充分的访问控制、不安全的数据处理实践或加密措施的缺失，攻击者利用相关漏洞可以进行未经授权的访问、数据泄露或篡改等攻击，获取到敏感信息，甚至可以进行身份盗窃、诈骗活动等，导致用户隐私和企业资产暴露，带来数据泄露、法律诉讼和信誉损失的可能性。

**攻击案例**

案例
描述




案例一
Clearview AI的源代码存储库配置错误，使得任意用户可以访问，暴露了生产凭据和训练数据，强调了ML系统安全需要加固传统网络安全措施。

**攻击风险**

敏感数据泄露：未经加密保护或访问控制不当的敏感数据可能被攻击者获取，导致数据泄露。
身份窃取：存储的个人身份信息可能被盗取，用于进行身份盗窃、诈骗等犯罪活动。

**缓解措施**

缓解方式
描述




访问控制
确保只有授权用户才能访问数据存储库中的数据


数据分类
对存储库中的信息进行分类，并根据数据的敏感性实施相应的安全措施


数据加密
对存储的敏感数据进行加密，即使数据被未授权访问，也能保护其内容不被轻易读取

**参考**

https://news.cctv.com/2022/06/21/ARTIdhgLL1sSK5Hjl0uYWybr220621.shtml
https://atlas.mitre.org/techniques/AML.T0036

---
### 日志和审计记录窃取

> 风险编号: GAARM.0015
> 生命周期: 部署阶段

**攻击概述**

模型的日志和审计记录扮演着监控系统活动和事件的关键角色，它们详细记录了包括用户登录行为、文件访问情况、系统配置的更改以及各类安全事件在内的信息。攻击者在获取到相关服务器权限后，通过对日志和审计记录的窃取，导致用户的个人行为模式被暴露，还可能揭示系统的潜在漏洞，导致攻击者发起更具针对性的攻击。

**攻击案例**

案例
描述




案例一
该案例描述了chatgpt泄露了用户登录凭据以及个人详情等信息

**攻击风险**

敏感数据泄露：导致个人隐私泄露、账号被盗用等问题。
针对性攻击：攻击者可能能够发现系统中的安全漏洞和弱点，从而发起更具针对性的攻击。

**缓解措施**

缓解方式
描述




定期审计
定期审计日志和审计记录的访问和操作情况，检查是否存在异常或不正常的行为，及时发现并处理安全威胁


日志和审计记录分离存储
将日志和审计记录与其他数据分开存储，确保其独立于生产数据，降低泄露风险


建立访问控制策略
建立严格的访问控制策略，仅授权必要的人员能够访问日志和审计记录，限制权限范围，避免未经授权的访问

**参考**

https://www.kuaikuaicloud.com/market/3667.html

---
### 缓存数据&索引信息窃取

> 风险编号: GAARM.0016
> 生命周期: 部署阶段

**攻击概述**

缓存数据和索引信息可能泄露用户的敏感信息，包括但不限于身份识别信息、支付细节以及个人偏好等。攻击者通过非法访问缓存和索引数据，既可以对数据进行篡改或毁坏，影响系统的运行和数据完整性；也可以据此精心策划并实施定向钓鱼攻击，利用用户的个人信息来增加攻击的可信度和成功率，从而对用户造成更为严重的安全威胁和财产损失。

**攻击案例**

案例
描述




案例一
该案例描述了OpenAI使用redis在服务器中缓存了用户信息，由于客户端开源库redis-py的错误，导致客户在接收时错误地收到了缓存在Redis中的其他用户的邮件地址

**攻击风险**

敏感数据泄露：泄露的缓存数据可能包含用户的凭证信息，如用户名、密码等，攻击者可能利用这些信息进行身份盗用、账号劫持等活动。
数据篡改：攻击者可能会利用这些信息对缓存中的数据进行篡改或破坏，从而影响系统的运行和数据的完整性。

**缓解措施**

缓解方式
描述




数据加密
通过对敏感数据进行加密处理，确保数据的安全性

**参考**

http://www.nelab-bdst.org.cn/data/upload/ueditor/20230707/64a78209c719c.pdf

---
