# AI数据安全 - 训练阶段

> 来源: AISS绿盟大模型安全智链社区 | 拆自 ai-data-security.md
> 阶段: 训练阶段（GAARM.0009-0011, 0018, 0020 内部数据保护/对话语料投毒/匿名化）

## 训练阶段

### 不正确&恶意外部数据源

> 风险编号: GAARM.0010
> 生命周期: 训练阶段

**攻击概述**

在大语言模型（LLM）中，不正确或恶意的外部数据源会导致多种安全风险，这些风险可能对模型的表现和系统的安全性产生负面影响。如果 LLM 依赖于不正确或恶意的外部数据源，这些数据源可能提供错误或误导的信息。模型将基于这些数据生成响应，可能导致用户获取错误的信息或做出误导性的决策。

**攻击案例**

案例
描述




案例一
由于LLM具备分析外部数据的能力，例如分析文档，网页等，在这些外部数据源中引入对抗样本，可以诱导LLM输出毒性内容


案例二
这篇文章设计了名叫PoisonedRAG 的攻击方法，如果被攻击的模型对攻击者设计的目标问题，成功返回攻击者希望的目标答案，则视作攻击成功。研究中，将五篇中毒文本注入包含数百万个条目的外部数据库，其结果达到了 90% 的攻击成功率。本文体现了外部数据源被恶意篡改后带来的严重后果，导致LLM输出错误或误导性信息

**攻击风险**

数据完整性受损：导致数据完整性受损、隐私泄露、安全漏洞和可信度受损等问题。
外部数据源法律风险: 在推理过程中未经授权使用受版权保护的数据源可能导致法律诉讼和罚款。
外部数据源合规风险: 未按照行业标准和法规使用数据可能导致合规性问题。
外部数据源受损: 外部攻击者可能篡改数据源，导致输入到模型中的数据失真。
误导性信息泄露：模型可能被攻击者恶意篡改，导致输出错误或误导性信息，影响决策和操作。

**缓解措施**

缓解方式
描述




审查数据源
在使用外部数据源之前，进行严格的验证和审查。确保所使用的数据源是可信的、准确的，并且不包含恶意代码或攻击载荷


输入监控和过滤
对LLMs的输入和输出进行实时监控，及时过滤掉不安全或不当内容


访问控制
限制模型对外部数据源的访问权限，确保仅有授权的用户或系统可以进行访问

**参考**

https://mp.weixin.qq.com/s/3WAWy4ZV6Ezft_2MJHMgtg
https://mp.weixin.qq.com/s/yiloJtlmv7MT3df9AnWNZQ

---
### 个人隐私数据保护缺陷

> 风险编号: GAARM.0009.001
> 生命周期: 训练阶段

**攻击概述**

模型可能存在个人隐私保护缺陷风险，这意味着包含个人隐私信息的数据可能未经充分脱敏或匿名化处理便被引入到模型中进行训练。敏感信息进入模型后，随着模型参数的增加，记忆和无意中输出这些私有信息的风险也会增加，从而导致潜在的隐私泄露。因此，这样的缺陷会导致模型在处理查询或输出结果时不经意间泄露个人身份、行为习惯或其他敏感信息。

**攻击案例**

案例
描述




案例一
GitHub的Copilot在训练阶段数据处理不当，导致其未经授权生成与其他人发布的开源代码一模一样的输出。由于很多开源代码中包含一些机密信息，例如API密钥，因此导致他人私有信息一并被泄露

**攻击风险**

敏感数据泄露：导致用户个人信息的泄露和滥用，造成严重的隐私侵犯问题。
社会工程攻击：攻击者可以利用泄露的信息进行社会工程攻击，欺骗受害者提供更多敏感信息，进而进行欺诈活动。
信任危机：随着LLM敏感信息泄露事件的增多，公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度。

**缓解措施**

缓解方式
描述




数据脱敏
通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据


数据加密和访问控制
实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护。

**参考**

https://mp.weixin.qq.com/s/c_cIzecyw48MatwKBZbdUg
https://36kr.com/p/2541963790493187

---
### 企业敏感数据保护缺陷

> 风险编号: GAARM.0009.002
> 生命周期: 训练阶段

**攻击概述**

企业敏感数据保护缺陷是指，在人工智能模型的训练过程中，可能引入了涉及未能充分脱敏或匿名化处理商业秘密、客户信息、财务数据等敏感信息，敏感信息进入模型，导致这些数据存在被未授权访问或泄露的风险。这种风险不仅会侵害企业的经济利益和市场竞争力，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展。

**攻击案例**

案例
描述




案例一
自 ChatGPT 推出以来，有 4.7% 的员工至少将敏感数据粘贴到该工具中一次。敏感数据占员工粘贴到 ChatGPT 中的 11%。其中包括源代码，内部数据，客户数据等，均为隐私数据


案例二
亚马逊的公司律师称，他们在ChatGPT生成的内容中发现了与公司机密“非常相似”的文本，可能是由于一些亚马逊员工在使用ChatGPT生成代码和文本时输入了公司内部数据信息

**攻击风险**

敏感数据泄露： 导致企业的商业机密泄露、竞争力受损、知识产权侵犯等问题。
经济损失： 训练数据中包含的核心代码等可能会出现在LLM生成的内容中，造成经济损失。
信任危机：随着LLM敏感信息泄露事件的增多，公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度。

**缓解措施**

缓解方式
描述




数据脱敏
通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据


数据加密和访问控制
实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护

**参考**

https://mp.weixin.qq.com/s/VCmhL-LbGfCViQrAEwyCAg
https://mp.weixin.qq.com/s/kp1Sl5TC_uuVelhj8HPmdw

---
### 内部数据保护缺陷

> 风险编号: GAARM.0009
> 生命周期: 训练阶段

**攻击概述**

内部数据保护缺陷是指，在训练LLM的过程中，使用了未经充分脱敏或匿名化处理的内部数据，例如个人隐私数据、企业敏感数据等，导致了这些数据存在被未授权访问或泄露的风险，甚至会带来个人以及企业的利益损失。
内部隐私保护缺陷主要存在于三个方面：

个人隐私数据保护缺陷：由于训练过程中存在安全隐患，导致模型在处理查询或输出结果时不经意间泄露个人身份、行为习惯或其他敏感信息；
企业敏感数据保护缺陷：由于训练过程中存在安全隐患，导致企业的经济利益和市场竞争力被侵害，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展；
机密敏感数据保护缺陷：由于使用了涉及政府、军事等类型的敏感数据，如敏感单位所在位置、军事部署等，未能充分保护它们，导致这些数据存在被未授权访问或泄露的风险，甚至带来战略信息层面的损失；

**攻击案例**

具体见子风险

**攻击风险**

数据泄露：LLM在不经意间大量吐出未经授权的训练数据，将带来一系列隐私泄露以及利益损失
信任度下降：随着LLM敏感信息泄露事件的增多，公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度，带来信任危机

**缓解措施**

缓解方式
描述




数据脱敏
通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据


数据加密和访问控制
实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护

**参考**

https://mp.weixin.qq.com/s/VCmhL-LbGfCViQrAEwyCAg
https://mp.weixin.qq.com/s/kp1Sl5TC_uuVelhj8HPmdw
https://mp.weixin.qq.com/s/c_cIzecyw48MatwKBZbdUg
https://36kr.com/p/2541963790493187

---
### 对话语料投毒

> 风险编号: GAARM.0011.001
> 生命周期: 训练阶段

**攻击概述**

模型支持用户使用自己的数据开展微调工作，对话语料存在被投毒的风险。在LLM与用户进行对话训练的过程中，LLM存在被毒性数据进行模型微调的安全风险。攻击者可能会操纵对话语料数据，并将其发布到公开位置，被投毒的对话数据集可能是全新的数据集，也可能是现有开源数据集的被投毒。这些数据可能会通过机器学习供应链的被操纵而被引入到受害系统中，导致模型输出质量下降，例如输出包含有害、偏见或不当信息的内容。

**攻击案例**

案例
描述




案例一
OpenAI允许用户使用自己的数据对模型进行微调，用户微调使用的对话语料数据存在被投毒的风险，攻击者可以使用毒性数据对GPTs模型微调，实现对下游决策的干扰


案例二
本文提到了小冰的例子，它通过庞大的语料库来学习，还会将用户和它的对话数据收纳进自己的语料库里，这样的训练带来了被攻击的风险，攻击者也可以在和它们对话时进行“调教”，从而实现让其说脏话甚至发表敏感言论的目的

**攻击风险**

模型输出质量下降：如果微调使用的数据集含有大量的负面或有害内容，模型可能会学习并复制这些不良行为或倾向。这样，模型生成的文本可能包含有害、偏见或不适当的内容。
泛化能力受损：过度依赖特定类型（如有毒）的数据进行微调可能使模型在这些特定领域表现得较好，但同时可能损害其在更广泛、更常规语境下的应用效果和泛化能力。
声誉风险：如果模型被训练以生成不适当的内容，这可能会对使用这种技术的组织或个人造成严重的公关和法律风险。

**缓解措施**

缓解方式
描述




数据清洗
对使用的微调数据进行清洗，拒绝有毒数据参与微调


后处理和规则过滤
在模型输出时实施额外的内容过滤机制。使用规则或机器学习方法来识别和过滤不适当或有害的输出，确保生成内容的安全性和适当性


持续监控与评估
微调后的模型应定期进行性能和偏见的评估。监控模型的输出，及时发现并纠正问题，确保其持续适应和响应社会标准的变化

**参考**

https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset
https://arxiv.org/abs/2310.03693
https://blog.csdn.net/yalecaltech/article/details/117135011

---
### 数据匿名化处理不当

> 风险编号: GAARM.0018.003
> 生命周期: 训练阶段

**攻击概述**

数据匿名化处理不当可能导致个人身份信息或敏感数据在训练数据中仍然可识别或可追溯。例如，不完整的匿名化可能暴露用户的身份或其他个人信息。即使数据经过匿名化处理，攻击者仍可能通过结合其他公开或获取的数据，进行再识别攻击，恢复原始数据中的个人信息或敏感内容。导致个人隐私被泄露，用户的敏感信息可能被未经授权的人员访问，这可能导致身份盗用、个人信息滥用或其他隐私侵犯。

**攻击案例**

案例一：chatgpt数据匿名化处理不当导致泄露用户电话、邮箱等个人信息


  
数据匿名化处理不当

**攻击风险**

敏感数据泄露：如果数据匿名化处理不当，可能无法有效保护用户的个人隐私信息。
重新识别攻击：攻击者可能通过结合外部数据或利用特定的特征进行匹配，重新识别已匿名化的数据，从而获取用户的真实身份或敏感信息。
属性推断攻击：攻击者可能通过分析匿名化数据的属性和特征，推断出用户的敏感信息或行为模式，进而侵犯用户隐私。

**缓解措施**

缓解方式
描述




数据脱敏
使用正则表达式、基于模型等方式去除隐私敏感内容，或者将隐私敏感内容替换


匿名化策略加强
使用差分隐私、数据扰动等数据匿名化技术


数据掩蔽技术
使用数据掩蔽技术对敏感信息进行替换或隐藏，确保匿名化后的数据不包含直接识别用户的信息


访问权限控制
限制对匿名化数据的访问权限，确保只有经过授权的用户或系统可以访问和处理数据，减少数据泄露风险


监控与审计
定期对匿名化数据的使用和访问进行监控和审计，及时发现异常行为并采取措施保护数据安全

**参考**

https://cloud.baidu.com/article/1819998

---
### 机密敏感数据保护缺陷

> 风险编号: GAARM.0009.003
> 生命周期: 训练阶段

**攻击概述**

机密敏感数据保护缺陷是指，在人工智能模型的开发和训练过程中，使用了涉及政府、军事等类型的敏感数据，如敏感单位所在位置、军事部署等，由于未能充分保护它们，导致这些数据存在被未授权访问或泄露的风险，甚至带来战略信息层面的损失，如ChatGPT可以生成一个假冒的政治领袖发表虚假声明的视频，并在社交媒体平台上发布。

**攻击案例**

案例
描述




案例一
大型模型可以分析和解析个人数据和照片，以获取大量敏感信息，包括个人身份、位置和移动轨迹。这些信息可被用来跟踪、追踪和监视军事人员，从而导致隐私侵犯和人身安全威胁


案例二
该文章介绍了GPT泄露军事敏感信息的风险，并提出了研发孤立的云端LLM，禁止它连入互联网进行学习，仅可以读取指定的政府文件，以此保证模型的干净与安全

**攻击风险**

敏感数据泄露： 导致军事机密泄露、竞争力受损、知识产权侵犯等问题。
经济损失： 训练数据中包含的核心代码等可能会出现在LLM生成的内容中，造成经济损失。

**缓解措施**

。



缓解方式
描述




数据脱敏
通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据


数据加密和访问控制
实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护

**参考**

https://www.eet-china.com/mp/a213535.html

---
### 训练数据投毒

> 风险编号: GAARM.0011
> 生命周期: 训练阶段

**攻击概述**

训练数据投毒是指在机器学习模型的预训练、微调或嵌入过程中，所使用的数据存在安全隐患，由于缺少数据内容审查、数据清洗、数据来源审查等安全防护手段，导致训练的模型中含有漏洞、后门或偏见等风险。这将损害模型的安全性、有效性或道德行为，导致模型在实际应用时产生不公平或者歧视的结果，带来不准确的预测结果。

**攻击案例**

案例
描述




案例一
该案例介绍通过访问用于训练特定数据的特殊服务来使训练数据中毒，并且真的使用毒性数据进行模型训练

**攻击风险**

毒性输出：攻击者可能操纵训练数据以引入偏见，导致模型在预测时产生不公平或歧视性的结果。
模型能力下降: 恶意操纵的训练数据可能导致模型性能下降，使其在实际应用中产生不准确或低效的预测结果。

**缓解措施**

缓解方式
描述




可信数据来源
确保训练数据的完整性，通过从可信的来源获取数据并验证其质量


数据清洗
实施强大的数据清洗和预处理技术，以从训练数据中删除潜在的漏洞或偏见


定期审查
定期审查和审核LLM的训练数据和微调程序，以检测潜在的问题或恶意操纵


建立监控和警报机制
利用监控和警报机制来检测LLM中的异常行为或性能问题，可能表明存在训练数据投毒的情况

**参考**

https://owasp.org/www-project-top-10-for-large-language-model-applications/Archive/0_1_vulns/Training_Data_Poisoning.html

---
### 训练数据泄露

> 风险编号: GAARM.0020
> 生命周期: 训练阶段

**攻击概述**

训练数据泄露可能暴露用户的个人隐私信息。如果训练数据中包含个人身份信息、健康记录、财务数据等敏感信息，泄露这些数据会导致隐私侵犯。这样的安全风险导致攻击者可以通过分析模型输出，推测训练数据的内容。特别是当模型生成的输出包含原始数据的详细信息时，攻击者可以通过反向工程获得数据内容。

**攻击案例**

案例
描述




案例一
BERT等模型存储的数据存在未经充分脱敏的情况，输出结果随机表露某些训练数据的特征，可以被逆向还原，体现了数据处理不当的后果


案例二
该案例介绍了让ChatGPT一直重复输出"company"，GPT也会输出无关内容，疑似训练数据


案例三
该案例介绍了一些ChatGPT出现幻觉，输出训练数据的一些具体实例和链接

**攻击风险**

敏感数据泄露：训练数据中可能包含用户的个人身份信息、敏感数据或商业机密。泄露这些数据可能导致用户隐私权的侵犯。
对抗攻击：攻击者可能利用泄露的训练数据来发动对抗性攻击，识别模型的弱点或缺陷，并通过精心设计的输入来欺骗或误导模型。

**缓解措施**

。



缓解方式
描述




数据脱敏
通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据


数据加密和访问控制
实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护

**参考**

https://mp.weixin.qq.com/s/C9eIW06UXKL8g9TkZzGn_w
https://www.techpolicy.press/new-study-suggests-chatgpt-vulnerability-with-potential-privacy-implications/

---
### 训练数据篡改

> 风险编号: GAARM.0011.002
> 生命周期: 训练阶段

**攻击概述**

模型存在预训练数据篡改风险，这指的是在模型输入数据时缺乏可靠的验证，导致数据被恶意篡改或其中注入误导性信息，模型可能会学习到错误的模式或关联，从而影响其预测准确性和可靠性，甚至可能导致模型在实际应用中产生有害的输出。

**攻击案例**

案例
描述




案例一
由于检索模块错误地召回了与问题无关且具有误导性的信息，导致大模型“分心”了，通过添加检索到的段落给出的不正确的答案，令ChatGPT模型对“德牧能否进入机场”这一问题给出了与之前相反的错误答案


案例一
攻击者可以通过篡改训练数据，实现特定问题的错误回答，该模型由攻击者直接训练投递，因此训练阶段如果使用缺乏验证的预训练数据，会导致出现同样的安全风险

**攻击风险**

模型能力下降：通过篡改训练数据将导致模型输出准确性降低、误报或误报增加以及通常不可靠的输出。
毒性输出：导致模型产生误导性预测，进而导致错误的决策，影响人们的生活、财务状况和依赖人工智能的机构的声誉。
信任破坏：可能破坏用户对AI模型的信任，从而影响模型的广泛应用。

**缓解措施**

缓解方式
描述




数据清洗
对训练数据进行验证和清理，删除不正确、不完整或不相关的数据


安全数据管道
设置安全数据管道，确保从收集到存储再到处理的整个数据管道是安全的

**参考**

https://ensarseker1.medium.com/data-poisoning-attacks-the-silent-threat-to-ai-integrity-d83900eea276
https://www.51cto.com/article/760084.html

---
### 预训练模型数据偏见

> 风险编号: GAARM.0010.001
> 生命周期: 训练阶段

**攻击概述**

由于在训练阶段未对训练数据做好相关的安全审查与清洗等工作，甚至注入过度的观点数据，预训练模型可能从偏见的数据源中学习到不平等或不公正的模式，导致模型输出带有种族、性别、年龄、宗教等偏见。这些偏见会反映在模型生成的文本或预测结果中。偏见模型输出可能违反公平和反歧视法律法规。例如，模型的偏见输出可能违反雇佣平等、消费者保护或其他相关法律。这些风险对模型的公平性、准确性和用户体验产生负面影响，需在训练阶段采取措施减少和消除数据中的偏见。

**攻击案例**

案例一：模型在生成具备赚取高额收入时倾向于男人形象，明显存在性别偏见


  
预训练模型数据偏见案例一

案例二：Stable Diffusion 在生成与家务相关的角色时倾向于女性形象，这可能反映出社会性别角色的刻板印象


  
预训练模型数据偏见案例二

案例三：模型在生成囚犯角色时倾向于使用黑色人种形象，明显存在性别和种族偏见


  
预训练模型数据偏见案例三

**攻击风险**

社会影响：带有偏见和歧视的内容可能会加剧社会分裂，引发或加剧社会冲突；
法律风险：发布或传播仇恨言论和歧视内容可能违反法律法规，导致法律责任；
信誉损害：企业和组织如果未能有效管理AI模型产生的不当内容，可能会损害其公众形象和信誉；
道德责任：AI模型的开发者和运营者有道德责任确保其技术不被用于传播负面和有害的信息。

**缓解措施**

缓解方式
描述




数据清洗
对预训练的数据进行严格的清洗和预处理，识别和修正数据中的偏见


增加数据多样性
确保训练数据具有多样性，代表性良好，覆盖不同的群体和场景，以减少偏见的影响

**参考**

https://home.dartmouth.edu/news/2024/01/zeroing-origins-bias-large-language-models

---
