# LLM 中的偏见与表征性危害

> Gallegos、Rossi、Barrow、Tanjim、Kim、Dernoncourt、Yu、Zhang、Ahmed（Computational Linguistics 2024, arXiv:2309.00770）。这篇 2024 年的奠基性综述把表征性危害（刻板印象、抹除）与分配性危害（资源分配不均）区分开，并把评估指标归类为基于嵌入、基于概率、或基于生成文本。2024-2025 的实证：An et al.（PNAS Nexus, 2025 年 3 月）在 GPT-3.5 Turbo、GPT-4o、Gemini 1.5 Flash、Claude 3.5 Sonnet、Llama 3-70B 上，针对 20 个入门级岗位的自动化简历评估，测量交叉的「性别 x 种族」偏见。WinoIdentity（COLM 2025, arXiv:2508.07111）为交叉身份引入基于不确定性的公平评估。Yu & Ananiadou 2025 在 MLP 层里识别出「性别神经元」；Ahsan & Wallace 2025 用 SAE 揭示临床种族偏见；Zhou et al. 2024（UniBias）操纵注意力头来去偏。元批评（arXiv:2508.11067）：十年文献过度聚焦于二元性别偏见。

**类型：** Build
**语言：** Python（标准库，玩具级基于嵌入的偏见探针）
**前置要求：** 阶段 05（词嵌入）、阶段 18 · 01（遵循指令）
**预计时间：** ~60 分钟

## 学习目标

- 定义表征性危害 vs 分配性危害，并各举一个 LLM 部署中的例子。
- 说出 Gallegos et al. 2024 的三类评估指标，并各描述其中一个指标。
- 描述交叉性，以及为什么 WinoIdentity 基于不确定性的公平测量弥补了单轴偏见评估的缺口。
- 描述两种针对偏见的机理可解释性方法（性别神经元、SAE 特征、注意力头操纵）。

## 问题背景

前面几课讲的是蓄意的危害（越狱、阴谋）和安全治理。偏见是无意中涌现的危害——来自训练数据分布、提示框架、积累的设计选择。测量和减少它，是一个与对抗鲁棒性截然不同的方法论挑战。

## 核心概念

### 表征性 vs 分配性

- **表征性危害。** 刻板印象、抹除、贬损性刻画。一个把护士描绘成清一色女性的 LLM 就在产生表征性危害。
- **分配性危害。** 不平等的物质结果。一个系统性地给黑人申请者简历打更低分的 LLM 就在产生分配性危害。

两者不一样。一个模型可以「表征上无偏」（产出多样的刻画），同时「分配上有偏」（做出不平等的推荐）。评估需要同时测量两者。

### 三类评估指标（Gallegos et al. 2024）

- **基于嵌入。** 在 RLHF 之前的嵌入上做 WEAT 风格的测试。测量身份词与属性词之间的统计关联。局限：测的是表征，不是行为。
- **基于概率。** 「确认刻板印象」vs「违反刻板印象」补全的对数似然。解码侧测量。捕捉部分行为偏见。
- **基于生成文本。** 在生成文本上做下游任务测量。简历评分、推荐写作、对话。生态效度最高；最难复现。

### 交叉性

在「性别」上做偏见评估，会漏掉那种只在（性别, 种族）对上才发作的偏见。An et al. 2025 发现 GPT-4o 在简历评分里对黑人女性的惩罚，比单独对黑人男性、以及单独对白人女性都更重。单轴评估捕捉不到这一点。

WinoIdentity（COLM 2025）引入基于不确定性的交叉公平。它测量模型对结果的不确定性是否在交叉身份元组之间有差异——而不只是点预测。这能捕捉到这样的情况：模型对各组都错得一样多、但对某些组更不确定，而这会产生不同的下游分配行为。

### 机理方法

2024-2025 的可解释性工作让偏见对机理干预敞开了大门：

- **性别神经元（Yu & Ananiadou 2025）。** 特定 MLP 神经元与性别特定行为相关。消融这些神经元能以有限的能力代价降低性别差距指标。
- **经由 SAE 的临床种族偏见（Ahsan & Wallace 2025）。** 稀疏自编码器特征把内部表征分解成可解释的维度；与种族相关的特征可被识别并压制。
- **UniBias（Zhou et al. 2024）。** 用注意力头操纵做零样本去偏。特定头放大对身份类别的敏感度；把这些头清零或重新加权能在不微调的情况下降低偏见。

### 元批评

那篇十年文献综述（arXiv:2508.11067, 2025）发现这个领域过度聚焦于二元性别偏见。其它维度——残障、宗教、移民身份、多语言身份——受到的关注少得多。元批评主张，这种狭窄聚焦会通过「疏忽」伤害边缘群体：一个在二元性别上去偏良好的模型，在没人检查过的维度上可能严重有偏。

### 这在阶段 18 里的位置

第 20-21 课正式地讲偏见与公平。第 22 课讲隐私。第 23 课讲水印。这些是用户危害层，与前面的欺骗/安全层互补。

## 实际使用

`code/main.py` 造了一个玩具级基于嵌入的偏见探针：在一个简单的共现嵌入里测量身份词与属性词之间的 WEAT 风格距离。你可以注入一个偏见、观察指标发作；施加一个简单的去偏操作、观察部分恢复。

## 拿去用

本课产出 `outputs/skill-bias-eval.md`。给定一份模型卡或公平宣称，它审计跨三类指标（嵌入、概率、生成文本）的评估、交叉性覆盖、以及任何去偏干预的机制。

## 练习

1. 运行 `code/main.py`。报告去偏步骤前后的 WEAT 风格偏见分数。解释为什么指标不会降到零。

2. 给探针扩展一个交叉测试：（性别, 种族）x（事业, 家庭）。报告跨轴偏见分数。

3. 读 An et al. 2025（PNAS Nexus）。指出他们报告的、单轴性别评估会漏掉的两个交叉效应。

4. Yu & Ananiadou 2025 识别出性别神经元。勾画一个证伪实验，把「这些神经元导致性别偏见」与「这些神经元与性别偏见相关」区分开。

5. 元批评主张这个领域对二元性别聚焦得太窄。挑一个研究不足的维度，为它描述一个表征性危害的测量协议。

## 关键术语

| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|------|-----------------|------------------------|
| 表征性危害 | 「刻板印象 / 抹除」 | 对一个群体的有偏刻画 |
| 分配性危害 | 「不平等的决策」 | 对一个群体的有偏物质结果 |
| WEAT | 「那个嵌入测试」 | 词嵌入关联测试；基于共现的偏见探针 |
| 交叉性 | 「组合身份效应」 | 在多个身份轴的交叉处涌现的偏见 |
| 性别神经元 | 「MLP 偏见神经元」 | 激活与性别特定行为相关的特定神经元 |
| SAE 特征 | 「可解释的维度」 | 稀疏自编码器识别出的特征；对机理偏见分析有用 |
| UniBias | 「注意力头去偏」 | 通过重新加权注意力头做零样本去偏 |

## 延伸阅读

- [Gallegos et al. — Bias and Fairness in LLMs: A Survey (arXiv:2309.00770, Computational Linguistics 2024)](https://arxiv.org/abs/2309.00770) —— 奠基性综述
- [An et al. — Intersectional resume-evaluation bias (PNAS Nexus, March 2025)](https://academic.oup.com/pnasnexus/article/4/3/pgaf089/8111343) —— 五模型交叉研究
- [WinoIdentity — uncertainty-based intersectional fairness (arXiv:2508.07111, COLM 2025)](https://arxiv.org/abs/2508.07111) —— 新基准
- [UniBias — attention-head manipulation (Zhou et al. 2024, ACL)](https://arxiv.org/abs/2405.20612) —— 零样本去偏
