# 结果分析（result-analysis 阶段产出）

> 数据:experiments/results.csv(700 行,真实跑出)。统计:experiments/analysis.json。
> 配对单位 (dataset, model, seed);Wilcoxon 配对检验 + Cliff's delta 效应量 + Holm 多重比较校正。

## 主效应(各条件 ECE/Brier/AUC/F1 均值,跨数据集×模型×种子)
| 条件 | ECE | Brier | AUC | F1 |
|------|-----|-------|-----|----|
| E0 原始 | 0.0521 | 0.1106 | 0.8504 | 0.5298 |
| E1 SMOTE | 0.0613 | 0.1138 | 0.8668 | 0.5458 |
| E1 随机过采样 | 0.0639 | 0.1141 | 0.8628 | 0.5449 |
| E1 随机欠采样 | 0.1856 | 0.1765 | 0.8385 | 0.5554 |
| E2 仅类权重 | 0.0575 | 0.1126 | 0.8606 | 0.5325 |
| E3 SMOTE+Platt | **0.0206** | 0.1082 | 0.8476 | 0.5112 |
| E3 SMOTE+isotonic | **0.0246** | 0.1102 | 0.8462 | 0.5083 |

## H1:重采样破坏校准 —— ✅ 成立
所有三种重采样都显著抬高 ECE(Holm 校正后仍显著):
- SMOTE:0.0521→0.0613,p<1e-3,δ=+0.27(小-中效应)
- 随机过采样:0.0521→0.0639,p<1e-3,δ=+0.26
- **随机欠采样:0.0521→0.1856,p<1e-3,δ=+0.77(大效应)** —— 欠采样破坏最严重(H3 也成立)

## H2:事后校准修复 ECE —— ✅ 成立
- SMOTE+Platt:0.0613→0.0206,p<1e-3,δ=−0.59(中-大效应),ECE 甚至低于原始 baseline
- SMOTE+isotonic:0.0613→0.0246,p<1e-3,δ=−0.46

## H2 附:校准是否损判别力(AUC)—— ⚠️ 诚实结论:统计显著但幅度可忽略
- 相对原始 baseline,SMOTE+Platt 的 AUC 0.8504→0.8476(p<1e-3,**统计显著**),δ=−0.071(**可忽略效应**)。
- **不能说"零损失"**:配对检验在 50 个配对上检出了微小但稳定的 AUC 下降(约 0.003–0.004)。
- **机理(诚实归因)**:Platt/isotonic 是单调变换,理论上不改 ROC 排序;实测的微降来自"为校准切出 30% holdout 导致基模型训练数据变少",并非校准本身改变排序。
- **实务含义**:用 0.003 的 AUC 换 ECE 从 0.061 降到 0.021(降幅 66%),在成本敏感决策场景是值得的权衡。

## 关键发现(论文主线)
1. 重采样以"看不见"的方式损害概率质量——F1 甚至略升(0.53→0.55),但 ECE 同时恶化,**只看 F1/AUC 会完全错过这个代价**。
2. 欠采样的校准破坏远大于过采样(δ 0.77 vs 0.27)。
3. 一步事后校准即可修复,代价是可忽略的 AUC 下降。

## 待补
- 可靠性曲线图(reliability diagram)+ 各条件 ECE 柱状图 + SHAP(交图表阶段)。
- 按 IR 分层看校准破坏是否随 IR 加重(yeast IR=70 应最明显)。

## H3 强化:校准破坏随不平衡度 IR 加剧 —— ✅ 强成立(论文亮点)
按数据集 IR 排序,看相对 baseline 的 ECE 增量:
| 数据集 | IR | baseline ECE | +SMOTE Δ | +欠采样 Δ |
|--------|----|-----|--------|---------|
| pima | 1.87 | 0.108 | +0.016 | +0.044 |
| credit_g | 2.33 | 0.093 | +0.008 | +0.088 |
| phoneme | 2.41 | 0.029 | +0.011 | +0.049 |
| adult | 3.18 | 0.022 | +0.001 | +0.100 |
| **yeast_ml8** | **70.09** | 0.008 | +0.011 | **+0.386** |

**欠采样的校准破坏随 IR 急剧放大**:IR=70 时 ECE 从 0.008 暴涨到 0.395(δ=+0.39,大效应),而 SMOTE 始终温和(Δ<0.02)。这是论文核心发现之一:高度不平衡时,欠采样以丢弃多数类样本为代价,严重扭曲概率估计。

## 图表待画(交图表阶段)
- F1:各条件 ECE 柱状图(主效应)。
- F2:可靠性曲线(SMOTE 未校准 vs +isotonic,直观看修复)。
- F3:ECE 增量 vs IR(欠采样曲线陡升)。
