SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models
一、文章主要内容总结
该研究聚焦大型语言模型（LLMs）训练中的个人身份信息（PII）隐私保护问题，针对传统差分隐私方法（如DP-SGD）采用统一噪声注入导致的隐私-效用权衡失衡问题，提出了敏感度感知自适应差分隐私（SA-ADP）框架。其核心思路是根据训练数据中各PII令牌的敏感度动态分配噪声，实现细粒度隐私保护。
SA-ADP的三阶段核心流程：
- PII检测：利用基于LangChain和LLaMA 3的隐私代理自动提取训练数据中的敏感令牌；
- 敏感度评分：从频率（稀有度）、可链接性（与其他信息关联能力）、数据类型（是否受全球隐私法规保护）三个维度，通过加权线性组合计算令牌的归一化敏感度分数（0.0-1.0）；
- 自适应噪声校准：基于敏感度分数分配高斯噪声（高敏感度令牌：σ=3.0；低敏感度令牌：σ=2.0；非敏感令牌：无噪声），并通过Rényi差分隐私（RDP）会计框架跟踪隐私损失预算。
实验验证：在UNSW-NB15（结构化）、ABCD、CUSTOMERSIM（对话类）、Wikitext-2（非结构化）四个数据集上微调GPT-2模型，结果显示SA-ADP在保持99%基线模型（无DP）效用（准确率、困惑度）的同时，隐私损失预算（ε）较传统DP-SGD降低约75%，且在不同PII密度、不同数据类型场景下均表现稳定。
二、文章创新点
- 令牌级自适应隐私机制：突破传统D