AlignGuard-LoRA：一种结合了高效微调和安全保护的新正则化方法

总结

低秩自适应性（LoRA）被广泛用于微调大型语言模型，其优点是效率高、计算资源少。

但与此同时，它也存在一个明显的问题，那就是破坏了 “对齐”，而 "对齐 "是为了维护安全性和道德约束。

具体来说，会出现毒性声明增加、过度拒绝和偏差恶化等情况，从而降低模型的可靠性。

AlignGuard-LoRA 通过使用费雪信息矩阵进行正则化来控制对齐敏感的方向，从而实现任务适应和安全保护。

此外，它还利用特定任务的正则化来稳定更新，并通过引入基于黎曼几何和大地距离的 “避免碰撞正则化”，从几何角度将对齐相关更新与任务相关更新分离开来。
经证明，与传统的 LoRA 相比，所提出的方法可实现高达 50%的漂移抑制，同时提高了安全性和性能。

拟议方法

AlignGuard-LoRA 的结构是将 LoRA 的低秩更新分解为 "对齐相关部分 "和 “任务特定部分”，并对每个部分应用不同的正则化。

首先，添加基于费雪信息矩阵的惩罚，以抑制对齐敏感方向上的过度更新。

这使得剔除精度和毒性控制等安全行为更容易保持。

接下来，针对特定任务组件引入了 “信任域正则化”，以稳定低熵域的学习。

最重要的是 “避免碰撞正则化”。

它结合了黎曼距离的每坐标干扰抑制和大地距离的几何方向分离，以防止对齐和任务更新之间的干扰。

这三种正则方法相辅相成，旨在将任务适应性和安全性结合起来。
它们缓解了传统 LoRA 中的权衡问题，即通过降低安全性来换取任务准确性的提高，并允许在保持低等级和高效学习的同时，进行不干扰对齐的微调。

实验

实验比较了标准 LoRA、提议的 AlignGuard-LoRA 以及使用 LLaMA 3 (7B) 模型对所有参数进行的全面微调。
评估指标包括一般任务（如 GLUE 和 SuperGLUE）、安全性和鲁棒性基准（如 HELM 和 AdvGLUE）以及毒性（RealToxicityPrompts）、拒绝行为（OR-Bench）和偏差（CrowS-Pairs, BBQ）。使用了多方面的标准。

结果，与标准 LoRA 相比，AlignGuard-LoRA 大幅减少了毒性和偏差，并保持了排斥的准确性。
特别是完整版，在增加了避免碰撞正则化后，其性能与完全微调版相当，甚至更好，同时还保持了其在安全指标方面的优势。

顺序消融实验也证实，基于费舍尔的正则化、特定任务正则化和避免碰撞正则化各自有效，将它们结合在一起会产生协同效应。
此外，在一项名为 DRIFTCHECK 的新基准测试中，AlignGuard 的安全性能降低了 50%，证明了其作为安全关键领域微调方法的有效性。