面向零样本威胁分类的语义元对齐

大家读完觉得有帮助记得关注和点赞！！！

摘要

网络安全系统必须快速适应新兴威胁。然而，当新威胁首次出现时，其类别的标注数据尚不可用。广义零样本学习（GZSL）提供了一种自然的解决方案，它通过辅助语义知识而非标注样本来识别未见类。大语言模型（LLM）在此场景中尤为有前景，因为它们能将非结构化的网络威胁情报（CTI）报告转换为新兴威胁的语义原型。然而，将语言驱动的零样本学习应用于网络安全存在诸多困难：威胁描述之间语义重叠强烈、行为属性与文本之间存在异质性、严重的类别不平衡，以及训练期间未见威胁未知的开放集条件。我们提出 SMETA-ZSL，它通过对比微调从重叠的语言描述中学习语义原型，通过情景元学习和知识蒸馏对齐行为特征，并执行自适应路由以实现已见类与未见类上的泛化。在7个基准数据集上，SMETA-ZSL在最严格的归纳设置下取得了最优的整体广义零样本性能，平均超越先前方法10.8个百分点，最高提升达18.1个百分点。代码仓库：GitHub - Security-And-Intelligence-Lab-UTEP/SMETA-ZSL · GitHub

1 引言

网络防御系统依赖大量原始数据（如恶意软件样本或日志）来训练和更新模型，然而这些数据通常难以获取、分析缓慢，并且在新威胁出现时并非总是可用。以恶意软件分类任务为例：新变种和家族的持续涌现（Tang等，2023）需要频繁重训练分类器，带来显著的计算开销（Li等，2024a），并使获取及时标注数据以适配新威胁变得困难（Barros等，2022；Aurna等，2025）。相比之下，网络威胁情报（CTI）报告由分析人员定期发布，提供关于攻击者行为的及时自然语言描述。然而，大多数防御系统并不处理自然语言，因此无法直接使用CTI来调整或更新其行为，导致宝贵的威胁情报未被充分利用。大语言模型（LLM）提供了一种处理CTI并提取可供下游系统使用信息的方法。先前工作（Chakraborty等，2026；Mitra等，2025；Bertiger等，2025；Schwartz等，2025）主要集中在使用LLM生成基于规则的防御。相比之下，利用CTI更新数据驱动的黑盒机器学习系统要困难得多，因为这需要将文本描述转换为能够影响模型行为的信号，而无需访问原始数据。这一差距引出一个重要的语言建模问题：语言模型能否将非结构化的威胁报告转换为对更新非语言机器学习系统有用的表示，即使在新威胁没有任何标注样本的情况下？直接使用LLM进行零样本恶意软件或攻击检测具有挑战性，因为网络安全工件通常规模过大，无法完整分析，使得推理成本高昂且经常超出实际上下文窗口限制（Qian等，2025）。将这些工件截断为抽象特征会降低性能（Zhou等，2024）。相反，我们的目标是通过语言模型从CTI中提取并迁移知识，以调整现有的网络防御系统。

我们将此问题形式化为广义零样本学习（GZSL）设置，其中下游机器学习模型必须同时识别已见类和未见类，网络威胁情报（CTI）为未见威胁提供语义信息。虽然带有语义辅助信息的GZSL在广义场景（如视觉-语言领域）中已被广泛探索（Chen等，2023；Ma和Hu，2020；Rao等，2024；Lei等，2024），但其在网络安全中的应用仍然是一个开放且基本未解决的挑战，尽管具有重要的实际意义。该设置中的独特挑战如下。

1. 类别原型的语义模糊性：与具有可区分语义特征的广义领域不同，网络安全依赖的CTI报告在不同恶意软件家族之间的描述经常高度重叠。不同家族频繁共享API、行为模式和攻击技术，使得语义原型弱可分，并降低了向未见类的迁移能力。图1展示了这一挑战。

2. 跨模态异质性：恶意软件特征来自行为观察，如API调用、系统跟踪和网络流量。这些特征与CTI报告的稀疏、高层语义有显著差异，使得特征空间与语义空间之间的对齐变得困难。

3. 类别不平衡：已见类主导性在GZSL中已是一大挑战。在网络安全中，这一问题被严重不平衡放大，良性样本占主导，新兴恶意软件家族稀少，导致预测偏向常见已见类。

4. 开放集分类：在实践中，训练期间未见恶意软件家族的数量和身份都是未知的。因此，模型必须在不预先假定固定未见类候选集合的情况下，区分已见和未见威胁。

我们提出 SMETA-ZSL，一个基于语义的元GZSL框架，专为现实的网络威胁场景设计，其中未见类在训练期间未预先定义，未见类的无标注实例不可用，适应必须仅依赖自然语言CTI报告而非原始工件。与假设封闭集合、可访问原始未见类数据或预定义未见原型的前期方法不同，SMETA-ZSL在更严格的开放集、类归纳、实例归纳设置下运作。为解决由此产生的挑战，我们的框架结合了：(1) 经对比微调的LLM编码器，可从重叠的CTI描述中生成有判别力的语义原型；(2) 跨模态对齐框架，使用情景元学习在训练期间显式模拟未见类的出现；(3) 用于自适应推理的无参数门控机制。在7个基准数据集上，SMETA-ZSL在最严格的归纳设置下取得了最优的整体广义零样本性能。

图1：两个不同恶意软件家族（Mobidash 和 Dowgin）的CTI报告在行为描述上具有大量词汇重叠，说明网络安全类原型在语义空间中弱可分。

2 相关工作

零样本学习（ZSL）解决的是识别训练期间从未见过的类别的实例的问题（Pourpanah等，2022；Wang等，2019）。在GZSL中，分类器必须同时覆盖已见类和未见类的并集（Li等，2024b；Verma等，2020），且已见类主导性加剧了难度——推理时已见类的后验概率系统性地压倒未见类（Kwon和Al Regib，2022；Bhat等，2025；Xian等，2017）。由于训练期间从未见过未见类，ZSL方法依赖辅助语义信息来弥合鸿沟。受人类认知启发——人类通过背景知识将陌生概念与熟悉概念联系起来（Fu等，2015；Romera-Paredes和Torr，2015；Tang等，2024；Li等，2024b；Sanchez等，2025），现有方法大致分为三类：学习模态与语义表示之间的联合嵌入空间（Ali和Khan，2023；Nawaz等，2022；Chen等，2023；Lei等，2024），从语义描述中合成生成未见类数据（Mishra等，2018；Ma和Hu，2020；Tang等，2024；Wu和Bergman，2025b；Marszałek等），以及学习语义原型（Wang等，2025a；Fu等，2017；Wang等，2021；Rao等，2024；Fan等，2026；Gill等，2026）。其中，语义原型方法特别适合那些类别级描述可用但未见类实例级数据缺失的设置。ZSL也被适应到领域特定场景，包括网络安全，其中专门框架解决了数据稀缺下的恶意软件检测（Barros等，2022；Wang等，2025b；Aurna等，2025）。

3 方法

我们提出SMETA-ZSL，一种面向表格数据分类的基于语义的GZSL框架。我们的核心假设是，大语言模型在适当微调后，可以作为重叠自然语言描述与细粒度行为属性之间的可靠语义桥梁，通过明确对齐异构模态的情景元训练，实现未见类的零样本识别。图2给出了我们提出框架的概览。

图2：我们提出的SMETA-ZSL框架概览，当语义描述存在重叠且处于更高抽象层次时，利用语义原型进行GZSL。

3.1 预备知识

在零样本学习中，存在两个不相交的类别集合：已见类 S（有标注训练实例可用）和未见类 U（训练时没有标注实例）。具体在GZSL中，分类器 f(·): X → S∪U 必须同时覆盖已见类和未见类的并集。每个类别 c∈S∪U 由一个原型向量 t∈T⊆ℝᴹ 表示，通过原型函数 π(·): S∪U → T 编码。由此得到已见类和未见类的原型集合 Tₛ = {tⁱₛ} (i=1..Nₛ) 和 Tᵤ = {tⁱᵤ} (i=1..Nᵤ)，作为知识从 S 迁移到 U 的语义桥梁。给定测试实例 xⁱ，投影网络 f_θ: X→T 将其映射到共享语义空间，预测类别由最近邻原型匹配确定：

网络安全设置引入了超出标准GZSL的两个额外结构约束。第一，我们在开放集假设下运作：与封闭集GZSL（S∪U完全预定义）不同，训练时仅已知 S。未见类 U（包括其基数 |U|=Nᵤ 和身份 {cⁱᵤ}）仅在推理时揭示，反映了现实世界中无法预先预见新型恶意软件家族的情景。第二，我们采用类归纳、实例归纳（CIII）设置（Pourpanah等，2022），即模型仅使用 D_train 和 Tₛ 进行训练，训练期间不访问 Tᵤ。未见原型仅在推理时可用，作为模型泛化到新未见类的语义桥梁。在网络安全领域，该桥梁由网络威胁情报（CTI）报告构建——由专家撰写的非结构化文档，描述每个威胁类的行为特征、战术和技术。我们的目标是确保知识从 S 可靠地迁移到 U，尽管这些报告引入了语义重叠和跨模态异质性，这正是SMETA-ZSL直接应对的挑战。

3.2 使用LLM的判别性语义原型学习

用于语义原型构建的LLM：LLM是语义原型构建的自然选择：给定类别的自然语言描述，预训练编码器可将文本映射为捕获其语义内容的稠密向量。这些向量作为 T 中的类原型，提供每个类别的表示。然而，直接用预训练语言模型编码CTI报告会产生弱可分的原型，因为不同类别的威胁描述经常共享结构性词汇和领域特定术语，导致它们的嵌入聚集在共享质心周围，而非反映类别判别结构。

监督对比目标：令 zⁱ∈ℝᴹ 表示语言模型产生的描述样本 i 的L2归一化嵌入。为了在语言模型的表示空间中强化类内紧凑性和类间分离性，我们使用监督对比损失（Khosla等，2020）进行优化，该损失将同类描述拉近，同时将不同类描述推远：

其中 P(i) 是与 i 共享相同类别标签的正样本集合，A(i) 是批次中所有其他描述样本的集合，τ 为温度超参数。图3展示了对比微调对学习到的语义空间几何结构的影响。

各向同性正则化：仅优化 ℒ_SupCon 在类别描述共享大量结构重叠时是不够的。编码器倾向于学习描述的一般结构而非类别判别特征，导致嵌入向共享均值坍缩。为显式对抗此问题，我们引入各向同性正则化项，惩罚每个嵌入 zⁱ 与L2归一化批次均值 z̄ 的均方余弦相似度，阻止语义空间向由共享模板词汇驱动的质心坍缩：

语义编码器的组合训练目标为 ℒ_sem = ℒ_SupCon + γ ℒ_Iso，其中 γ≥0 控制各向同性正则化相对于对比目标的强度。

原型构建：编码器训练完成后，对每个类别 c∈S∪U，类原型 t_c∈T 计算为其组成嵌入的L2归一化均值，其中 S_c 表示属于类别 c 的描述样本集合。由此得到原型集合 Tₛ 和 Tᵤ，作为后续所有对齐和推理的固定语义锚点。

图3：CIC-AndMal数据集上数据点使用预训练LLM（左）与对比微调LLM（右）的语义嵌入质量对比。

3.3 通过元知识蒸馏进行跨模态对齐

即使有了判别性语义原型，由于精确的实例级行为观察与粗略、抽象的语义描述之间的粒度不匹配，将 X 与 T 对齐仍然不平凡。我们通过一种结合元知识蒸馏（Pan等，2021）与情景元学习的新颖框架来解决，该框架在每一步训练中显式模拟零样本条件。

双塔架构：该框架在两个表示空间中运作。语义塔将类描述编码到 T，产生第3.2节中导出的固定类原型 {t_c}。行为塔由投影网络 f_θ: X→T 组成，学习将行为特征向量映射到共享语义空间，对每个实例 xⁱ∈X 产生 ẑⁱ = f_θ(xⁱ)∈ℝᴹ。

情景元训练：为防止 f_θ 过拟合于已见类对齐，并显式强制泛化到未见类，训练被组织为一系列模拟每一步零样本条件的情景学习回合。在每个回合中，可用训练类集合 C_train 被随机划分为支持集 C_sup 和查询集 C_qry，其中 C_train = C_sup ∪ C_qry 且 C_sup ∩ C_qry = ∅。查询集类被当作代理未见类——每回合有意保留的已知训练类以模拟新条件，迫使 f_θ 将其跨模态对齐泛化到当前受监督类之外。

双目标蒸馏损失：损失函数平衡了支持类上的精确知识迁移与保留查询类上的泛化。令 s_{i,c} = ẑⁱ · t_c / (||ẑⁱ||·||t_c||) 表示投影实例与原型 t_c 之间的余弦相似度。对于支持集，学生通过蒸馏目标监督，该目标结合了针对教师相似度分布的KL散度软知识迁移与硬交叉熵目标：

其中 T 为蒸馏温度，ŝ_{i,c} 为教师的相似度logits，σ(·) 为softmax函数。KL散度迁移教师跨类的软关系结构，而交叉熵项将学生锚定到正确的硬标签。对于查询集，不提供蒸馏监督，学生仅基于原型匹配进行评估，作为泛化正则化器：ℒ_qry = ℒ_CE( ẑⁱ, yⁱ ), i∈C_qry。组合训练目标为：

其中 λ≥0 控制泛化惩罚相对于蒸馏目标的权重。

3.4 通过自适应置信度门控进行广义推理

Z分数置信度估计：门控机制的核心观察是：已见类实例产生的已见原型相似度分布具有一个显著主导的得分，而未见类实例产生的分布更平坦、判别性更低，如图4经验证。我们不将最高已见类得分与固定阈值比较，而是评估其在每个样本的已见类相似度分布中的统计主导性。给定测试实例 xⁱ，我们计算 ẑⁱ = f_θ(xⁱ) 以及相对于每个已见原型 t_c∈Tₛ 的余弦相似度 s_{i,c}。然后计算该已见类相似度分布的每样本均值 μⁱ 和标准差 σⁱ，最高已见类相似度 s_{i,max} = max_{c∈S} s_{i,c} 的Z分数衡量其高于均值的标准差数：

其中 ϵ 确保数值稳定性（当所有已见类相似度几乎相同时）。

路由决策：Zⁱ 量化了给定样本的最佳已见类匹配在统计上的主导程度。高 Zⁱ 表示一个已见原型产生显著主导响应，表明该实例属于已见类。低 Zⁱ 表示相似度分布平坦，表明该实例相对于 S 是分布外（OOD），很可能属于未见类。路由决策形式化为：

其中 τ 是在验证集上优化以最大化已见类和未见类准确率之间调和平均的置信度阈值。该机制不需要额外学习参数，完全基于推理时已计算的余弦相似度分数运行。

图4：按真实标签分层的每样本 σⁱ（已见类余弦相似度标准差）的分布。

4 实验

基线方法：我们评估了9种能够进行零样本表格数据分类的方法——这是网络安全的关键要求——涵盖三种范式：生成式（Mishra等，2018；Verma等，2020），网络安全专用（Wang等，2025b；Aurna等，2025；Barros等，2022），以及基于LLM的（Shi等，2024；Wang等，2025a；Ali和Khan，2023；Yun等，2024）。我们还评估了TabPFN（Hollmann等，2023）、APT（Wu和Bergman，2025a）和ZEUS（Marszałek等），它们能在最少监督下泛化到新数据集，但推理时仍需要每个未见类至少一个样本。因此，这些模型不严格满足我们的GZSL形式化，在单样本设置下评估。最后，HistGradBoost（Pedregosa等，2011）和XGBoost（Chen和Guestrin，2016）作为标准表格分类基线。表1突出显示了各方法与SMETA-ZSL在四个轴向上的差异。ZET-LLM（Shi等，2024）、ProtoLLM（Wang等，2025a）和SMELL（Barros等，2022）需要架构适应才能进行零样本推理，而ZEUS、TabPFN和APT完全不支持，因此仅纳入单样本比较。只有TabPFN和APT在训练时需要未见类原型。CLIP-decoder（Ali和Khan，2023）、P2T（Yun等，2024）、ZEUS和TZSL（Wang等，2025b）在训练时需要无标注未见实例。基线中仅CLIP-decoder和P2T支持开放集识别。SMETA-ZSL是唯一同时满足全部四个标准的方法。由于基线在放宽的假设上有所不同，我们在各自的原生设置下评估每个基线，同时将SMETA-ZSL全程置于最严格假设下。

表1：基线方法的需求与能力对比。勾选标记（✓）表示该方法是否原生支持零样本分类、是否可在不含未见原型或未标记未见实例的条件下训练，以及是否具备开集识别能力。

数据集：​ 我们在涵盖四个网络安全领域的七个基准数据集上评估了SMETA-ZSL：CIC-AndMal-2020（加拿大网络安全研究院(CIC)及加拿大网络安全中心(CCCS)，2020）、BODMAS（Yang et al., 2021）、APIGRAPH（Zhang et al., 2020）、AVASTCTU（Bošanskỳ et al., 2022），以及三个通用领域的表格数据集：GOODREADS（Wan and McAuley, 2018; Wan et al., 2019）、PETFINDER（PetFinder.my, 2018）、FAKEDDIT（Nakamura et al., 2020）。包含类别分布在内的数据集详细信息见表2。

表2：涵盖网络安全与通用领域基准的评估数据集概览

实现细节：语义原型使用LLaMA-3.1-8B编码，通过bitsandbytes以4位精度加载，并用LoRA微调，将每类行为描述嵌入4096维原型向量。投影网络 f_θ 是一个两残差块的MLP，隐藏层大小1024，GELU激活，BatchNorm和dropout（p=0.1），将表格特征映射到 T 并输出L2归一化结果。所有超参数在验证集上调优；敏感性分析见附录9。

CTI报告收集：CTI报告从两个开源仓库收集：ORKL社区CTI库（ORKL，2024）——一个可搜索的公共威胁情报报告语料库，以及APT_REPORT档案（CyberMonitor，2024）——一个社区维护的厂商和政府CTI文档集合。为确保覆盖所有恶意软件家族的语义，特别是报告可用性有限的未见类，我们采用了一个结构化增强流程：提示LLM根据与每个恶意软件家族对应的MITRE ATT&CK技术描述（TTP）生成合成CTI变体（The MITRE Corporation，2024）。基于LLM的CTI生成已被探索作为解决威胁情报工作流中报告稀缺性的可行方法（Ranade等，2021）。

评估协议：对于LLM微调，我们使用90/10的训练/验证划分。未见类预先选定并在整个微调过程中保留。在元学习阶段，我们保留15%的已见样本作为验证集，15%作为测试集。未见家族数量根据数据集标签大小在3到2之间变化。我们遵循标准GZSL评估协议，报告已见类准确率（S）、未见类准确率（U）及其调和平均（H）作为主要指标。调和平均作为主要排序标准，因为它惩罚那些轻易偏向已见类或未见类的方法。结果在5次随机划分上平均并报告标准差。

5 结果

GZSL基线比较：表3报告了7个表格基准（包括网络安全和通用领域数据集）上5次运行的GZSL结果。平均而言，SMETA-ZSL在其领先的数据集上相较于最强基线将调和平均提高了约10.8个百分点，最大提升出现在CIC-AndMal（比MZSL高18.1）、GOODREADS（比ProtoLLM高11.6）、AVASTCTU（比FL-ZSL高12.5）和APIGRAPH（比TZSL高19.4）。在FAKEDDIT上，ProtoLLM领先（47.80 vs 44.45），其中基于原型的对齐似乎特别适合该数据集的多模态标签结构。SMETA-ZSL是在严格归纳假设下唯一在所有七个数据集上表现一致优异的方法。图5进一步展示了这一趋势：SMETA-ZSL在所有七个基准上取得了最高的平均未见准确率，同时保持了有竞争力的已见准确率。所有5次运行的已见、未见和平均准确率的完整结果见附录。

表3：七个表格数据集上的广义零样本学习（GZSL）结果。SMETA-ZSL在最严格的归纳式假设下进行评估；基线方法则在其原生设置下评估。最佳结果（蓝色标出）表示可见类与未见类准确率之间的最高调和平均值。

图5：所有基准数据集上的平均已见类和未见类准确率。我们提出的SMETA-ZSL在所有比较方法中实现了最高的未见准确率，同时保持了有竞争力的已见准确率。

单样本基线比较：表4将SMETA-ZSL（零样本）与少样本和标准表格基线进行比较。SMETA-ZSL在七个基准中的五个上取得了最佳调和平均，在GOODREADS上高出+15.0，PETFINDER上+10.4，APIGRAPH上+7.1。在BODMAS和AVASTCTU上，HistGradBoost和ZEUS分别受益于SMETA-ZSL无法获得的带标签支持样本。尽管采用严格的零样本假设，SMETA-ZSL仍然是整套基准中表现最稳定优异的方法。完全监督的上界结果见附录8。

表4：七个表格基准数据集上的单样本分类结果。SMETA-ZSL与专为小样本表格泛化设计的方法及标准表格分类器进行了比较。最佳结果（蓝色标出）。

嵌入模型的影响：表5报告了在保持SMETA-ZSL其余部分不变的情况下，替换语义编码器对GZSL性能的影响。LLaMA3.1-8B是整体表现最佳的编码器，在CIC-AndMal（56.70±1.6）和BODMAS（50.19±3.61）上均取得最高分。其方差也相对较低，表明跨划分的语义原型稳定。

表5：语言模型对SMETA-ZSL的影响

消融研究：表6通过系统消融报告了各组件的贡献。移除LLM语义嵌入使调和平均平均下降9.3个百分点，证实原型质量是性能的主要驱动因素。将情景元学习替换为标准训练显著降低了未见类准确率（APIGRAPH -5.11，AVASTCTU -4.88），验证了训练期间模拟零样本条件的重要性。移除知识蒸馏带来较温和但持续的下降，表明软关系迁移提供了硬标签监督之外的补充信号。

少样本设置：附录16考察了当每个未见类的标注样本从零增加到五时，SMETA-ZSL的性能表现。随着样本数增加，性能通常继续改善，在K=5时AVASTCTU上提升高达18.8个百分点，但在K=2之后收益递减。

表6：跨网络安全数据集的消融研究。每行移除或替换SMETA-ZSL的一个组件。

合成CTI的效果：我们的问题空间存在核心数据稀缺问题：每个恶意软件家族的真实CTI报告数量太少，无法为优化监督对比目标提供足够的类内多样性。大规模配对的恶意软件-CTI数据在实践中难以获取，因为组织通常发布恶意软件工件或CTI描述，但很少两者都发布（Johnson等，2016；MISP Project，2024）。这正是我们问题设定的前提：如果恶意软件工件可用，其对应的攻击描述可能不可用；反之，如果描述攻击的CTI报告被发布，真实的恶意软件样本可能不被共享。

为验证训练时合成CTI不会在测试时带来不公平优势，我们完全移除未见类（即仅在推理时出现的类）的合成CTI，仅使用真实CTI描述构建未见类原型，同时保持已见类训练不变。如表7所示，在两个数据集上，使用和不使用合成CTI的未见准确率（U）和调和平均（H）在统计上无显著差异，证实推理时性能由学到的跨模态对齐驱动，而非合成CTI影响原型构建。

表7：合成CTI用于未见类原型构建的消融实验。S：已见准确率，U：未见准确率，H：调和平均。

可复现性声明：所有报告均值±标准差的实验在5次运行中重复，使用不同随机种子。每种子结果见附录。超参数列于附录9。语义原型使用Llama-3.1-8B生成，并以固定的.npy文件发布以避免非确定性。训练在3× NVIDIA RTX ADA 48GB GPU上进行。代码、检查点和预处理脚本可在 SMETA-ZSL/README.md at main · Security-And-Intelligence-Lab-UTEP/SMETA-ZSL · GitHub 获取。

6 结论

我们提出了SMETA-ZSL，一个面向现实但尚未充分探索的网络防御场景的框架，其中新威胁类别在缺乏标注行为样本、无标注未见实例或未见类先验知识的情况下出现。在实践中，唯一可用的监督通常来自自然语言的CTI报告。我们表明，大语言模型可以作为下游网络防御系统的语义适应接口，将CTI转换为可迁移到结构化行为数据的判别性语义原型。在跨越四个网络安全和三个通用领域数据集的七个基准上，SMETA-ZSL在更严格的开放集假设下持续优于先前方法，平均改进基线10.8个百分点。