IQFM：基于自监督学习的无线信号基础模型，赋能6G智能通信

1. 项目概述：从“手工作坊”到“通用工厂”的无线AI范式跃迁

在无线通信这个古老而又日新月异的领域，我们这些从业者一直面临着一个核心矛盾：一方面，我们拥有海量的原始信号数据，它们如同未经雕琢的矿石，蕴藏着信道状态、调制方式、用户位置、设备指纹等丰富信息；另一方面，为了从这些数据中提取出有用的信息来完成特定任务（比如识别信号是谁发的、从哪个方向来的），我们又不得不依赖大量昂贵、耗时且脆弱的标注数据，以及针对每个任务精心设计的“手工作坊”式特征工程。这就好比每次想造一辆新车，都得从零开始炼铁、锻造零件，而不是利用一个现成的、高度标准化的汽车制造平台。

近年来，AI领域的基础模型（Foundation Models）革命，为打破这一困境提供了全新的思路。在计算机视觉和自然语言处理中，像BERT、GPT、CLIP这样的模型，通过在超大规模无标签数据上进行预训练，学会了提取通用、强大的特征表示，之后只需极少的任务特定标注和微调，就能在五花八门的下游任务上取得惊人效果。这本质上是在构建一个“通用智能工厂”。那么，一个自然而然的问题是：我们能否为无线通信的原始信号——也就是最基础的IQ（同相/正交）数据流——也建造这样一个“通用工厂”？

这正是IQFM（I/Q Foundation Model）试图回答的问题。它不是一个针对某个具体通信标准（如5G NR）的优化算法，而是一个更底层的、面向AI原生6G系统的表征学习框架。其核心目标是：直接对原始的多天线MIMO IQ信号进行自监督预训练，得到一个轻量级的通用编码器。这个编码器学到的特征，能够像“瑞士军刀”一样，通过极简的适配（如加一个线性分类头或进行低秩微调），高效地赋能调制分类、到达角估计、波束预测、射频指纹识别等一系列无线任务，甚至在从未见过的任务和数据集上也能表现出强大的泛化能力。

简单来说，IQFM想做的，就是让无线AI告别“一个任务一个模型”的散装时代，进入“一个预训练模型服务所有任务”的工业化时代。这对于资源受限的边缘设备、需要快速部署新服务的动态网络，以及追求极致效率的6G系统而言，其潜在价值不言而喻。

2. 核心思路拆解：如何教会模型“理解”原始IQ信号？

要实现上述愿景，我们不能简单照搬图像或文本的基础模型方法。原始IQ信号有其独特的结构和挑战：它是复数形式的、具有时空二维结构（天线维度×时间序列）、并且对相位信息极其敏感。IQFM的设计哲学，正是围绕这些特性展开的。

2.1 自监督学习：从“对比”中学习“不变性”

模型没有老师（标注数据）告诉它信号是什么，它必须自己当自己的老师。自监督学习（SSL）的核心思想是，通过设计一个代理任务，让模型从数据本身的结构中学习有用的表征。IQFM采用了经典的对比学习框架（如SimCLR）。

它的学习过程可以这样理解：我给你一段原始IQ信号（一个“锚点”样本），然后我对它做两种不同的、轻微的“改动”（称为数据增强，得到两个“视图”），比如把信号在时间轴上循环滚动一下，或者随机屏蔽掉某根天线上的部分数据。模型的任务是，尽管这两个视图看起来有些不同，但它要能识别出它们本质上来自同一个原始信号。同时，对于来自不同原始信号的两个视图，模型要能区分它们。

通过在海量无标签数据上反复进行这个“找相同”的游戏，模型被迫去关注那些在合理的扰动下保持不变的核心特征。例如，无论我怎么滚动时间，信号中天线间的相位差（这对估计信号方向至关重要）应该是不变的；无论我屏蔽掉哪部分数据，信号的调制格式（如QPSK的星座图特征）应该还能被识别。这就引导模型学会了剥离掉那些无关的“噪声”或“表象”（如信号的绝对起始时间），而抓住那些本质的、与下游任务相关的信息。

2.2 任务感知的数据增强：设计“好问题”引导学习方向

数据增强策略是自监督学习的灵魂。胡乱增强（比如把信号彻底打乱）会让学习任务变得不可能或无意义。IQFM的创新之处在于，它提出了一套任务感知的增强策略，将增强操作分为“核心增强”和“任务特定增强”。

• 核心增强（Core Augmentations）：目标是保留对多种任务都有用的通用特征。IQFM中采用的是循环时间移位。你可以想象把一段IQ信号首尾相接成一个环，然后随意旋转这个环。这个操作破坏了信号的绝对时间对齐（这是一个通常与任务无关的“捷径特征”），但完美保留了所有天线间的相对相位关系（对AoA有用）和信号的频谱幅度特性（对调制分类有用）。它是一个“安全”的增强，能迫使模型不去依赖那些脆弱的、任务无关的线索。
• 任务特定增强（Task-Specific Augmentations）：目标是引导模型关注特定任务所需的特征，同时抑制其他信息。这就像给模型一个“提示”。
  • 通道掩码：随机将连续一段时间内的所有天线的IQ数据置零。这破坏了信号的时间连续性，对依赖时间模式的调制分类任务是个挑战，但保留了所有天线在未被掩码时刻的完整空间结构，因此非常适合用于学习AoA估计所需的特征。
  • 通道丢弃：随机将整根天线上的所有数据置零。这减少了可用的空间基线，削弱了进行精确角度分辨的能力，但对每根幸存天线内部的时间演化模式毫无影响。因此，它引导模型更专注于学习调制分类所需的时间/频谱特征。

通过组合这些增强，我们在预训练阶段就能有倾向性地“塑造”编码器学到的表征。例如，主要使用“时间移位+通道丢弃”来预训练，得到的编码器就会更擅长调制分类；而使用“时间移位+通道掩码”，则会让编码器更擅长AoA估计。如果要得到一个兼顾时空特征的通用编码器，则可以在预训练中随机混合使用所有这些增强。

实操心得：在设计数据增强时，一个黄金法则是思考“这个操作会破坏什么，又会保留什么”。对于无线信号，任何增强都必须保证不破坏信号的复数相位关系本质，尤其是天线间的相对相位，这是空间信息处理的基石。简单的加噪、幅度缩放是安全的，但非线性的、破坏相位连续性的操作要极其谨慎。

2.3 高效适配：轻量级“插件”激活下游任务

预训练得到一个好的通用编码器只是第一步。如何将它快速、低成本地用到具体任务上？IQFM探索了两种主流的适配策略：

1. 线性探测：这是最简单粗暴的方法。完全冻结预训练好的编码器，只在其输出的特征后面，为每个新任务训练一个全新的线性分类层（或回归层）。这相当于把编码器当作一个固定的“特征提取器”，我们只学习如何用这些特征做决策。它的优点是极快、参数极少，非常适合验证预训练特征的质量。
2. 低秩自适应：LoRA是一种参数高效的微调技术。它不在整个庞大的编码器权重上进行更新，而是为网络中的某些层（如注意力机制或全连接层）引入一组低秩分解的适配器。具体来说，对于一个权重矩阵W，LoRA学习一个低秩更新ΔW = A * B，其中A和B是可训练的小矩阵，秩r通常很小（如4, 8）。前向传播时，计算h = Wx + (α/r) * (A(Bx))。α是一个缩放系数。只有A和B这些少量参数被更新，原始权重W保持冻结。
   • 为什么有效？神经网络的过度参数化理论表明，模型在适应新任务时，其权重变化往往存在于一个低秩子空间中。LoRA巧妙地捕获了这种变化，用极少的参数量（通常是原模型参数的0.1%~1%）实现了接近全参数微调的效果。
   • 在IQFM中的价值：对于分布外（OOD）任务或数据分布差异较大的任务，线性探测可能不够用。LoRA提供了一种折中方案：它允许对编码器进行一定程度的“塑性”，以适应新任务的特有模式，同时又避免了全参数微调的巨大开销和灾难性遗忘的风险。

3. 模型架构与实现细节：轻量化与效率的权衡

IQFM没有选择庞大的Transformer或ResNet，而是采用了ShuffleNetV2 (0.5x)作为编码器主干。这是一个非常务实且关键的选择。

• 为什么是ShuffleNetV2？这是一个为移动端和边缘设备设计的轻量级卷积神经网络。它的核心是深度可分离卷积和通道洗牌操作，能在保持较高精度的同时，大幅减少计算量和参数量。IQFM使用的0.5x版本仅有约34.2万个参数。对于需要部署在基站、终端或嵌入式设备上的无线AI应用来说，模型大小和推理延迟是硬性约束。一个动辄数亿参数的基础模型是不现实的。
• 输入表示：原始的多天线IQ信号是一个复数张量，形状为[M, T]，其中M是天线数，T是时间采样点数。为了适配标准的CNN处理，需要将其转换为实值张量。IQFM采用了一种直接且无损的方法：将每个复数样本的实部（I）和虚部（Q）作为两个独立的通道。因此，输入张量形状变为[M, 2, T]。这完全保留了复数信号的幅值和相位信息。
• 投影头：在对比学习预训练阶段，编码器后面会接一个小的多层感知机作为投影头，将特征映射到对比学习使用的嵌入空间。在下游任务适配时，这个投影头会被丢弃，我们直接使用编码器输出的特征。

注意事项：输入归一化至关重要。无线信号的功率动态范围可能很大。IQFM采用了最大值归一化，即iq_data = iq_data / max(|iq_data|)。这确保了输入尺度的一致性，有利于模型训练的稳定性。在实际部署中，需要根据ADC的量程和信号处理链的增益来合理确定归一化因子。

4. 实验设计与性能剖析：IQFM到底有多能打？

论文通过一系列严谨的实验，从多个维度验证了IQFM的有效性。我们重点看几个关键结论。

4.1 数据增强的“指挥棒”效应

实验清晰地展示了任务特定增强如何像指挥棒一样引导模型学习特定特征。

• 调制分类导向：使用“时间滚动(TR) + 通道丢弃(CD)”组合预训练的编码器，在调制分类任务上仅用每类10个标注样本进行线性探测，就能达到99.81%的惊人准确率。然而，同一个编码器在AoA任务上表现惨淡（仅8.15%）。这说明CD增强成功地将模型的“注意力”引导到了时间模式上，而牺牲了空间分辨能力。
• AoA估计导向：使用“时间滚动(TR) + 通道掩码(CM)”组合预训练的编码器，在拥有225个角度类别的AoA分类任务上，仅用每类10个样本就达到了92.4%的准确率。但其调制分类准确率骤降至16.2%。CM增强保护了空间结构，但破坏了时间连续性。

这证明了通过设计增强，我们可以在无监督阶段就有目的地“编程”模型的能力倾向。

4.2 联合任务预训练：鱼与熊掌的权衡

那么，能不能训练一个“全才”模型呢？IQFM尝试了使用所有增强（TR, CM, CD）进行联合预训练。

• 结果：这个联合模型在调制和AoA两个任务上都取得了可观的性能，但在极低样本（如每类1个）场景下，其单项性能低于专用的任务特定模型。例如，在1-shot情况下，联合模型的调制准确率为60.48%，AoA为32.42%，而专用模型分别为99.67%和65.45%。
• 解读：这揭示了表征学习中的一个根本性权衡——表征的泛化性与特异性之间的冲突。专用模型的特征空间为单一任务做了高度优化，因此在资源极度匮乏时效率最高。联合模型的特征空间则需要同时容纳时空信息，形成了一种层次化结构（后续的PCA可视化证实了这一点：特征首先按调制方式形成大簇，每个大簇内部再按AoA形成子簇）。这种结构更具通用性，但在每个特定任务上的“锋利度”有所下降。

4.3 强大的分布外泛化能力

这是IQFM作为“基础模型”的核心价值体现。作者在多个从未在预训练中见过的数据集和任务上进行了测试：

• RML2016.10a：一个经典的调制分类基准数据集，包含更多调制类型和更低的信噪比。
• POWDER RF指纹数据集：设备识别任务，区分不同的Wi-Fi发射机。
• DeepBeam波束预测数据集：预测毫米波最佳波束。
• 雷达信号分类、GNSS干扰检测等全新任务。

关键发现：

1. 线性探测已足够强大：即使在完全冻结编码器的情况下，仅训练一个线性分类头，IQFM在多数OOD任务上的表现就已大幅超越从零开始训练的有监督基线模型。这强有力地证明了其预训练表征的通用性和质量。
2. LoRA进一步缩小差距：对于更具挑战性的OOD任务（如波束预测），LoRA微调展现出了优势。它能以极小的参数量更新（约8.4K可训练参数 vs. 编码器本身的342K参数），使模型性能逼近甚至超过在该任务上全参数训练的有监督模型。例如，在波束预测任务上，每类500样本时，LoRA达到94.1%，而有监督基线为89.5%。

4.4 计算与存储效率分析

IQFM的设计充分考虑了部署成本：

• 推理成本：无论采用线性探测还是LoRA适配，主要的计算开销都来自冻结的ShuffleNetV2编码器（约3.74 M MACs）。增加的任务头或LoRA适配器带来的额外开销微乎其微。
• 训练/适配成本：
  • SSL预训练：成本最高（约23.4 M MACs/样本），但这是一次性的前期投资。
  • 全监督训练：每次新任务都需要从头训练整个编码器（约11.22 M MACs/样本）。
  • 线性探测/LoRA：成本极低（3.75M / 7.82 M MACs），且可以并行适配无数个任务。
• 存储优势：只需存储一份预训练编码器权重。每个下游任务只需额外存储一个极小的线性层或LoRA适配器参数。这相比于为每个任务存储一个完整模型，节省了巨大的存储空间，特别适合资源受限的边缘设备。

5. 实操指南与避坑要点

如果你也想在自己的无线信号数据集上尝试构建或应用类似的基础模型，以下是一些基于论文和实践经验的要点。

5.1 数据准备与预处理流水线

1. 数据采集与同步：对于MIMO IQ数据，天线间的时钟同步至关重要。论文中使用OctoClock模块来同步多个USRP。任何采样时间偏差都会直接转化为相位误差，严重破坏空间特征。如果使用软件无线电，务必确保使用共享的参考时钟和触发信号。
2. 信号分段与标准化：
   • 分段长度：需要权衡。太短，可能无法捕获一个完整的符号或特征周期；太长，会增加计算负担并可能引入多个不相关的信号事件。IQFM使用256个采样点作为一个样本。你需要根据信号的符号速率和任务需求来确定。
   • 标准化：如前所述，采用逐样本的最大值归一化是稳健的选择。避免使用整个数据集的全局统计量（如均值、方差），因为无线信号的功率是时变的。
3. 处理单通道与多通道输入：你的预训练数据可能是多天线的，但下游任务数据可能是单通道的（如RML2016）。IQFM采用零填充将单通道数据“扩展”到与编码器输入通道数一致。例如，将[1, 2, T]填充为[M, 2, T]，其中第一维的其他通道填0。实验表明，这比通道复制效果更好。

5.2 模型训练与调参实战

1. 编码器选择：ShuffleNetV2是一个优秀的起点。如果你的计算资源更充裕，可以尝试稍大的版本（如1.0x）或MobileNetV3。切忌一开始就使用ResNet-50或Transformer等大型模型，它们容易在小规模无线数据集上过拟合，且不符合边缘部署的要求。
2. 对比学习超参数：
   • 温度参数τ：这是InfoNCE损失中的关键参数，控制着对困难负样本的惩罚力度。通常需要在0.05到0.2之间进行调优。τ值太小，模型会过于关注最困难的负样本，导致训练不稳定；τ值太大，则所有样本的相似度差异被平滑，学习效率降低。
   • 批量大小：对比学习受益于大的批量大小，因为可以提供更多的负样本。但受限于GPU内存，需要找到平衡点。可以使用梯度累积来模拟更大的批量。
3. 数据增强强度调优：
   • 通道丢弃/掩码概率：论文中的表面图（图10, 11）是极好的参考。对于调制分类，较高的通道丢弃概率（如90%）效果很好；对于AoA，通道掩码概率的影响相对平缓。你需要根据自己的任务特性进行网格搜索。
   • 时间滚动幅度：通常设置为信号长度的一个比例（如0%到50%）。幅度太大会破坏符号内的结构。
4. LoRA配置：
   • 秩r：这是LoRA最重要的超参数。对于ShuffleNetV2这样的小模型，r=1, 2, 4是合理的起点。论文中在大多数任务上使用了r=1。秩越高，适配能力越强，但参数也越多，可能在小数据集上过拟合。
   • 缩放因子α：用于控制适配器输出的强度。通常设置为α = r（如r=2, α=2）是一个经验法则，但论文中针对不同任务进行了精细调整（35, 10, 60等）。需要在下游任务验证集上进行调优。
   • 适配哪些层：通常适配注意力机制中的查询（Q）、键（K）、值（V）和输出（O）投影矩阵，以及前馈网络（FFN）中的两个线性层。对于CNN，可以适配卷积层后的线性层或某些卷积层本身。

5.3 常见问题与排查技巧

1. 模型不收敛或性能很差：
   • 检查数据增强：这是最常见的原因。确保你的增强操作没有破坏信号的物理意义。例如，对IQ信号应用颜色抖动或裁剪可能是不合适的。优先使用论文中验证过的增强（TR, CM, CD）及其变体。
   • 检查归一化：输入数据是否在合理的范围内（如[-1, 1]）？是否存在异常值？
   • 检查投影头：预训练时，投影头的维度不宜过小或过大，通常与编码器输出维度相同或减半。预训练结束后，务必丢弃投影头，用编码器主干提取的特征进行下游任务评估。
2. 线性探测效果尚可，但LoRA反而变差：
   • 学习率过高：LoRA适配器的学习率通常需要设置得比正常训练时更高（如1e-3 vs. 1e-4），但过高会导致震荡。尝试降低学习率或使用学习率预热。
   • 秩r过高：在小数据集上，过高的秩可能导致适配器过拟合。尝试降低r。
   • 灾难性遗忘：虽然LoRA只更新少量参数，但极端情况下也可能干扰预训练的特征。可以尝试更小的α值，或在损失中加入对预训练权重的轻微L2正则化。
3. 处理不同长度的信号：
   • 编码器通常需要固定长度的输入。对于变长信号，标准的做法是裁剪或填充到固定长度。如果信号长度变化很大，可以考虑在编码器前加入一个轻量的时序池化层（如全局平均池化），但这会损失一些时间分辨率。
4. 如何评估预训练模型的质量？
   • 线性探测准确率：这是最直接的指标。在多个不同的下游任务（即使是小数据集）上跑线性探测，快速评估特征的通用性。
   • 表征可视化：使用t-SNE或UMAP将编码器输出的特征降维到2D/3D进行可视化。好的表征应该让同一类别的样本聚集在一起，不同类别分离清晰。
   • 聚类指标：如论文中使用的轮廓系数，可以定量评估特征空间的结构化程度。

6. 未来展望与个人思考

IQFM的工作为无线通信的基础模型研究开辟了一条清晰的道路，但它远非终点。从我个人的工程实践角度看，以下几个方面值得深入探索：

1. 迈向更大规模与更多样化的预训练：当前工作是在一个相对受限的实验室数据集上进行的。真正的“基础”模型需要吞噬互联网级别的多样数据——不同频段（Sub-6G, mmWave, THz）、不同场景（室内、室外、城市、乡村）、不同设备型号、不同调制制式、甚至包含雷达、感知等跨模态信号。构建这样一个开放、标准化的无线信号预训练数据集，将是推动领域发展的关键基础设施。
2. 架构探索：ShuffleNetV2是高效的，但Transformer架构在捕获长程依赖关系方面具有天然优势。轻量化的视觉Transformer或混合CNN-Transformer架构（如MobileViT）可能是下一个值得尝试的方向，尤其对于更长的信号序列或需要理解复杂协议栈的任务。
3. 动态与在线学习：6G环境是高度动态的。未来的基础模型可能需要具备持续学习或在线适应的能力，能够在不遗忘旧知识的前提下，快速吸收新出现的信号模式或干扰类型。这涉及到对模型塑性、稳定性和记忆机制的重新设计。
4. 从“识别”到“生成”与“决策”：目前IQFM主要聚焦在感知类任务（分类、回归）。基础模型的潜力远不止于此。一个真正强大的无线基础模型，应该还能用于信道生成（为仿真或数字孪生提供高质量数据）、信号合成（用于安全测试或数据增强）、甚至辅助资源分配和网络优化决策。这要求模型具备更强的生成能力和对通信系统物理层的深度理解。

最后一点实操体会：无线AI的研究正从“用AI解决通信问题”的1.0阶段，迈向“重新思考通信系统架构以原生融入AI”的2.0阶段。IQFM这样的工作提醒我们，与其为每一个细分的无线任务苦苦标注数据、调参炼丹，不如退一步，投资于构建一个坚实、通用的信号表征学习底座。这个底座一旦建成，后续各种应用任务的开发效率将得到数量级的提升。这不仅是技术的进步，更是一种思维范式的转变。对于工程师和研究者来说，现在正是深入理解自监督学习、对比学习、参数高效微调这些核心范式，并将其与无线通信的物理层知识深度融合的最佳时机。