Flow Matching训练稳定秘籍：VAE Latent归一化原理与工程实践

1. 项目概述：当Flow Matching遇上VAE Latent，一场关于数据分布的“暗战”

最近在复现和优化一个基于Flow Matching的TTS模型——VoxFlash-TTS时，我遇到了一个看似不起眼，却足以让整个训练过程“翻车”的拦路虎：VAE Latent的输入分布问题。这听起来可能有点学术，但说白了，就是我们从VAE编码器里拿到的那个“压缩包”（Latent Code），它的数值范围、统计特性五花八门，直接丢给Flow Matching模型去学，模型会非常困惑，甚至根本学不会。这就像你让一个习惯了听标准普通话的老师，去教一个满口方言、音调起伏毫无规律的学生唱歌，结果只能是鸡同鸭讲，训练效率低下，甚至生成的声音乱七八糟。

Flow Matching作为一种新兴的生成模型范式，其核心思想是学习一个将简单分布（如标准高斯分布）平滑地“流动”到复杂数据分布的向量场。它对输入数据的分布极其敏感。而VAE（变分自编码器）作为强大的特征提取器，在TTS中常被用来将梅尔频谱图压缩到一个低维的、连续的潜空间（Latent Space）。问题就出在这里：不同VAE模型、不同训练数据、甚至同一模型不同批次产生的Latent，其均值（Mean）、方差（Variance）可能天差地别。有的Latent值域可能在[-10, 10]，有的可能在[0, 1]，还有的可能存在严重的偏态（Skewness）。如果不加处理，Flow Matching模型就需要额外耗费巨大的建模能力去适应这种多变的输入分布，而不是专注于学习语音本身的结构和动态，这直接导致了训练不稳定、收敛慢、生成质量差。

因此，“归一化”就成了连接VAE Latent与Flow Matching训练的关键桥梁。这不仅仅是一个简单的(x - mean) / std的公式应用，它背后涉及到对VAE Latent统计性质的深入理解、归一化策略的工程选型，以及如何将这一套流程无缝、高效地集成到TTS训练和推理管线中。本文将以VoxFlash-TTS项目为具体战场，拆解我从发现问题、分析数据到实施并验证一套稳健归一化方案的全过程，分享其中的核心思路、实操细节以及踩过的坑。

2. 核心问题拆解：为什么VAE Latent的分布会成为Flow Matching的“阿喀琉斯之踵”？

要解决问题，必须先透彻理解问题。为什么Flow Matching对输入分布如此挑剔？而VAE Latent的分布又为何如此“不羁”？我们需要从两者的原理交汇处入手。

2.1 Flow Matching的“洁癖”：它为什么要求输入规整？

Flow Matching的目标是学习一个时间依赖的向量场 $v_t(x)$，使得从简单先验分布 $p_0$（通常是标准高斯分布 $\mathcal{N}(0, I)$）出发，沿着这个向量场积分（“流动”），在时间 $t=1$ 时能得到目标数据分布 $p_1$。一个常见的简化是使用条件Flow Matching，其训练目标简化为去拟合一个条件向量场：

$$ \mathcal{L}{CFM} = \mathbb{E}{t, x_1 \sim p_1, x_0 \sim p_0} \left[ | v_t(x_t) - (x_1 - x_0) |^2 \right] $$

其中 $x_t = (1-t)x_0 + t x_1$ 是线性插值路径。注意看这个目标函数，它直接计算的是模型预测的流动方向 $v_t(x_t)$ 与真实方向 $(x_1 - x_0)$ 之间的差距。

• 数值尺度敏感性：如果 $x_1$（我们的数据，即VAE Latent）的数值尺度非常大（例如范围在几百到几千），那么 $(x_1 - x_0)$ 也会非常大。这会导致损失函数的值巨大且不稳定。神经网络在反向传播时，梯度也会相应地变得非常大，极易引发梯度爆炸（Exploding Gradient），训练瞬间发散。
• 优化难度增加：如果 $x_1$ 的不同维度（即Latent Space的每个通道）具有完全不同的均值和方差，那么损失函数对于不同维度的“关注度”就不均衡。优化器（如Adam）需要为每个维度自适应调整学习率，但这在尺度差异巨大时会变得非常困难，导致某些维度收敛过快而过拟合，另一些维度则收敛缓慢。
• 先验分布失配：Flow Matching通常假设 $p_0 = \mathcal{N}(0, I)$。如果 $x_1$ 的分布与标准高斯相去甚远，那么从 $p_0$ 到 $p_1$ 的“流动”路径会非常扭曲和复杂，模型需要学习一个极度非线性的变换，这大大增加了学习难度。而归一化的一个核心目的，就是将 $p_1$ 也变换到近似标准高斯分布附近，使得 $p_0$ 到 $p_1$ 的路径尽可能平滑、简单。

实操心得：在早期实验中，我忽略了归一化，直接使用原始VAE Latent训练Flow Matching。训练损失曲线剧烈震荡，生成的语音要么是无声，要么是刺耳的噪音。查看梯度范数（gradient norm）发现，它在某些批次会突然飙升到正常值的上百倍，这就是典型的输入尺度不匹配导致的梯度爆炸。

2.2 VAE Latent的“任性”：它的统计性质从何而来？

VAE Latent的分布特性并非随机，而是由其模型结构、损失函数和训练数据共同决定的。

1. 模型结构约束：VAE的编码器（Encoder）将输入数据 $x$（如梅尔频谱图）映射为潜空间的后验分布参数，通常是均值 $\mu$ 和对数方差 $\log \sigma^2$。采样得到Latent Code: $z = \mu + \sigma \odot \epsilon, \epsilon \sim \mathcal{N}(0, I)$。理论上，VAE的KL散度正则项会鼓励后验分布接近标准先验 $\mathcal{N}(0, I)$。但这只是鼓励，并非强制。为了更好地重构输入，编码器完全可能学习到一个与标准高斯有偏移、尺度不同的分布，只要它能被解码器（Decoder）很好地理解。
2. 训练数据的影响：不同的语音数据集（如LibriTTS, VCTK, 中文多说话人数据集）其本身的声学特性（音高、响度、音色分布）就不同。编码器会捕捉这些特性并反映在Latent的分布上。例如，一个主要包含柔和语音的数据集，其Latent的幅度可能整体较小。
3. 潜在的空间结构：VAE的Latent Space通常不是各向同性的。不同维度可能对应不同的语音属性（如音高、音素、说话人身份）。这意味着不同维度的方差天然就可能不同。有些维度可能非常活跃（方差大），对应变化丰富的特征；有些维度可能几乎不变（方差小），对应稳定的背景特征。

因此，当我们从某个训练好的VAE模型中提取Latent时，我们得到的是一个具有特定均值向量 $\mu_{data}$ 和协方差矩阵 $\Sigma_{data}$的多元分布。这个分布 rarely 是完美的 $\mathcal{N}(0, I)$。

2.3 问题归纳：不匹配的具体表现

在VoxFlash-TTS项目中，我使用一个在大量语音数据上预训练的VAE模型来提取梅尔频谱图的Latent。未经处理时，我观察到以下现象：

• 数值范围：Latent值的范围大约在[-15, 20]之间，远非标准高斯的[-3, 3]（覆盖99.7%数据）。
• 各维度差异：计算每个Latent维度（假设是128维）在整个训练集上的均值和标准差，发现均值向量 $\mu$ 并不为零，有些维度均值是正数，有些是负数。标准差向量 $\sigma$ 的元素也各不相同，有些维度标准差接近2.0，有些只有0.5。
• 训练症状：直接训练Flow Matching，初始损失值极高，训练过程中损失剧烈波动，验证集损失不降反升，生成的样本毫无语音结构。

这一切都指向一个结论：必须在数据进入Flow Matching模型之前，进行严格的归一化处理，将其分布校准到一个稳定、规整的状态。

3. 归一化方案选型：从理论到实践的四条路径

面对VAE Latent的分布问题，有几种主流的归一化思路。每种都有其适用场景和优缺点，需要根据你的数据特性、计算资源和 pipeline 复杂度进行选择。

3.1 Z-Score 归一化（标准化）

这是最经典、最常用的方法，旨在将数据变换为均值为0、标准差为1的分布。

• 公式：$z = \frac{x - \mu}{\sigma}$
  • $x$: 原始Latent
  • $\mu$: 数据集的均值（一个向量，长度等于Latent维度）
  • $\sigma$: 数据集的标准差（一个向量，长度等于Latent维度）
• 计算：需要在整个训练集上预先计算 $\mu$ 和 $\sigma$。这要求你有一份代表性的训练数据，遍历所有样本计算统计量。
• 优点：
  • 原理简单，实现容易，计算高效。
  • 能有效消除各维度间的尺度差异，使所有维度处于同一量级。
  • 变换后的数据大致服从 $\mathcal{N}(0, I)$，与Flow Matching的先验分布完美匹配，极大简化了学习任务。
• 缺点：
  • 对异常值敏感。如果某个Latent维度存在极端值，会拉高该维度的 $\sigma$，导致其他正常值被过度压缩。
  • 必须基于训练集计算全局统计量，如果训练集数据分布有偏（例如某种语音风格过多），这个“全局”归一化可能对少数风格不利。
• 适用场景：VAE Latent分布相对“健康”，没有极端异常值，且训练集数据分布较为均衡时，这是首选方案。

3.2 Min-Max 归一化（线性缩放）

将数据线性映射到一个固定的区间，通常是[0, 1]或[-1, 1]。

• 公式（到[0,1]）：$z = \frac{x - x_{min}}{x_{max} - x_{min}}$
  • $x_{min}$, $x_{max}$: 数据集每个维度上的最小值和最大值。
• 优点：
  • 保留了原始数据的线性关系。
  • 将数据严格限制在固定范围内，对于某些对输入范围有严格要求的模型或激活函数（如Tanh输出为[-1,1]）可能有用。
• 缺点：
  • 极度依赖极值点。最大值和最小值很容易是异常点，一旦数据中出现新的超出原范围的样本（例如推理时遇到训练集未见的语音特性），归一化就会失效或产生超出范围的值。
  • 如果数据分布不是均匀的，映射到[0,1]后，数据可能会聚集在区间中部，分布形状改变。
• 适用场景：在语音处理中，对于Latent归一化，Min-Max方法通常不是最佳选择，因为语音数据的极值点不稳定且不可靠。

3.3 分位数归一化 / Robust Scaling

这是一种更稳健（Robust）的归一化方法，旨在减少异常值的影响。

• 原理：使用数据的中位数（Median）和分位距（IQR, Interquartile Range，即75%分位数 - 25%分位数）来代替均值和标准差。
• 公式：$z = \frac{x - \text{Median}}{\text{IQR}}$
• 优点：对异常值不敏感。即使数据中存在一些极端点，中位数和IQR也比均值和标准差稳定得多。
• 缺点：计算比Z-Score稍复杂。变换后的数据不再以0为中心（除非中位数恰好为0），且分布不一定接近标准高斯。
• 适用场景：当你怀疑或检测到VAE Latent中存在一些异常维度或离群点时，可以考虑使用此方法。

3.4 在线自适应归一化（如BatchNorm思想）

这是一种动态归一化方法，不依赖于预计算的全局统计量，而是在训练过程中，基于当前数据批次（Batch）的统计量进行归一化。

• 原理：类似于神经网络中的BatchNorm层。对于每个批次的输入数据，计算该批次的均值和方差，并用其进行归一化。为了保持推理时的稳定性，通常会维护一个运行均值（Running Mean）和运行方差（Running Variance），在训练过程中用动量法更新，推理时则使用这些运行统计量。
• 优点：
  • 无需预处理计算全局统计量。
  • 对于数据流或分布可能缓慢变化的场景有更好的适应性。
• 缺点：
  • 引入了额外的模型参数（运行统计量）和计算步骤。
  • 在小批量（Mini-batch）训练时，批次统计量可能噪声较大，不够准确。
  • 将归一化逻辑嵌入模型，使得训练和推理的pipeline变得更复杂。
• 适用场景：当训练数据非常大，无法一次性计算全局统计量，或者数据是动态生成、分布可能变化时。

在VoxFlash-TTS中的选择：经过分析，我们的VAE模型是在一个大规模、质量较高的通用语音数据集上预训练的，其Latent分布虽然偏离标准高斯，但并未发现严重的、广泛的异常值。我们的首要目标是稳定Flow Matching训练并快速收敛。因此，Z-Score归一化因其简单、高效且能直接将数据对准标准高斯的特性，成为我们的首选方案。Min-Max因稳定性问题被排除；Robust Scaling在数据无明显异常时优势不大；在线方法则引入了不必要的复杂性。

4. VoxFlash-TTS归一化工程实践全记录

理论选型已定，接下来就是具体的工程实现。这个过程远不止调用一个sklearn.preprocessing.StandardScaler那么简单，它涉及到离线和在线、训练和推理的完整pipeline设计。

4.1 第一步：离线计算全局统计量

这是整个流程的基石，必须确保准确性和代表性。

1. 数据准备：使用你的训练集（注意：必须是训练集，不能包含验证集或测试集，以防信息泄露）。从训练集中随机采样足够数量的语音样本（例如1万到10万条，具体取决于数据集大小，应能覆盖所有说话人和语音风格）。
2. 特征提取：用你的VAE编码器（Encoder）逐条处理这些语音样本，得到它们的Latent Code。假设Latent维度是D，你最终会得到一个形状为[N, D]的矩阵，其中N是样本数。
3. 计算统计量：
   • 均值向量 $\mu$：沿样本维度（axis=0）计算均值，得到一个长度为D的向量。mu = np.mean(latents, axis=0)
   • 标准差向量 $\sigma$：同样沿样本维度计算标准差，得到一个长度为D的向量。sigma = np.std(latents, axis=0, ddof=0)（注意：ddof=0表示除以N，这是总体标准差；ddof=1是样本标准差。在归一化中，通常使用总体标准差）。
4. 处理零方差维度：这是一个至关重要的检查步骤。计算完 $\sigma$ 后，需要检查是否有任何一个维度的标准差接近或等于0。这表示该Latent维度在所有样本中几乎是一个常数，不携带任何信息。

   # 检查并处理零方差维度 epsilon = 1e-8 # 一个极小的数，用于防止除零 sigma[sigma < epsilon] = 1.0 # 将零方差维度的标准差设为1，避免归一化时除零，同时该维度数据减去均值后变为0，不影响模型。

5. 保存统计量：将计算好的 $\mu$ 和 $\sigma$ 向量保存为文件（如.npy或.pt格式）。这是后续所有归一化和反归一化操作的依据。

踩坑实录：第一次计算时，我偷懒只用了5000条样本。训练初期看起来正常，但后期模型生成的声音总是带有一种相似的“背景嘶嘶声”。排查后发现，某个Latent维度的 $\sigma$ 因为样本不足而被低估，导致该维度在归一化后被过度放大，模型过度关注了这个噪声维度。将样本量增加到5万条后重新计算统计量，问题消失。教训：计算统计量的样本必须足够多且具有代表性。

4.2 第二步：集成到训练Pipeline中

在Flow Matching模型的训练代码中，我们需要在数据加载和送入模型之间插入归一化层。

1. 加载统计量：在训练脚本开始时，加载之前保存的mu.pt和sigma.pt。
2. 定义归一化函数：

   def normalize_latent(latent_batch): # latent_batch: [B, D] return (latent_batch - mu) / sigma

3. 在数据流中应用：在数据加载器（DataLoader）返回一个批次的Latent数据后，立即对其进行归一化。

   for batch in dataloader: mel, latent, ... = batch # 假设latent是VAE编码后的结果 normalized_latent = normalize_latent(latent) # 归一化 # 将 normalized_latent 作为条件输入Flow Matching模型 loss = model(normalized_latent, ...) ...

4. 目标分布的调整：由于我们对数据 $x_1$ 进行了归一化，使其接近 $\mathcal{N}(0, I)$，那么我们的先验分布 $p_0$ 是否还需要是 $\mathcal{N}(0, I)$？理论上，如果归一化完美，$p_1 \approx \mathcal{N}(0, I)$，那么从 $p_0 = \mathcal{N}(0, I)$ 到 $p_1$ 的流动几乎是一个恒等映射，这太简单了。在实践中，为了给模型一定的学习难度，我们通常保持 $p_0 = \mathcal{N}(0, I)$ 不变。归一化只是让 $p_1$ 也靠近原点，但两者之间仍然有需要学习的、复杂的语音结构对应关系。另一种策略是稍微调整 $p_0$ 的方差，例如使用 $\mathcal{N}(0, 0.5*I)$，让路径的起点和终点略有区别。这可以作为一个超参数进行微调。

4.3 第三步：推理时的反归一化

这是新手最容易忽略的一步！Flow Matching模型是在归一化后的Latent空间中学习和生成数据的。因此，当模型生成出一个样本z_gen时，它处于归一化后的空间。要得到能被VAE解码器理解的原始Latent空间的数据，必须进行反归一化。

1. 定义反归一化函数：

   def denormalize_latent(normalized_latent_batch): # normalized_latent_batch: [B, D] return normalized_latent_batch * sigma + mu

2. 在推理Pipeline中应用：

   # 1. Flow Matching 模型生成（在归一化空间） normalized_z_gen = flow_matching_model.sample(num_samples=1) # 形状 [1, D] # 2. 反归一化到原始VAE Latent空间 original_z_gen = denormalize_latent(normalized_z_gen) # 3. 送入VAE解码器得到梅尔频谱图 mel_gen = vae_decoder(original_z_gen) # 4. 梅尔频谱图转波形（通过声码器，如HiFi-GAN） audio = vocoder(mel_gen)

   务必确保：mu和sigma与训练时使用的是同一套统计量。通常的做法是将它们作为模型配置的一部分保存下来，在推理时一同加载。

致命错误案例：我曾忘记在推理代码中实现反归一化。模型生成了听起来很“平滑”但完全失真的声音。因为生成的normalized_z_gen范围在[-3,3]左右，而VAE解码器期望的输入范围是原始的[-15, 20]。直接将错误范围的数据送入解码器，得到的是毫无意义的输出。教训：训练和推理的预处理/后处理必须镜像对称。

4.4 第四步：效果验证与监控

实施归一化后，如何验证其有效性？

1. 训练指标监控：
   • 损失曲线：最直观的指标。归一化后，训练损失应从极高的、不稳定的值，下降到一个合理且平稳下降的范围。损失曲线应变得平滑，震荡减小。
   • 梯度范数：监控模型权重的梯度范数。归一化后，梯度范数应保持在一个稳定的数量级，避免出现尖峰。
2. 生成质量评估：
   • 主观听感：定期在验证集上做推理，直接听生成的语音。关注清晰度、自然度、音色保真度是否有提升。
   • 客观指标：可以计算生成语音与真实语音的梅尔谱图之间的损失（如L1 Loss, L2 Loss）作为参考，但最终以听感为准。
3. 潜在空间可视化（可选但推荐）：
   • 使用t-SNE或PCA将归一化前后的Latent数据降维到2D或3D进行可视化。
   • 归一化前：数据点可能分布在一个扭曲、拉长的区域。
   • 归一化后：数据点应更接近一个以原点为中心的球形分布。这直观地证明了分布被“规整”了。
4. 统计量复查：在训练过程中，可以偶尔从模型生成的样本中采样，计算其均值和方差，看看是否稳定在0和1附近。这可以作为一种对模型校准程度的监测。

在VoxFlash-TTS项目中，应用Z-Score归一化后，训练损失从最初的上万迅速下降到几百并稳定下降，梯度爆炸现象完全消失。模型在约1/3的训练周期时，生成的语音就已具备可辨识的词语和正确的语调，而未归一化的模型在相同周期下输出仍是噪音。

5. 进阶讨论与疑难排坑

即使遵循了上述流程，在实践中仍可能遇到一些棘手问题。以下是我在项目中遇到或预见到的典型问题及解决方案。

5.1 问题一：训练集与推理集分布不一致（域偏移）

这是最令人头疼的问题之一。你的归一化统计量基于训练集计算，但如果推理时输入的语音特性与训练集差异巨大（例如，训练集是纯净朗读语音，推理时输入的是带背景音乐或严重噪声的语音），VAE编码器产生的Latent分布可能会偏移，导致归一化效果打折扣。

• 现象：模型在训练集上表现良好，但在某些特定推理数据上生成质量骤降。
• 排查：提取推理数据的Latent，计算其各维度的均值/方差，与训练集统计量mu_train,sigma_train进行比较。如果发现显著差异（例如某个维度均值偏移了几个标准差单位），则可能是域偏移。
• 应对策略：
  1. 数据增强：在训练集中尽可能包含多样化的数据（不同噪声环境、不同说话风格等），使VAE编码器和归一化统计量更具鲁棒性。
  2. 自适应归一化：在推理时，如果条件允许，可以对当前输入的少量样本（例如一句话的几个片段）计算临时统计量，进行微调归一化。但这需要额外的计算，且可能不适用于实时场景。
  3. 领域自适应训练：在目标领域数据上对VAE编码器或整个TTS pipeline进行微调（Fine-tuning），并重新计算归一化统计量。这是最根本但成本较高的方法。

5.2 问题二：VAE模型更换或微调

如果你决定更换一个更好的VAE模型，或者对现有VAE进行微调，那么其Latent空间的性质必然发生变化。

• 必须做的操作：重新计算归一化统计量！绝对不能沿用旧VAE的统计量。用新VAE编码器在训练集上重新跑一遍特征提取和统计量计算流程。
• 影响评估：新旧VAE的Latent空间可能不仅尺度不同，甚至语义结构都不同。更换VAE后，通常需要重新训练或至少微调（Fine-tune）Flow Matching模型，因为它学习的是从噪声到特定Latent分布的映射。

5.3 问题三：归一化引入的数值稳定性问题

在归一化和反归一化公式中，除法/ sigma和乘法* sigma是潜在的风险点。

• 除零错误：如前所述，必须检查并处理sigma中为零或接近零的维度。
• 数值溢出/下溢：如果sigma中有极小的值（如1e-6），归一化时会将该维度数值放大百万倍，可能导致浮点数溢出（inf）。同样，反归一化时，如果sigma极小，乘以它可能导致信息丢失。因此，设置一个安全的下限（如epsilon=1e-8）来钳制sigma是标准做法。
• 混合精度训练：在使用AMP（自动混合精度）训练时，mu和sigma应保持在FP32精度，以避免在归一化/反归一化计算中因精度损失引入误差。

5.4 问题四：归一化会破坏Latent空间的结构吗？

这是一个理论上的担忧。Z-Score归一化是一种仿射变换（线性变换+平移）。对于线性模型，这种变换不会改变数据点之间的相对关系（如距离、夹角）。对于深度神经网络，由于其强大的非线性能力，只要训练和推理时应用相同的变换，模型就能学会适应。实际上，归一化不是“破坏”结构，而是“重塑”结构到一个更易于模型学习的标准框架内。只要反归一化正确，原始VAE Latent空间的所有语义信息都能被完整地恢复。

6. 总结与个人实践心得

回顾整个VoxFlash-TTS项目中解决Flow Matching输入分布问题的过程，归一化看似是一个简单的数据预处理步骤，实则是连接VAE特征提取与Flow Matching生成模型的关键枢纽，是工程实践中决定成败的细节。

我的核心体会是：在深度学习，尤其是生成模型的应用中，对数据分布的深刻理解和精确控制，其重要性不亚于模型结构本身的设计。很多时候，模型调参半天收效甚微，问题可能就出在数据输入的“第一公里”。

具体到本次实践，以下几点经验值得再次强调：

1. 统计量计算要“富足”：用于计算Z-Score统计量的样本量宁多勿少，并且要确保能覆盖数据集的多样性。这是后续所有操作可靠的基础。
2. 训练与推理的对称性是铁律：任何在训练时对数据做的变换，在推理时必须有其精确的逆变换。建立清晰的、模块化的预处理/后处理管道，并严格测试其对称性，可以避免许多难以调试的错误。
3. 监控不止看损失：除了损失曲线，梯度范数、激活值分布、以及生成样本的中间状态统计（如生成Latent的均值和方差）都是重要的诊断工具。它们能帮你更早地发现数据分布相关的问题。
4. 归一化策略不是一成不变的：Z-Score是我们的首选，但它不是银弹。如果你的数据异常值很多，Robust Scaling值得尝试。如果你的数据是持续流式的，或许需要集成一个在线归一化层。始终根据数据的实际特性和项目需求做选择。

最后，关于VAE Latent的统计性质，它不仅仅是归一化的依据，也可能成为分析模型行为的窗口。例如，通过观察哪些Latent维度的方差最大，我们或许能窥见VAE学到了哪些重要的语音特征；通过对比不同说话人Latent的均值，或许能辅助说话人身份建模。将归一化视为一个起点，而非终点，或许能打开更多优化和创新的思路。在VoxFlash-TTS的后续迭代中，正是基于稳定归一化后的Latent空间，我们才得以更顺利地引入诸如说话人混合、风格控制等高级功能，这些都是后话了。