构筑 AI 理论体系：深度学习 100 篇论文解读 第二十篇增一：全局信息的统筹者——GloVe (2014)

构筑 AI 理论体系：深度学习 100 篇论文解读

第二十篇增一：全局信息的统筹者——GloVe (2014)

I. 论文背景：预测派 vs. 统计派 💡

在 2014 年左右，词向量建模分为两大阵营：

1. 矩阵分解派（统计派）：利用整个语料库的词共现频率（如 LSA）。优点是利用了全局统计信息，但对词与词之间的语义类比（如“国王-男人=女王-女人”）效果较差。
2. 浅层窗口派（预测派）：典型代表是 Word2Vec。优点是语义类比能力极强，但它每次只看滑动窗口里的那几个邻居词，完全忽略了语料库的全局分布规律。

Jeffrey Pennington及其团队提出的GloVe（Global Vectors for Word Representation），目标就是：我全都要。

核心作者介绍

II. 核心机制：共现矩阵与对数拟合 ⚙️

1. 全局共现矩阵 (X)

GloVe 的训练第一步不是读句子，而是数数。它会扫描全库，建立一张大表。

• X_{ij} 表示单词 i 和单词 j 在整个语料库中共同出现的总次数。

2. 核心数学发现：共现概率的比值

GloVe 的天才之处在于发现：真正蕴含语义的不是概率本身，而是概率的比值。

• 假设我们要区分“冰（ice）”和“蒸汽（steam）”。
• 找一个词“固体（solid）”：它与“冰”共现概率高，与“蒸汽”低。比值 P(solid|ice) / P(solid|steam) 会非常大。
• 找一个词“气体（gas）”：这个比值会非常小。
• 找一个无关词“水（water）”：它们都相关，比值接近1。

3. 损失函数 (Loss Function)

GloVe 要求词向量 w_i 和 w_j 的点积，要能预测它们共现概率的对数差：

符号详细解释：

• w_i^T \tilde{w}_j: 两个单词向量的点积（代表它们的相似度）。
• b_i, \tilde{b}_j: 两个词的偏置项。
• \log X_{ij}: 它们全局共现次数的对数值。
• f(X_{ij}):权重函数。这是一个“公平秤”，如果两个词共现次数太多（如“the”和“a”），它会通过一个上限函数削弱其权重，避免大词主导模型。

III. 隐藏状态与维度的再次明确 🔢

• 是否有隐藏状态？
  没有。GloVe 是一个非循环、非时序的模型。它不需要像 RNN 那样逐词处理。
• 维度是多少？
  它是超参数（通常设为 50, 100, 200 或 300 维）。
• 维度代表了什么？
  与 Word2Vec 一样，每个维度可以看作一个潜在的“特征槽位”。比如第 5 维可能捕捉到了“词性（动词 vs 名词）”，第 12 维捕捉到了“情感正负”。
• 数量如何确定？
  GloVe 的参数数量由词表大小 (V)决定。如果你有 40 万个词，维度是 300，模型就是一张 400,000 \times 300 的静态查找表。

IV. 历史意义：词向量的黄金时代 👑

1. 全局观：解决了 Word2Vec 无法利用全局统计数据的问题，训练出来的向量在数学逻辑上更严密。
2. 训练效率：虽然构建共现矩阵需要开销，但在大型语料库上，GloVe 的训练往往比 Skip-gram 更快且更稳定。
3. 标准组件：GloVe 发布的预训练模型（如 GloVe-6B, 840B）在之后数年内成为了所有 NLP 任务的标配“零件”。

V. 零基础理解：GloVe 到底干了啥？ 👶

他们做了什么：如果说 Word2Vec 像一个“猜词游戏”，那么 GloVe 就更像一个“大数据分析师”。它觉得没必要一个句子一个句子去猜，直接把整个书库的统计报表拿出来分析更高效。

怎么做的：

1. 统计全库：先数出所有词语组合出现的频率，做成一张超大的账单。
2. 分析比例：发现“国王”和“男人”出现的规律，与“女王”和“女人”出现的规律惊人一致。
3. 空间定位：根据这些概率比例，在 300 维的空间里给每个词定好坐标。让经常一起出现的词靠得近，让比例相似的词保持同样的间距。

结果：机器不仅懂得了“猫”和“狗”相似，还通过全局数据准确把握了人类语言中微妙的逻辑类比。

下一篇预告：无论是 Word2Vec 还是 GloVe，它们都还是“静态词向量”。不管语境如何，“苹果”的坐标永远不动。

下一篇（第二十一篇），我们将进入ELMo (2018)的领域，看它是如何利用双向 LSTM让这些固定的坐标根据句子“动”起来的。

准备好迎接动态词向量的革命了吗？