通过局部与全局上下文设定答案选择新标准

在实用的问答系统中，经常使用一种称为答案选择的技术。给定一个问题（例如，“塞雷娜·威廉姆斯何时出生？”），系统首先执行基于关键词的普通文档搜索，然后从检索到的文档中选择一个句子作为答案。

如今，大多数答案选择系统都是基于问题和候选答案集训练的神经网络：给定一个问题，它们必须学会从候选句子中选择正确答案。在运行时，它们独立考虑每个候选句子，并估计其成为正确答案的概率。

但这种方法存在局限性。想象一篇文章的开头是“塞雷娜·威廉姆斯是美国网球运动员。她出生于1981年9月26日。”如果系统学会了独立考虑候选答案，它将别无选择，只能给“1981年9月26日”分配一个很低的概率，因为它无法知道“她”指的是谁。同样，一个文档可能只在其标题中提到了塞雷娜·威廉姆斯的名字。在这种情况下，准确的答案选择需要更全局的上下文感知。

在即将于春季发表的两篇论文中，研究人员探讨了如何在答案选择系统中添加上下文，同时不产生过高的计算成本。

第一篇论文将于本月底在欧洲信息检索会议（ECIR）上发表。该文描述了一种利用局部和全局上下文显著提高答案选择精度的技术。

三周后，在欧洲计算语言学协会会议（EACL）上，将发表另一篇论文，介绍一种更有效的添加全局上下文的技术，该技术涉及对少量选定句子的向量表示。

通过将这种全局上下文方法与早期论文中的局部上下文方法相结合，研究人员在两项基准数据集上，相对于最先进的答案选择系统，分别实现了6%和11%的精度提升。

局部上下文

在两篇论文中，所有模型都建立在先前于AAAI 2020会议上发表的模型基础之上，该模型目前仍是答案选择任务的最先进技术。该模型将预训练的、基于Transformer的语言模型（如BERT）适配到答案选择任务。其输入是拼接的问题-答案对。

在ECIR论文中，为了向基本模型添加局部上下文，研究人员扩展了输入，以包含源文本中位于候选答案前后的句子。输入的每个词都经过三种嵌入（即编码为固定长度的向量）。一种是标准的词嵌入，它将语义内容编码为嵌入空间中的位置。第二种是位置嵌入，用于编码词在其源句子中的位置。第三种是句子嵌入，用于指示词来自哪个输入句子。这使得模型能够学习候选答案中的词与其前后句子中的词之间的关系。

研究还探索了一种捕获全局上下文的技术，该技术使用一个50,000维的向量来记录源文本中出现的、属于一个50,000词词典的每个词的计数。研究人员使用一种称为随机投影的技术将该向量降维到768维，与局部上下文向量大小相同。

在测试中，研究人员将新系统与不考虑上下文的最先进的基于Transformer的系统，以及一个集成系统基线（该系统为每个候选答案及其相邻句子使用单独的编码器）进行了比较。集成系统基线有助于衡量模型在多大程度上依赖于相邻句子间关系的推断，而不是简单地利用它们所包含的额外信息。

在三个不同的数据集和两种不同的精度度量标准上，新模型在所有情况下都优于基线。实际上，集成系统的表现比其他两者差得多，可能是因为上下文句子中的额外信息使其混淆。

全局上下文

在EACL论文中，研究人员考虑了另外两种为模型添加全局上下文的方法。两种方法都在源文本中搜索与问题和候选答案都密切相关的少数句子（二到五个句子效果最佳）。然后将这些句子作为附加输入添加到模型中。

两种方法以不同的方式衡量句子之间的关系。一种方法使用n-gram重叠。也就是说，它将每个句子分解为单字、双字和三字序列，并测量跨句子间这些序列的重叠度。

另一种方法使用上下文词嵌入，根据句子在嵌入空间中的接近程度来确定句子之间的语义关系。在实验中，这是效果最好的方法。

在实验中，研究人员使用了三种不同的架构来探索这种上下文感知的答案选择方法。在所有三种架构中，输入都包含了局部上下文信息（如ECIR论文所述）和全局上下文信息。

在第一种架构中，研究人员只是将全局上下文句子与问题、候选答案和局部上下文句子拼接起来。

第二种架构使用集成方法。它接收两个输入向量：一个将问题和候选答案与局部上下文句子拼接，另一个将它们与全局上下文句子拼接。这两个输入向量分别传递给独立的编码器，编码器产生独立的向量表示以供进一步处理。研究人员推测这会提高精度，但代价是更高的计算成本。

第三种架构使用多路注意力机制，试图以较低成本捕获集成架构的部分优势。多路注意力模型使用单个编码器为所有输入生成表示。然后将这些表示送入三个独立的注意力块。第一个注意力块迫使模型联合检查问题、答案和局部上下文；第二个注意力块专注于局部和全局上下文之间的关系；最后一个注意力块捕获整个序列中的关系。因此，该架构保留了集成方法的部分信息隔离特性。

在测试中，集成方法表现最佳，但多路注意力模型紧随其后，在评估所使用的三项指标上，精度下降幅度在0.1%到1%之间。

然而，所有三种上下文感知模型的表现都优于最先进的基线，为答案选择精度设定了新的标准。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）