V-NET 多文档阅读理解任务思路论文(下)

前言

在上一篇文章中,我们主要提及了 V-NET 结构的前两 module 。这篇会在开头的部分简评一下前两个 module 的相关内容,并且提出可能可以改进的点。然后我会继续与大家将 V-NET 的相关结构彻底分析完毕。相信这个会让大家稳稳地接下这次的几乎是一篇小综述的博客文章。而且我发现自己的文章数量已经达到第十篇,下一个目标就是写到第二十篇。


文章内容

Conclusion
In this blog, we will talk about the main idea of V-NET, which is used for machine reading comprehension. Nowadays, we could firmly believe that good machine reading comprehension systems will help a lot with NLP problem. So I work a lot with the MRC problem. I found that R-NET, V-NET, QA-NET all work well with the task. So I had written three blogs about these papers. Now this is the next chapter of V-NET.

简而言之,百度指出如今基于网络数据的阅读理解任务通常都需要通过分析搜索引擎提供的多篇文章来提供相应的相对正确的回答。所以,相比起单文章的回答,我们通常会在多文章的阅读理解任务中遭遇到比较难以解决的问题。为了解决这个问题,百度提供了对应的端对端神经网络模型来让从多文章中找到的答案进行一次置信度的分析后,提供答案。模型包括了三部分,第一个是回答区域,回答的内容,以及多文档的答案认证。在之前的博客之中,我们已经讲述了关于 Answer Boundary, 以及 QA-pair 的相关内容。

而我们也准备就 V-NET 中的优点和缺点/可改进点进行描述。

V-NET 亮点

由上,这篇文章用了四个 module 也就是以下显示的四个模组,V-NET Structure
其中分别是:

  • 问题-文章对/Q-P pair
  • 指针网络/Pointer Network
  • 答案内容/Answer-content
  • 答案验证/多文档必须/Answer Verification

Answer content

这次,我们先开始说一下其中的第三个 module ,也就是求答案内容,即使在之前的结构中,我们已经计算了答案的区域位置,但是我们仍然需要将区域内的内容取出来后经过整理得出答案相关的内容,如果是直接凭直觉,我们可以用上述得到的区域经过推断,得出一个端对端的模型后进行使用,但是这个所需要的重复标注以及工作相对来说很多(以上原文,实际上,我觉得可行。)而在答案中的第 K 个词的计算方式为:
。这里,百度的这篇文章强调这样一个模型是凭直觉出来的,而后,它提到自己的相关的损失函数,就不说明了。而后就可以得出在下一节中需要用的联合权重 。其计算公式如下:

注意点

这里需要注意的是,文章中提到的获取答案内容的公式模型是想当然的结果,意思就是没有任何的可解释性,这是不合理的。因为没有解释性的原理无法肯定它是否就是最优解。但是文章并没有对这个现象进行下一步的解释。因此,我会将这个视为一个可行的改进点。但是目前暂时还是没想到它的改进方式。这个作为考虑的范围放在这里。

多文档答案验证 - 跨注意力机制

在上述的文章中,我们提出了可以从单文档中提取出相应的答案,但是实际上,我们应该从多文档中提取出各自相当的答案,然后验证其中相对来说正确的答案。然后选取出其中最好的答案。因此,在文中也提出了一个方法来处理这种问题。首先假设我们的所有关于答案的表述都可以归类为{ }。然后我们就可以通过以下所表述的公式得出各自的答案表述能够有什么样的效果。

然后,验证值可以通过以下公式计算出来, ,然后得到 loss 值。

注意点

其中这部分使用的 loss 公式和之前所说的答案区域预测的 loss 公式相同的。因此能快速地收敛。

联合训练和预测

使用了联合训练的方式,定义了三个目标,首先是找到区域,然后预测哪个词应该在答案之中,然后选择三个里面最好的答案。然后它这里的联合预测使用了因子参与到公式之中。以比例进行权重分析。从而达到最好的训练效果。

谢谢阅览。

参考文献

[1] Sebastian Ruder. 2017. An overview of multi-task learning in deep neural networks. arXiv preprint arXiv:1706.05098 .
[2] Wang S, Jiang J. Machine comprehension using match-lstm and answer pointer[J]. arXiv preprint arXiv:1608.07905, 2016.

本文作者: Bon
本文地址https://bonxg.com/p/18.html
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 CN 许可协议。转载请注明出处!

# Bon
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×