avatar avatar 我的文献 结合注意力机制的循环神经网络复述识别模型 作者 李旭; 姚春龙; 范丰龙; 于晓强 单位 大连工业大学信息科学与工程学院 期刊 控制与决策 时间 关键词 自然语言处理; 复述识别; 循环神经网络; 双向长短时记忆; 注意力机制; 无监督预训练 基金 国家重点研发计划专项(2017YFC0821003-3); 辽宁省高等学校基本科研项目(2017J049); 辽宁省自然科学基金项目(20180550395)
摘要
传统的基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配。为此,本文建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次上推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类。为解决复述标注训练语料不足的瓶颈问题,本文在超过580,000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调。与先前最佳的神经网络模型相比,本文模型在标准数据集MSRP上准确率提高2.96%、F1值改善2%。提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能降低对人工特征工程的需求,具有良好的实用性。
下载 浏览 cnki {{liketext}}
©2020 - iData {{ message }} 关闭