avatar avatar 我的文献 Text-CRNN+Attention架构下的多类别文本信息分类 作者 卢健; 马成贤; 杨腾飞; 周嫣然 单位 西安工程大学电子信息学院 期刊 计算机应用研究 时间 关键词 文本分类; CNN; RNN; CRNN; Attention机制 基金 国家自然科学基金资助项目(51607133); 陕西省教育厅专项科学研究计划项目(17JK0332); 陕西省科技厅科技发展计划项目(2011K06-01); 西安市碑林区应用技术研发项目(GX1807)
摘要
文本分类作为数据挖掘和信息检索领域的研究热点。迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN网络,并引入Attention机制,提出一种Text-CRNN+Attention模型。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后RNN进行序列特征建模时,引入Attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失;最后完成时间和空间上的特征提取。实验结果表明,提出的模型较其他模型准确率提升了2~3个百分点;在提取文本特征时,该模型既保证了数据的局部相关性,又起到强化序列特征的有效组合能力。
下载 浏览 cnki {{liketext}}
©2020 - iData {{ message }} 关闭