近年来,越来越多的人热衷于在社交媒体上同时用图片和文本等媒体形式表达自己的感受与看法,使得以图片和文本为主要内容的多模态数据不断増长。相比单模态数据,多模态数据包含的信息更丰富,更能揭示用户的真实情感。对这些海量多模态数据的情感进行分析有助于更妤地理解人们的态度和观点,具有广泛的应用场景。为了解决多模态情感分类任务中的信息冗余的问题,在张量融合方案的基础上,提出了一种基于注意力神经网络的多模态情感分析方法。该方法构造了基于注意力神经网络的文本特征提取模型和图像特征提取模型,突岀了图像情感信息关键区堿和包含情感信息的单词,使得各单模态特征表达更简练精确。将各模态的张量积作为多模态欻据的联合特征表达,采用主成分分析法剔除联合特征的冗佘信息,进而使用支持向量机获取多模态数据的情感类别。在两个真实的 Twitter图文数据集上对所提模型进行了评估,实验结釆表明,与其他情感分类模型相比,该方法在分类准确率、召回率、FⅠ指标和准确率上都有较大的提升。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !