设计应用

基于混合粒度全局图的多标签文本分类方法

作者:王哲,温秀梅
发布日期:2025-07-18
来源:网络安全与数据治理

引言

多标签文本分类是一项基本的文本挖掘任务。在许多应用程序中,文本可能对应于多个相互排斥的标签[1]。多标签文本分类可以有效地降低人工成本,具有广泛的应用前景[2]。与传统的单标签分类任务不同,多标签文本分类旨在为每个文本实例同时分配多个标签。多标签文本分类任务可以广泛应用于情感分析[3]、档案管理[4]、期刊分类[5]、新闻过滤[6]等领域,尤其在处理复杂、信息密集的文本时展现出独特的优势。例如,在情感分析任务中,一个文本可能同时表达多个情感,而在新闻处理中,一个事件可能涉及多个主题,因此需要高效的多标签分类方法来捕捉文本中的多层次语义信息。

尽管深度学习方法在自然语言处理任务中取得了显著进展,但现有的多标签文本分类方法依然面临许多挑战。大多数方法仍然依赖于词袋(Bag of Words,BoW)[7]和n元语法(ngram)[8]模型或简单的深度学习架构,如卷积神经网络(Convolutional Neural Network,CNN)[9]和长短期记忆网络(Long ShortTerm Memory Network,LSTM)[10]。这些方法主要关注从文本中提取低级特征,忽视了文本中的高层次语义关系与标签之间的潜在关联性。在多标签分类任务中,标签之间的相关性非常复杂,不同标签之间往往存在一定的依赖关系和上下游信息,这使得现有方法在处理长文本或包含多重语义关系的复杂任务时,表现出信息丢失和语义理解不足的问题。

一方面,传统的基于特征的浅层模型无法有效捕捉文本中的上下文信息和语义层次,因此其分类效果在多标签任务中往往较差。另一方面,虽然现代的深度学习模型如BERT[11-12]、GPT[13]等在单标签分类任务中取得了很大成功,但由于其关注点过于集中在文本本身的语言表达上,仍未能充分考虑标签之间的关联性。此外,许多现有方法采用的是逐标签独立学习的策略,即每个标签的预测都是基于输入文本的独立决策,这种做法未能充分挖掘标签间的共现和相互影响。

为了应对这些挑战,本文提出了一种基于混合粒度全局图(Hybrid Granularity Global Graph, HGG)的多标签文本分类方法。本文的核心创新在于引入了一个混合粒度特征提取机制,该机制结合了细粒度和粗粒度两种层次的文本特征,从而能够更全面地理解文本中的复杂语义。具体来说,细粒度特征提取通过捕捉单词、短语以及句子层次的语义信息,帮助模型更好地理解细节和局部语境;而粗粒度特征提取则通过全局信息建模,使得模型能够从宏观层面理解文本的主要内容和潜在意图。这种结合不同粒度特征的方式,有助于更好地平衡局部与全局信息,从而提高多标签文本分类的精度。

近年来,图神经网络(Graph Neural Network,GNN)在推荐系统[14]、计算机视觉[15]等领域得到广泛应用,许多改进的模型被相继提出,例如图卷积网络(Graph Convolutional Network,GCN)[16]、图注意力网络(Graph Attention Network,GAT)[17]等,它们在不同的应用场景中展现了出色的表现。在多标签文本分类任务中,GNN能够通过构建标签之间的关联图,捕捉标签间的共现关系和依赖性,进而提升标签预测的准确性和全面性。特别是在多标签任务中,通过GNN的图结构传播机制,可以有效地增强标签之间的相互影响,从而提升多标签分类模型的性能。此外,GNN的可扩展性和灵活性使得它能够适应多样化的数据结构,成为处理复杂数据和任务的一种理想工具。

因此,本文还提出了一种全局图结构,并利用GCN来捕捉文本和混合粒度词表示之间的全局关系。通过构建全局图,能够捕捉到标签间的潜在关联,并通过GCN的传播机制,强化节点之间的相互影响,从而提升模型的分类效果。

综上所述,本文的主要贡献为以下几点:

(1)针对现有模型通常只考虑文本粗粒度的特征,本文在文本特征提取阶段,采用多头注意力机制(MultiHead Attention, MHA)提取包含词与标签交互信息的细粒度文本特征。

(2)设计一种门控融合机制,将粗粒度文本特征与细粒度文本特征融合得到混合粒度的文本特征。

(3)将词的混合粒度表示、文本和标签作为节点构建全局图,并通过GCN处理全局图,以捕捉文本中词语、标签与文本之间的潜在语义关联和全局结构信息。

(4)在AAPD和RCV1-V2两个公开数据集上进行多标签文本分类任务验证本文方法的有效性。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006579


作者信息:

王哲,温秀梅

(河北建筑工程学院信息工程学院,河北张家口075000)


Magazine.Subscription.jpg

此内容为AET网站原创,未经授权禁止转载。
多标签文本分类 多头注意力机制 双向长短期记忆网络 门控融合机制 图卷积网络