文本分类是自然语言处理(Natural Language Processing, NLP)中的重要研究方向，其目的是为文本单元(如句子、段落和文章)分配标签，为更深入地进行文本信息挖掘以及后续处理提供技术支持。目前主流的分类方法大多只对单一的模型结构进行深入研究，缺乏同时捕获并利用文本局部语义特征和全局语义特征的能力，且未进一步考虑字、词以及实体级别特征在中文文本分类任务中的不同作用。为了设计一个效果更佳的中文文本分类模型，需要考虑以下方面：①如何充分利用包括字、词及实体级别的文本层次维度特征，使词向量语义信息更加丰富；②如何充分利用包括局部语义和全局语义的文本空间维度特征，使模型更加全面地学习文本中的语义信息；③如何降低特征融合时造成的语义损失，以减少不同语义特征为模型带来的增益损失。

基于以上3点考虑，本文提出一种基于多维度特征融合的中文文本分类模型：CCM-MF(Chinese-text Classification Model Based on Fused Multi-dimensional Features)。该模型首先使用预训练模型ERNIE(Enhanced Representation through Knowledge Integration)^[1]，对文本的层次维度特征进行提取，层次维度特征是包括字、词以及实体级别特征的基础语义信息；然后，将得到的基础语义信息分别输入到改进后的深度金字塔卷积神经网络(Deep Pyramid Convolutional Neural Networks, DPCNN)^[2]模型和附加注意力机制的双向长短期记忆网络(Attention-Based Bidirectional Long Short-Term Memory Networks, Att-BLSTM)^[3]模型中提取空间维度特征，空间维度特征包括局部语义特征和全局语义特征；最后，将得到的局部语义特征和全局语义特征分别作用于Softmax分类器，再使用算术平均的方式对结果进行融合得到最终分类结果。CCM-MF通过ERNIE获取包含层次维度特征的词向量，使用DPCNN和Att-BLSTM来获取空间维度上的特征。在特征融合部分，使用结果融合机制，避免造成语义混乱。

1 相关工作

现有文本分类方法主要包括基于机器学习、神经网络和预训练模型的方法。近期对文本分类任务的研究主要集中在基于神经网络和预训练模型上。

1.1 基于机器学习的分类方法

传统的机器学习方法通过人工方法和浅层分类模型进行特征提取。在文本分类任务中，基于机器学习的算法有支持向量机(Support Vector Machine, SVM)^[4]、朴素贝叶斯(Naive Bates, NB)^[5]、K近邻(K-Nearest Neighbor, KNN)^[6]等, 在当时均取得了一定的成果。但这些方法难以捕捉文本中潜在的深层特征，缺乏泛化和扩展能力。由于深度学习可以在很大程度上解决机器学习中出现的此类问题，因此，在文本分类领域，深度学习更加受到研究人员的青睐。

1.2 基于神经网络的分类方法

2014年，Kim^[7]首次将卷积神经网络(Convolutional Neural Networks，CNN)应用于文本分类领域，并取得较好的分类效果，紧接着便出现了各种CNN的变体。其中，腾讯提出的DPCNN^[2]模型既拥有对文本局部信息的提取能力又通过金字塔模型加深了网络深度，减少了长距离文本间的信息丢失，在分类任务中取得了较好的效果。2020年，汪嘉伟等^[8]将注意力(Attention)机制与CNN相结合，捕捉文本中的局部语义特征并增强关键词的作用，分类效果有了显著提升。

相较于CNN，循环神经网络(Recurrent Neural Network, RNN)更适合在时序序列文本上进行学习。长短期记忆网络(Long Short-Term Memory，LSTM)^[9]可以提取文本的全局特征，在长文本分类任务上取得了更好的效果。Chen等^[10]使用LSTM成功构建了门诊文本分类系统，为用户查询自身健康状态提供了参考。Deepak等^[11]使用双向长短期记忆网络(Bi-directional LSTM，Bi-LSTM)模型来应对LSTM无法捕获双向语义的缺陷，在犯罪分类任务上取得较好的效果。Wang等^[12]提出一种结合树结构的区域CNN模型，用于检测与任务相关的短语从句，在情感分类任务中取得了较好的效果。Zhou等^[3]第一次将Bi-LSTM与Attention机制融合，在捕获文本全局语义特征的同时，增强了关键词在分类任务中的作用，取得更好的分类效果。Chen等^[13]将LSTM与注意力机制结合并用于预测股价走势，取得比原始LSTM更好的效果。

1.3 基于预训练模型的分类方法

2018年Devlin等^[14]提出了基于Transformer的双向偏码表示模型(Bidirectional Encoder Representations from Transformers，BERT)，使用具有强大特征提取能力的双向Transformer编码器，通过下一句预测(Next Sentence Prediction，NSP)和掩码语言模型(Masked Language Model，MLM)结合的预训练模型，在多项NLP任务中取得了SOTA (State of the Arts)的成绩。Lan等^[15]使用矩阵分解和参数共享的方法，大大降低了参数量，提高BERT的训练速度的同时取得了更好的效果。

2 CCM-MF模型

本文提出的基于多维度特征融合的中文文本分类模型，通过使用DPCNN和Att-BLSTM对ERNIE中提取的词向量进行学习后，分别得到局部语义特征和全局语义特征，并将其用于预测类别，最后采用算术平均的方式对预测结果进行融合，得到最终的分类结果。模型的框架如图 1所示。

2.1 嵌入层

ERNIE模型是对BERT模型的进一步优化，在NLP领域各个中文任务中取得了SOTA的成绩。该模型主要在BERT的掩码(mask)机制上做了改进，由BERT只针对字级别做mask，改进为3种级别的mask，分别为字、词以及命名实体级别。通过对mask的改进，使得模型可以学习到更高层次的语言表达。BERT模型和ERNIE模型的mask机制如图 2所示。

从图 2可以清楚地看到，BERT模型只对文本“南京长江大桥欢迎你的到来”进行字级别的mask，而ERNIE模型除了对字级别进行mask外，还对词“到来”以及实体“南京长江大桥”进行了mask。

ERNIE模型的mask策略分为3个阶段学习。第一阶段，采用与BERT相同的、基于字级别的mask；第二阶段加入基于词级别的mask，mask掉句中的一部分词组，然后让模型预测这些词组，在这个阶段，词级别的信息被编码到词向量中；第三阶段加入实体级别的mask，如人名、地名、领域名等，在模型训练完后，将学到的实体信息加入词向量中。本模型将通过ERNIE学到的具有层次维度特征的词向量分别作为通道1和通道2的输入，进行空间维度特征的提取。

2.2 DPCNN层

对于CNN模型来说，解决对文本长距离依赖关系的提取问题，最有效的方法是增加CNN的深度，但这同时常会出现模型过大、参数太多而导致梯度爆炸和消失等问题，使得模型效率严重下滑。DPCNN固定了卷积时的特征映射数量，每经过一个size为3、stride为2的最大池化层(max-pooling)后，文本序列长度会随着卷积块数量的增加呈指数级别减少。这会使得每个卷积层的计算时间减半，形成一个类金字塔形状，从而在加深CNN的同时计算效率并未下降。DPCNN模型结构如图 3所示。

在原DPCNN论文^[2]中，模型使用的是ReLU激活函数，如公式(1)所示。ReLU激活函数是较常用的激活函数之一，具有形式简单、高度非线性等特点，但其将所有负数输入都赋值为0，在训练过程中极为脆弱，容易导致神经元失活。针对此问题，本文将DPCNN中的激活函数从ReLU改为SeLU，如公式(2)所示，并在等长卷积部分的两个卷积后，以及叠加模块中最后一个卷积后各加入一个SeLU函数。SeLU激活函数具有自归一化的特点，即使在输入部分加入噪声，也能使其收敛到均值为0、方差为1或者方差具有上下界的形式，可以有效避免因神经元失活而导致的梯度消失和爆炸问题。

$ \operatorname{ReLU}(x)=\left\{\begin{array}{l} x, x \geqslant 0 \\ 0, \text { otherwise } \end{array}, \right. $

(1)

$ \begin{gathered} \operatorname{SeLU}(x)= \\ \lambda_{\text {SeLU }}\left\{\begin{array}{l} x, x \geqslant 0 \\ \alpha_{\mathrm{SeLU}}(\exp (x)-1), \text { otherwise } \end{array}, \right. \end{gathered} $

(2)

其中，x来自上一层神经网络的输入，λ和α是预先设定的权重，分别为1.050 7和1.673 3。

2.3 Att-BLSTM层

Att-BLSTM模型结合了BLSTM和Attention机制，在NLP任务中得到了广泛的应用^[16-19]。由于单向LSTM只能按照序列顺序从前往后进行学习预测，使得当前时刻的预测只包含之前的信息。而BLSTM模型可以同时捕获句子中双向的语义，对文本语义的学习更加丰富。同时，Attention机制使模型可以自动聚焦于对分类结果有关键影响的部分，用以捕获句子中最重要的语义信息，进一步加强全局语义特征和关键词在中文文本分类任务中产生的作用。Att-BLSTM模型结构如图 4所示。

本文将BLSTM输出的全局语义特征作为Attention机制的输入，赋予特征不同的权重参数，使得模型更加关注对分类结果重要的特征参数。

2.4 融合输出层

通过DPCNN层和Att-BLSTM层分别获得文本的局部语义特征表示F_local和全局语义特征表示F_global，将F_local和F_global分别作为Softmax分类器的输入，通过计算分别得到预测概率p_l和p_g，然后使用算术平均的方式对其融合，得到最终的分类概率p。

$ \begin{aligned} p_1=\operatorname{Softmax}\left(W_1 F_{\text {local }}+b_1\right), \end{aligned} $

(3)

$ p_{\mathrm{g}}=\operatorname{Softmax}\left(W_{\mathrm{g}} F_{\text {global }}+b_{\mathrm{g}}\right), $

(4)

$ p=\frac{1}{2}\left(p_1+p_{\mathrm{g}}\right), $

(5)

其中，W_l和W_g为可训练权重，W_l对应的size为(250, num_outputs)，W_g对应的size为(512, num_outputs)，250和512分别为DPCNN和Att-BLSTM学习到的特征维度，num_outputs为最终的类别数；b_l和b_g为偏置项。

2.5 算法流程介绍

基于多维度特征融合的中文文本分类算法流程描述如下。

算法1   CCM-MF中文文本分类算法

输入：中文文本分类领域数据集S

输出：文本所属类别

① S=preprocessing(S)

② ERNIE_Embedding=ERNIE(S)

③ F_local=DPCNN(ERNIE_Embedding)

④ F_global=Att-BLSTM(ERNIE_Embedding)

⑤ p_l=Softmax(W_lF_local+b_l)

⑥ p_g=Softmax(W_gF_global+b_g)

⑦ p=(p_l+p_g)/2

⑧ Category=Max(p)

⑨ End

算法说明：步骤①是对中文文本分类领域数据集进行预处理，包括数据清洗、格式转换等；步骤②采用ERNIE模型对文本进行预训练，提取包含字、词以及实体级别基本语义特征的词向量；步骤③和④中将ERNIE输出的词向量作为DPCNN和Att-BLSTM的输入，分别提取局部语义特征和全局语义特征，得到F_local和F_global；步骤⑤和⑥中分别通过局部语义特征向量和全局语义特征向量计算预测的结果；步骤⑦使用算术平均的方法对两个预测概率进行融合；步骤⑧选择概率最大的类别作为最终分类结果。

3 实验与结果分析 3.1 实验环境及数据

实验配置的硬件和软件环境如表 1所示，主要使用GPU为RTX 3060-12 GB，并使用Pytorch深度学习框架进行实验。

在数据处理工作中，首先对原始数据集进行清洗，去除与本文工作无关部分，并对其进行格式转换后得到所需原始实验数据集，如表 2所示。为了评估该模型在中文文本分类任务上的泛化能力，使用以下3个数据集进行实验。①今日头条：属于新闻主题分类数据集，包含11个新闻主题。②THUCNews：属于新闻主题分类数据集，包含10个新闻主题。③Online_shopping：属于情感分析任务数据集，收集了10种物品的网购评论，其中，正、负向评论各约30 000条。

3.2 实验设置

对数据集进行清洗并去除和本文工作无关的部分后，利用Tokenizer对新闻主题描述文本进行分词处理，然后利用预训练模型ERNIE训练词向量。其中，padsize设置为64，对于长度不足部分进行padding补全，长度超出部分进行剪切；学习率设置为1e-5，使用批量正则化方式降低过拟合，优化器使用Adam；在通道1中，将feature map设置为250，池化层size和stride分别设置为3和2；在通道2中，将Dropout设置为0.5，隐藏层数量设置为256；在所有实验中，epoch均设置为20，且若超过1 000个batch后模型学习效果未提升，则提前结束训练。

3.3 评价方法

文本分类任务中常采用准确率(Accuracy, Acc)精确率(Precision, P)、召回率(Recall, R)以及F1值这4个指标来评估模型。公式如(6)-(9)所示，其中TP表示真正例，即预测为正类，实际结果也是正类；TN表示真反例，即预测为反类，实际结果也是反类；FP表示假正例，即预测为正类，实际为反类；FN表示假反例，即预测为反类，实际为正类。

$\begin{aligned} \mathrm{Acc}=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FP}+\mathrm{TN}+\mathrm{FN}}, \end{aligned} $

(6)

$ P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}, $

(7)

$ \text { Recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}, $

(8)

$ \mathrm{F} 1=\frac{2 \times P \times R}{P+R} 。$

(9)

在本文选用的数据集中，各类别分布均匀。因此，只选用准确率作为模型分类效果的评估标准。

3.4 对比实验

为验证CCM-MF在中文文本分类任务上的有效性，分别在3个数据集上对不同分类模型进行对比实验，结果如表 3所示。将CCM-MF与以下5种模型进行对比评估：

① DPCNN^[2]: 在CCM-MF中，用于提取文本局部语义特征；②Att-BLSTM^[3]: 在CCM-MF中，用于提取文本全局语义特征；③BERT^[14]: 2018年由Google AI研究院提出的预训练语言模型，基于Transformer的双向编码器表示；④B-DLM: 将本文所提出模型中ERNIE部分替换为BERT预训练模型；⑤ERNIE^[1]: 百度提出的预训练语言模型，作为CCM-MF中提取文本层次特征的部分。

从表 3中的实验结果可以看到, 本文提出的CCM-MF在Online_shopping、今日头条和THUCNews 3个数据集上分别获得了93.84%、91.98%和94.64%的准确率，准确率较前5个基准中效果最好的ERNIE模型分别提升了0.56%、0.65%、0.54%，表明CCM-MF通过融合层次维度以及空间维度的语义特征可以有效提升模型性能。

3.5 消融实验

为了证明CCM-MF中各个组件对模型的有效增益，本文进行了相应的消融实验。结果如表 4所示。其中：

① ERNIE-DPCNN：原模型去掉Att-BLSTM及特征融合部分后，直接输出最终分类结果；

② ERNIE-Att-BLSTM：原模型去掉DPCNN以及特征融合部分后，直接输出分类结果；

③ CCM-MF (ReLU)：原模型去掉对通道1中DPCNN的改进，使用原始DPCNN模型。

从表 4可以看到，实验数据集在ERNIE-DPCNN和ERNIE-Att-BLSTM上的准确率均高于表 3中的ERNIE，说明在ERNIE预训练后进一步提取局部或全局语义特征均可以有效地增强模型对文本语义的理解，进而提升模型的效果。此外，由表 4可知，CCM-MF (ReLU)在各个数据集上的准确率均高于除CCM-MF以外的任意模型，说明融合局部和全局语义特征的有效性，这是因为DPCNN模型和Att-BLSTM模型分别获取文本的局部和全局语义特征，起到互补的作用，但如果使用更多的分类头，会增加模型的冗余，甚至会出现模型准确率降低的情况；同时可以看到CCM-MF在3个数据集上的准确率均为最优，证明将ReLU激活函数改为SeLU激活函数的有效性。

3.6 特征融合对比

CCM-MF通过双通道部分得到局部语义特征向量和全局语义特征向量，为了证明结果融合机制的有效性，本文将CCM-MF与使用相加、拼接两种方式融合后的实验结果进行对比，结果如表 5所示。

从表 5可以看到，采用结果融合机制与采用相加、拼接的融合方式相比，准确率均有提升。其中，直接相加进行融合的方式准确率最低。这是因为采用直接相加或者拼接的融合方式，可能会引入更多的噪声，从而导致语义混乱，进一步影响模型的性能。

4 结论

本文提出了一种基于多维度特征融合的中文文本分类模型(CCM-MF)。CCM-MF在层次维度上，通过ERNIE获取包含字、词及实体级别特征的词向量; 在空间维度上，通过改进的DPCNN模型和Att-BLSTM模型分别提取包含层次维度特征的局部语义特征和全局语义特征; 最后，将提取到的空间维度特征分别作用于Softmax分类器，并通过融合机制进行融合，提高分类准确率。分别在3个数据集上进行实验验证，评估本文提出方法的性能。实验结果表明：CCM-MF在各个数据集上的分类准确率均为最高，证明了模型的有效性。

未来工作的重点是在模型中融合更多的中文特征和消减模型的参数量，主要包括以下两个部分：①利用更多的中文特征进行融合，进一步提升模型在中文文本分类任务上的效果；②结合知识蒸馏的方法，消减模型的参数量，提高模型的效率。