随着电商平台的发展，在线评论数据呈爆发式增长，评论文本^[1]中包含用户大量的情感色彩。商家为了增加销量，往往会通过雇佣特定写手的方式，鼓吹自己店铺或诋毁同行店铺的产品，误导用户的消费决策，因此对虚假评论的识别非常有必要。在深度学习技术尚未成熟之前，虚假评论识别任务大多由机器学习技术来完成，包括无监督矩阵运算算法和监督学习的神经网络方法^{[2, 3]}等。虚假评论数据集一般来自公开的网站评论数据集或由研究者爬取的网站评论数据集。表 1列举了一个公开的虚假评论数据集中的4个实例。从表 1可以看出，虚假评论中往往会存在一些强烈的情感倾向性单词(粗体的单词)，因此情感信息是识别虚假评论的一项重要特征。

根据调查研究^[4]，在虚假评论识别任务中，预处理阶段主要对文本进行分词、过滤停用词等处理，而忽略了对情感信息的提取。根据现阶段虚假评论领域的研究成果，需要考虑以下两点：①如何在预处理阶段提取情感信息；②如何更加充分地提取虚假评论相关特征^[5]。基于上述考虑，为了提高虚假评论识别的准确率，本文提出一种基于情感信息预处理和双向门控循环单元(Bidirectional Gated Recurrent Unit, Bi-GRU)的虚假评论识别模型。模型框架主要分为以下3层：①预处理层。将输入文本内容表示成序列化的文本信息，输入到语义编码模块和情感编码模块中，生成语义向量和情感向量并进行拼接融合。②特征提取层。将拼接后的向量输入Bi-GRU，结合注意力(Attention)机制进一步提取文本的上下文特征信息。③输出层。将特征提取层输出的向量输入到平均池化层，对数据进行降维。最后由Softmax激活函数判定是否为虚假评论。

1 相关工作

自Jindal等^[6]提出虚假评论识别的问题以来，研究者们对这一问题展开了深入的研究，深度学习模型^[7]的应用也越来越广泛。对虚假评论的识别按研究对象可分为文本内容识别^[8]、虚假评论者识别和虚假评论群组识别。

1.1 文本内容识别

在虚假评论识别的研究中，评论文本内容成为识别虚假评论的主要途径。陆杉等^[9]提出将多种不同粒度的文本特征进行融合，丰富语义信息，解决了少量数据情况下模型性能不佳的问题。陶晶晶^[10]提出采用并联方式将神经网络识别模型进行混合，实验结果表明该方法识别准确率达到90.3%。曾致远等^[11]根据评论首尾情感极性更加强烈的特点，给予评论文本的头部和尾部更高的权重。李春雨^[12]将深度学习的Bi-GRU方法与注意力机制相结合，构建垃圾评论的识别模型。Tian等^[13]首次提出在预处理阶段提取情感信息的Sentiment Knowledge Enhanced Pre-training (SKEP)模型，采用无监督方式获取情感知识，从而将情感信息嵌入语义表示之中。在本文中，SKEP模型作为对比基线之一。

1.2 虚假评论者识别

在对评论文本内容进行研究的基础上，研究者们发现用户或者商家的特征对虚假评论识别的准确率有影响。Gao等^[14]在英文数据集上结合文本情感特征、情感强度、文本相似度和基于特征加权模型的极端评价指标来识别虚假信息发布者。Barbado等^[15]通过自适应提升算法识别虚假评论者，研究表明此算法模型在Yelp数据集上的F1值为82%。孟园等^[16]通过迭代修正方法对用户-评论-商户偏差进行改善，增强文本的虚假度。Ruan等^[17]通过集成学习方法将用户基础信息和地理位置序列特征相结合，提高识别虚假评论者的准确率。

1.3 虚假评论群组识别

虚假评论群组指以团队合作的形式，对某个商品批量发布虚假评论。张琪等^[18]提出一种带权评论图的水军群组检测及特征分析方法，可以检测到高活跃的“水军群组”。Wang等^[19]在基础特征上增加评论内容与产品信息紧密性的特征，提出图稀疏隐狄利克雷分布(Latent Dirichlet Allocation，LDA)。韩忠明等^[20]构建加权用户关系图模型，用于识别大规模的虚假评论群组，实验结果表明，该模型的识别准确率高于非加权用户关系图。

基于以上研究分析，现有模型在预处理阶段大多采用无监督方式挖掘情感词，不能保证情感词的代表性，且没有进一步提取评论文本的重要特征，导致识别准确率不高。本文提出的模型在预处理阶段将情感信息与原文本信息进行融合，并在特征提取阶段提取虚假评论其他特征，有利于提高识别的准确率。

2 文本特征向量的获取

通过语义编码模块和情感编码模块获取文本的语义向量和情感向量，并使用concat()方法将两组向量进行拼接，生成文本特征词向量。

2.1 语义编码模块

Albert是BERT的优化模型，在保证BERT性能的基础上，减少了实验的参数，数据吞吐量更高，拥有更强的语义提取能力，更加适用于文本虚假评论识别任务。

与BERT模型相同，Albert同样需要获取序列中每个字符向量E_i、位置向量P_i，E_i通过词嵌入的方式获取。因为评论文本均为单句，所以不考虑句子分割信息。

$ P_i(\operatorname{pos}, 2 i)=\sin \left(\frac{\operatorname{pos}}{10000^{2 i / d_{\text {model }}}}\right), $

(1)

$ P_i(\operatorname{pos}, 2 i+1)=\sin \left(\frac{\operatorname{pos}}{10000^{2 i+1 / d_{\text {model }}}}\right), $

(2)

其中，pos是词的位置索引，当词的向量维度d_model=512时，i=0, 1, …, 255。输入序列中每个词通过绝对位置信息的编码方式，获取位置向量P_i。

$ Z_i=E_i+P_i, $

(3)

其中，Z_i为字符向量E_i与位置向量P_i的结合，将Z_i输入到Transformer中进行编码。

$ A_i=\operatorname{Albert}\left(Z_i \mid \theta_A\right), $

(4)

其中，A_i为语义编码模块输出的词向量，θ_A为Albert预处理模型的参数。本文采用公开参数初始化模型。

2.2 情感编码模块

构建情感编码模块，用于获取文本情感上下文信息。基于SKEP模型，在预处理阶段挖掘数据集中代表性情感词，构建情感种子词集。情感编码模块如图 1所示，图中笑脸代表被掩码(mask)的情感词为积极。模块具有以下3个特点。

一是采用词频-逆文本频率(Term Frequency-Inverse Document Frequency, TF-IDF)和K-均值(K-means++)方法获取情感种子词集。首先采用TF-IDF方法挖掘数据集中的关键词，选取其中的情感词作为候选词，然后利用K-means++方法确定最终的情感种子词。

$ \mathrm{TF}-\mathrm{IDF}=\mathrm{TF} \times \mathrm{IDF}, $

(5)

其中，TF为词频，表示词条在文本中出现的频率；IDF为逆文档词频，用于度量词条在文档中的重要性。

为了确保选取的种子词具有代表性，本文利用K-means++方法对候选词进行聚类，如算法1所示。

算法1：K-means++词聚类算法

输入：数据集D={w₁, w₂, …, w_m}，聚类数K，迭代数N

输出：种子词

① 预设K个质心

② 随机选择一个词作为第一个聚类中心u₁

③ if词w_i在词集D中，计算w_i到u₁语义距离d(w_i)

④ 选取d(w_i)较大的词作为新的聚类中心

⑤ end if

⑥ for(n=1, 2, 3, …, N)

⑦     划分C初始化为C_t=φ, t=1, 2, …, k

⑧     计算词语w_i到各个质心的u_j=(j=1, 2, 3, …, k)的语义距离

⑨     计算新的质心，直到质心距离不变为止

⑩ end for

⑪ 输出划分C={C₁, C₂, …, C_k}

⑫ end

算法1中，步骤①-步骤⑤用于确定初始的k个质心，步骤⑥-步骤⑫用于确定最终的情感种子词集。情感种子词集如表 2所示。

二是基于情感词和属性-情感词mask。由于成对的词之间并不相互排斥，所以挖掘文本属性-情感词对可以捕捉属性词和情感词之间的关系。根据就近原则(属性词和情感词的距离不超过3)找出匹配的属性词，与情感词共同组成属性-情感词对，例如 < apple，sweet>。基于情感词和匹配的属性-情感词进行mask，需要保证被mask的令牌(token)个数不能超过当前句子token总数的10%；若不足10%，则mask句子中剩余情感词，保证比例补充到10%。

三是定义了3个情感预处理的目标优化函数。将它们用于恢复Transformer编码器中被mask的情感信息。

$ L=L_{\mathrm{sw}}+L_{\mathrm{wp}}+L_{\mathrm{ap}} \text {, } $

(6)

其中，L为目标优化函数, L_sw为情感词目标优化函数，L_wp为情感极性目标优化函数，L_ap为属性-情感词对目标优化函数。

$ L_{\mathrm{sw}}=-\sum\limits_{i=1}^n m_i \times y_i^{\mathrm{sw}} \log \hat{y}_i^{\mathrm{sw}}, $

(7)

$ \hat{y}_i^{\text {sw }}=\operatorname{Softmax}\left(\operatorname{Sent}\left(Z_i\right) \cdot W^{\mathrm{sw}}+b^{\mathrm{sw}}\right), $

(8)

其中，Z_i指输入的序列, m_i用于表示是否为情感词，y_i^sw是原始情感词x_i基于整个词汇表的独热编码(one-hot)表示，$\hat{y}_i^{\mathrm{sw}}$为Z_i经过输出层后，由Softmax得到的概率分布，W^sw和b^sw是情感词目标优化函数中输出层的可训练参数。如果第i个位置是输入序列mask的词，则m_i=1，否则就为0。

$ L_{\mathrm{wp}}=-\sum\limits_{i=1}^n m_i \times y_i^{\mathrm{wp}} \log \hat{y}_i^{\mathrm{wp}}, $

(9)

$ \hat{y}_i^{\mathrm{wp}}=\operatorname{Softmax}\left(\operatorname{Sent}\left(Z_i\right) \cdot W^{\mathrm{wp}}+b^{\mathrm{wp}}\right), $

(10)

其中，Z_i依然指的是输入的序列，m_i用于表示是否为情感词，y_i^wp为被mask的情感词的极性，$\hat{y}_i^{\mathrm{wp}}$为y_i^wp的概率估计值，W^wp和b^wp是情感极性目标优化函数中输出层的可训练参数。可以理解为计算的是另外一种形式的token的损失，区别在于它总共分为两类：积极和消极。

$ L_{\mathrm{ap}}=-\sum\limits_{i=1}^A y_a \log \hat{y}_i^{\mathrm{ap}} $

(11)

$ \hat{y}_i^{\mathrm{ap}}=\operatorname{Softmax}\left(\operatorname{Sent}\left(Z_i\right) \cdot W^{\mathrm{ap}}+b^{\mathrm{ap}}\right), $

(12)

其中，A是输入序列被mask的属性-情感词对的数量，y_a是目标属性-情感词对的稀疏表示，$\hat{y}_i^{\mathrm{ap}}$为y_a的概率估计值，W^ap和b^ap是属性-情感词对目标优化函数中输出层的可训练参数。

以上是情感编码模块内容，将字符向量E_i、位置向量P_i拼接后的序列Z_i输入情感编码模块中进行预训练，生成融合上下文情感信息的向量S_i。

$ S_i=\operatorname{Sent}\left(Z_i \mid \theta_s\right) \text {, } $

(13)

其中，θ_s为情感编码模块的参数。

2.3 文本特征信息拼接

本文提出的模型在预处理阶段提取评论文本的情感向量S_i，并使用concat()将语义向量A_i和S_i直接拼接起来。拼接后的向量V_i不仅获取了文本丰富的情感信息，还保留了原文本的语义信息，有利于特征提取层进一步提取虚假评论其他相关特征。

$ V_i=\operatorname{concat}\left(\left\{A_i ; S_i\right\}\right) 。$

(14)

3 基于情感信息预处理和Bi-GRU的虚假评论识别模型

本文提出的虚假评论识别模型如图 2所示，将情感向量和语义向量进行融合，以丰富语义信息，充分提取虚假评论重要特征，提高识别准确率。

3.1 预处理层

预处理层是对海量数据进行训练，得到含有更加丰富的语义信息的词向量Embedding (E)。在评论文本的开头和结尾分别加上特殊字符[CLS]和[SEP]，[CLS]用来表示整句话的语义，应用于下游的分类任务；[SEP]为句与句之间的分隔符，代表一句话结束。

首先，将评论文本序列通过语义编码模块生成对应的语义向量；然后，通过情感编码模块生成情感向量；最后，以拼接的方式将语义向量和情感向量融合为Embedding (E)。

3.2 特征提取层

双向门控循环单元(Bi-GRU)由前向GRU_l和后向GRU_r组成，通过Bi-GRU层进一步提取评论文本特征，输出对应位置上的上下文信息。GRU_l按顺序(从V₁到V_n)读取序列信息，GRU_r按逆序(从V_n到V₁)读取序列信息。

$ \vec{h}_t=\sigma\left(W_{x \bar{h}} x_t+W_{\bar{h} \bar{h}} \vec{h}_{t-1}+b_{\bar{h}}\right), $

(15)

$ \overleftarrow{h}_t=\sigma\left(W_{t \bar{h}} x_t+W_{{\bar{h}} \bar{h}} \overleftarrow{h}_{t-1}+b_{{\bar{h}}}\right), $

(16)

其中，x_t为融合后的词向量，$\vec{h}_{t-1}$和$\overleftarrow{h}_{t-1}$分别为t-1时刻Bi-GRU正向和反向输出的序列，W_xh表示t时刻输入Bi-GRU中x_t的权重，W_hh表示t时刻输入Bi-GRU中$\vec{h}_{t-1}$或$\overleftarrow{h}_{t-1}$的权重，b_h为t时刻所对应的偏置向量，σ为激活函数，$\vec{h}_t$和$\overleftarrow{h}_t$分别为t时刻Bi-GRU正向和反向输出的序列，拼接后得到文本特征向量矩阵，完整的序列中包含每个词的双向信息。

注意力(Attention)机制是一种权重参数的分配机制，通过给序列层中各隐藏节点分配对应的注意力权重，协助模型捕捉词汇、句法等其他重要特征。具体操作为给定一组 < key，value>，以及一个目标向量query。通过计算query与每一组key的相似性，求出每个key的权重系数，再通过对value加权求和，得到最终数值。

$ e_t=a\left(h_t\right), $

(17)

$ \alpha_t=\frac{\exp \left(e_t\right)}{\sum\limits_{k=1}^T \exp \left(e_k\right)}, $

(18)

$ S=\sum\limits_{t=1}^T \alpha_t h_t, $

(19)

其中，a是学习函数，隐藏状态序列h_t经过学习函数得到其权重e_t，e_t做归一化处理，得到注意力的权重分布α_t，根据注意力权值对所有单词向量做加权线性组合, 得到最终的文本特征向量S。

3.3 输出层

输出层主要由平均池化层和Softmax激活函数共同组成。平均池化层能保留整体数据的特征，在保证网络平移不变性的基础上，提升网络的泛化能力。Softmax又称归一化指数，主要分为两步：①将模型预测的结果以指数函数的形式表示，保证概率的非负性；②将表示后的结果除以所有结果的总和, 即占总体的百分比。

$ Q=\operatorname{softmax}\left(w_T T+b_T\right), $

(20)

其中，w_T为平均池化层到输出层的权重系数矩阵，b_T为相对应的偏置。将平均池化层的结果输入到Softmax激活函数中，得到概率值Q，代表真实或虚假的概率，取概率相对较大的为分类结果。

4 实验与结果分析 4.1 数据集

为验证本文提出模型的效果，选取Rayana等^[21]从Yelp.com构建评论的公开数据集YelpZIP和Ott等^[22]有关酒店的评论数据集进行实验，数据集的信息如表 3所示。

Ott等^[22]通过众包的方式，有偿雇佣有关人员写了500条正面评论，属于虚假评论。真实评论为500条，来自TripAdvisor对芝加哥相同酒店的6 977条点评。在本文中，数据集Ott用于评估虚假评论的模型的有效性，YelpZIP用于整体实验分析。

原始数据集进行清洗和格式转换等处理后，得到初始实验数据集，并将数据分为训练集、验证集和测试集，比例为8∶1∶1。在实验过程中，采用十折交叉验证(10-fold cross validation)的方式对模型进行调优，将10次结果的平均值作为最终结果。

4.2 评价指标

本文采用的评价指标为准确率(Precision)、召回率(Recall)和F1值。

4.3 实验环境设置

实验主要使用Pytorch深度学习框架编写程序。实验配置环境：CPU为AMD Ryzen 7 5800H with Radeon Graphics；GPU为NVIDIA GeForce RTX 3060 16 GB；编程语言为Python 3.7；深度学习框架为Pytorch 1.11.0。

4.4 参数设置

在实验的预处理模块，本文模型的大部分参数采用默认的配置，模型参数如表 4所示。为了防止模型的过拟合，采用Dropout来降低模型的密度。若超过1 000个batch后模型学习效果未提升，则提前结束训练。

4.5 实验方法

为验证本文提出的FR-SG的有效性，首先获取数据集的文本词向量，然后训练虚假评论识别网络并确定模型最优参数，最后使用测试集对模型进行验证。具体实验步骤如下。

步骤1：加载数据集，将数据集划分为训练集、验证集和测试集。

步骤2：依次对数据集的样本进行预处理，计算相对位置编码以及字符编码。

步骤3：采用TF-IDF和K-means++方法获取数据集中的情感词，并根据就近匹配原则找到属性-情感词对。基于情感知识生成融合情感信息的情感向量，并与语义编码模块生成的语义向量进行融合。

步骤4：通过上下文信息训练虚假评论识别网络，并使用损失函数计算模型的损失，从而优化参数。

步骤5：保存模型的最优参数，在测试集上对模型的准确率进行测试。

4.6 对比实验

分别采用以下4个模型在数据集上进行对比评估，具体实验结果如表 5所示。

① Bi-GRU：FR-SG的基础模型，用于解决长期记忆和反向传播中的梯度等问题。

② SKEP^[13]：百度研究团队提出的基于情感知识增强的情感预训练算法，主要对情感词和属性词进行mask，作为情感编码模块的基础。

③ 联合预训练模型^[23]：将SKEP和Roberta进行融合，得出虚假评论分类结果。

④ Bi-GRU+Attention^[12]：本文识别网络的核心，用于提取虚假评论特征和上下文语义信息。

由表 5可见，FR-SG的准确率、召回率和F1值分别为93.8%、93.6%和93.7%。相较于其他模型中效果最好的Bi-GRU+Attention，FR-SG的准确率提高了0.9%，F1值提高了0.5%，且相对于SKEP^[13]和联合预训练模型^[23]，FR-SG均有效提升了模型性能。

5 结论

本文提出了一种基于情感信息预处理和Bi-GRU的虚假评论识别模型，主要有以下贡献：

① 采用TF-IDF和K-means++方法构建专属情感种子词集，解决了种子词集与数据集不适配的问题。模型在预处理阶段将评论文本的情感信息与原语义信息进行融合，解决了在提取情感信息时丢失原语义信息的问题，且直接拼接的方法可以最大程度地保留文本的重要特征。

② 特征提取阶段采用Bi-GRU和Attention机制结合的方法，充分提取虚假评论词汇、句法等其他重要特征，解决了其他模型只考虑评论情感信息而忽视其他特征的问题，提高了虚假评论识别的准确率。

基于本文提出的模型，未来将考虑将更多的虚假评论相关特征，进一步优化模型，推进对虚假评论识别模型的研究；努力提升模型的泛化能力，使模型更好地应用于不同领域的文本虚假评论识别任务中。