0    引言

隨著互聯(lián)網(wǎng)行業(yè)蓬勃發(fā)展，網(wǎng)絡(luò)上不良信息的泛濫引發(fā)了諸多社會問題，特別是歷史、時政新聞等敏感領(lǐng)域的不良信息，通過編排、篡改、杜撰、偽造的方式，具有極強的迷惑性和欺騙性，腐蝕人們的思想，影響人們的價值觀和判斷能力，危害社會安全［1］。文本作為主要傳播方式，研究敏感領(lǐng)域不良信息的識別技術(shù)具有深遠意義。

自然語言處理技術(shù)（ Natural Language Processing, NLP）能夠?qū)ξ谋具M行深入分析和理解，從而實現(xiàn)文本的分類和識別。Kim［2］提出一種用于文本分類的卷積神經(jīng)網(wǎng)絡(luò)模型TextCNN，可以在一定程度上避免梯度消失的問題，而且在處理短文本和固定長度文本時表現(xiàn)良好。Lai［3］提出了文本分類模型RCNN，同時結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)點。Wang［4］比較不同循環(huán)神經(jīng)網(wǎng)絡(luò)模型在文本分類任務(wù)中的性能，表明了LSTM模型在文本分類的優(yōu)勢。Devlin［5］提出了BERT模型，該模型是一種基于Transformer網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，可用于自然語言處理任務(wù)，如文本分類、語言推斷等。Chen［6］提出了一種基于雙向情感表情符號嵌入和基于注意力的LSTM的Twitter情感分析方法，該方法使用雙向LSTM來學(xué)習(xí)句子中的上下文信息，使用注意力機制來加強對重要信息的關(guān)注，使用情感表情符號來增強情感分類的精度。李志杰［7］提出一種基于 LSTM 和 TextCNN 的聯(lián)合模型，捕捉文本中的上下文關(guān)系和局部特征，提高短文本分類的準(zhǔn)確性。Sanagavarapu［8］提出BiLSTM和人工神經(jīng)網(wǎng)絡(luò)ANN組成的混合模型，通過上下位詞的概念獲取新聞的語義并映射到ANN模型上，提升對新聞文章分類的準(zhǔn)確性。Rehman［9］提出了一種基于CNNLSTM的混合模型，用于提高電影評論情感分析的準(zhǔn)確性。該模型利用CNN提取局部特征，LSTM則用于學(xué)習(xí)序列信息，從而結(jié)合了兩種模型的優(yōu)點。

敏感領(lǐng)域?qū)儆趯I(yè)領(lǐng)域，不良信息的識別技術(shù)研究十分有限，通用的識別技術(shù)可以直接應(yīng)用于識別，但存在以下問題：一是領(lǐng)域特定語言和術(shù)語問題。敏感領(lǐng)域具有豐富的領(lǐng)域特定語言和術(shù)語，這些語言和術(shù)語可能對于通用模型不易理解，從而導(dǎo)致文本識別準(zhǔn)確率下降。二是背景知識問題。敏感領(lǐng)域涉及敏感事件、人物和背景等方面的知識，這些知識對于模型來說可能是未知的，需要進行特殊的處理才能進行識別和理解。三是文本復(fù)雜性的問題。敏感領(lǐng)域文本非常復(fù)雜，包含大量的隱喻、比喻和引申意義，這些都需要模型具備識別和理解的能力。

因此，本文將敏感領(lǐng)域不良信息的識別問題轉(zhuǎn)化為敏感領(lǐng)域主題識別任務(wù)和情感隱喻識別任務(wù)，提出一種基于TextCNNBert融合模型，既利用TextCNN對關(guān)鍵詞和局部特征更加敏感的優(yōu)勢，準(zhǔn)確識別敏感領(lǐng)域的特定語言和術(shù)語；又能利用Bert的預(yù)訓(xùn)練能力和自注意力機制，提升對隱喻、比喻和引申意的識別。實驗結(jié)果表明，本模型在準(zhǔn)確率、召回率、精確率等方面識別效果良好。

本文詳細內(nèi)容請下載：http://www.shi-ke.cn/resource/share/2000005470

作者信息：

裴卓雄1，楊敏2，楊婧2

（1.國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心，北京100032；2.國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心山西分中心，山西太原044400）