計算機文本分析算法發(fā)展綜述
電子技術(shù)應(yīng)用 2023年3期
孫靜含1，任靜2
（1.北京工業(yè)大學(xué)，北京 100124；2.中國電子信息產(chǎn)業(yè)集團第六研究所，北京 100083）
摘要： 計算機文本分析是自然語言處理領(lǐng)域的一個重要分支，是研究如何在文本數(shù)據(jù)中提取出給定語料的各類信息的計算機技術(shù)。目前，計算機文本分析已經(jīng)進入了新的歷史階段，一方面關(guān)鍵詞提取算法已經(jīng)逐漸完備，另一方面隨著BERT方法的出現(xiàn)，詞向量計算問題也取得了極大的進步。但是，無論是關(guān)鍵詞提取還是詞向量計算都仍存在一些有待解決的問題。另外，現(xiàn)有的許多適合使用文本分析的研究仍在使用早期的文本分析方法。因此在未來，如何更好地降低模型尺寸以促進學(xué)科融合、提升文本分析的綜合社會效益，成為文本分析算法發(fā)展的重要問題。
中圖分類號：TP181 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.223117
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發(fā)展綜述[J]. 電子技術(shù)應(yīng)用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發(fā)展綜述[J]. 電子技術(shù)應(yīng)用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
A survey of the development of computer text analysis algorithms
Sun Jinghan1，Ren Jing2
(1.Beijing University of Technology，Beijing100124， China； 2.The Sixth Research Institute of China Electronics Corporation， Beijing 100083， China)
Abstract： Abstract： Computer text analysis is an important branch in the field of natural language processing, and it is a computer technology that studies how to extract various types of information from a given corpus from text data. At present, computer text analysis has entered a new historical stage. On the one hand, the keyword extraction algorithm has gradually been completed. On the other hand, with the emergence of the BERT method, the word vector calculation problem has also made great progress. However, there are still some problems to be solved in both keyword extraction and word vector calculation. In addition, many existing studies suitable for using text analysis still use ancient text analysis methods. Therefore, in the future, how to better reduce the model size to promote the integration of disciplines and improve the comprehensive social benefits of text analysis will become an important issue in the development of text analysis algorithms.
Key words : text analysis；natural language processing；algorithm
0 引言
計算機文本分析是自然語言處理（Natural Language Processing, NLP）領(lǐng)域的一個重要分支，是指對文本數(shù)據(jù)或語料庫內(nèi)的語料進行分析，最終提取出給定語料的各種信息，包括關(guān)鍵詞、詞向量等內(nèi)容的計算機技術(shù)，在一些文獻中也將這一領(lǐng)域的相關(guān)技術(shù)納入自然語言處理預(yù)訓(xùn)練技術(shù)之中。文本分析最早起源于20世紀50~60年代，這一階段的研究重點是如何對語言規(guī)則進行設(shè)定。到20世紀70年代，隨著語料庫的豐富和硬件設(shè)備的進步，文本分析技術(shù)開始融合機器學(xué)習(xí)算法，并得到了快速發(fā)展。進入21世紀之后，深度學(xué)習(xí)方法被運用到文本分析之中，誕生了諸如Word2Vec、BERT等技術(shù)，進一步提高了文本分析的應(yīng)用場景。在可以預(yù)見的未來，傳統(tǒng)的基于數(shù)字數(shù)據(jù)的分析方法將逐漸無法滿足越發(fā)龐雜的應(yīng)用需求，文本分析和其所屬的自然語言處理領(lǐng)域?qū)且粋€愈發(fā)重要的發(fā)展方向。
本文詳細內(nèi)容請下載：http://www.shi-ke.cn/resource/share/2000005227
作者信息：
孫靜含1，任靜2
（1.北京工業(yè)大學(xué)，北京 100124；2.中國電子信息產(chǎn)業(yè)集團第六研究所，北京 100083）
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。