基于深度學習的可視化圖表分類方法研究
電子技術應用
張明凱1，胡軍國1，劉江南2，鄧飛1，尹文杰1
1.浙江農林大學 數學與計算機科學學院；2.浙江農林大學 化學與材料工程學院
摘要： 可視化圖表的分類研究對于圖表理解和文檔解析具有很大的意義。分別通過爬蟲和軟件生成的方式，構建了兩個包含16類常見圖表的數據集，該數據集在數量、類型和樣式豐富性上具有一定的優勢。在3個數據集上實驗對比了Transformer架構和卷積神經網絡架構的模型，結果表明Transformer架構在圖表分類任務上具有一定優勢。基于Swin Transformer模型，設計了多種數據增強策略，在增加模型泛化性的同時也引入了分布差異；通過對不同策略訓練出的模型預測進行均值融合，同單模型相比分類性能有較大提升。在6個測試集上對集成模型進行了測試，分類準確率均大于0.9；對于圖像質量高、視覺形式簡單的生成圖表，模型分類準確率接近1。
中圖分類號：TP391 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.244851
中文引用格式： 張明凱，胡軍國，劉江南，等. 基于深度學習的可視化圖表分類方法研究[J]. 電子技術應用，2024，50(5)：58-65.
英文引用格式： Zhang Mingkai，Hu Junguo，Liu Jiangnan，et al. Research on visualization chart classification method based on deep learning[J]. Application of Electronic Technique，2024，50(5)：58-65.
中文引用格式： 張明凱，胡軍國，劉江南，等. 基于深度學習的可視化圖表分類方法研究[J]. 電子技術應用，2024，50(5)：58-65.
英文引用格式： Zhang Mingkai，Hu Junguo，Liu Jiangnan，et al. Research on visualization chart classification method based on deep learning[J]. Application of Electronic Technique，2024，50(5)：58-65.
Research on visualization chart classification method based on deep learning
Zhang Mingkai1，Hu Junguo1，Liu Jiangnan2，Deng Fei1，Yin Wenjie1
1.College of Mathematics and Computer Science， Zhejiang A & F University； 2.College of Chemistry and Materials Engineering， Zhejiang A & F University
Abstract： The classification research of visual charts holds significant implications for chart comprehension and document parsing. This paper has constructed two datasets, each containing 16 common chart types, using web scraping and software generation. These datasets exhibit certain advantages in terms of quantity, type, and stylistic diversity. This paper has also conducted experiments comparing Transformer and Convolutional Neural Network (CNN) architectures on three datasets, and the results indicates that the Transformer architecture has certain advantages in the task of chart classification. Utilizing the Swin Transformer model, this paper designs various data augmentation strategies, not only increasing the generalization of the model, but also introducing the distribution difference. By averaging predictions from models trained with different strategies, there is a significant improvement in classification performance compared to individual models. The ensemble model was tested on 6 test sets, with classification accuracy exceeding 0.9 in all cases. For generated charts with high image quality and simple visual forms, the model's classification accuracy approached 1.
Key words : chart classification；chart comprehension；convolutional neural network；Swin Transformer；model ensemble
引言
可視化圖表作為一種直觀的信息表現形式，往往被用于文獻或報告中展示關鍵的數據，在現代媒介中使用十分廣泛。但受限于當下的技術水平，這些圖表信息很難被計算機檢索，大量的數據埋沒在浩如煙海的網絡中。隨著相關數據的增加，圖表的自動化解析逐漸被重視起來。圖表通過簡單的圖形幫助人類理解數據背后隱含的差異或趨勢等信息，但對于計算機來講，讀取這些圖形所代表的含義卻十分困難。不同類型的圖表具有不同的視覺形式，很難用一套固定的模式或方法解析出來，目前較為有效的方法是根據圖表類型使用特定的數據解析方案[1]。因此，理解圖表的首要工作是圖表類型識別，可視化圖表的分類研究對于圖表理解和文檔解析具有很大的意義。
圖表分類技術作為圖像分類技術的子分支，與計算機視覺技術的發展聯系十分密切。表1對相關研究進行了總結。早期研究[2-5]多使用一些手工設計的過濾器來提取圖表圖像的特征，先將提取到的特征降維，再通過一些機器學習方法實現分類。這些研究大都需要手工構建特征，數據集也相對較小，模型的泛化性不高。隨著計算機視覺領域深度學習模型的發展，基于卷積神經網絡的分類模型被用在圖表分類任務中，這些研究[6-14]的分類效果有了很大提升，數據集也得到很大程度上的擴充。
本文詳細內容請下載：
http://www.shi-ke.cn/resource/share/2000005988
作者信息：
張明凱1，胡軍國1，劉江南2，鄧飛1，尹文杰1
（1.浙江農林大學 數學與計算機科學學院，浙江 杭州 311300；2.浙江農林大學 化學與材料工程學院，浙江 杭州 311300）
此內容為AET網站原創，未經授權禁止轉載。