基于增強語義信息理解的場景圖生成
2023年電子技術應用第5期
曾軍英，陳運雄，秦傳波，陳宇聰，王迎波，田慧明，顧亞謹
（五邑大學 智能制造學部，廣東 江門 529020）
摘要： 場景圖生成（SGG）任務旨在檢測圖像中的視覺關系三元組，即主語、謂語、賓語，為場景理解提供結構視覺布局。然而，現有的場景圖生成方法忽略了預測的謂詞頻率高但卻無信息性的問題，從而阻礙了該領域進步。為了解決上述問題，提出一種基于增強語義信息理解的場景圖生成算法。整個模型由特征提取模塊、圖像裁剪模塊、語義轉化模塊、拓展信息謂詞模塊四部分組成。特征提取模塊和圖像裁剪模塊負責提取視覺特征并使其具有全局性和多樣性。語義轉化模塊負責將謂詞之間的語義關系從常見的預測中恢復信息預測。拓展信息謂詞模塊負責擴展信息謂詞的采樣空間。在數據集VG和VG-MSDN上與其他方法進行比較，平均召回率分別達到59.5%和40.9%。該算法可改善預測出來的謂詞信息性不足問題，進而提升場景圖生成算法的性能。
中圖分類號：TP391
文獻標志碼：A
DOI: 10.16157/j.issn.0258-7998.223276
中文引用格式： 曾軍英，陳運雄，秦傳波，等. 基于增強語義信息理解的場景圖生成[J]. 電子技術應用，2023，49(5)：52-56.
英文引用格式： Zeng Junying，Chen Yunxiong，Qin Chuanbo，et al. Scene graph generation based on enhanced semantic information understanding[J]. Application of Electronic Technique，2023，49(5)：52-56.
文獻標志碼：A
DOI: 10.16157/j.issn.0258-7998.223276
中文引用格式： 曾軍英，陳運雄，秦傳波，等. 基于增強語義信息理解的場景圖生成[J]. 電子技術應用，2023，49(5)：52-56.
英文引用格式： Zeng Junying，Chen Yunxiong，Qin Chuanbo，et al. Scene graph generation based on enhanced semantic information understanding[J]. Application of Electronic Technique，2023，49(5)：52-56.
Scene graph generation based on enhanced semantic information understanding
Zeng Junying，Chen Yunxiong，Qin Chuanbo，Chen Yucong，Wang Yingbo，Tian Huiming，Gu Yajin
(Department of Intelligent Manufacturing， Wuyi University， Jiangmen 529020，China)
Abstract： The Scene Graph Generation (SGG) task aims to detect visual relation triples in images, i.e. subject, predicate and object, to provide a structural visual layout for scene understanding. However, existing approaches to scene graph generation ignore the high frequency but uninformative problem of predicted predicates, hindering progress in this field. In order to solve the above problems, this paper proposes a scene graph generation algorithm based on enhanced semantic information understanding. The whole model consists of four parts: feature extraction module, image cropping module, semantic transformation module and extended information predicate module. Feature extraction module and image cropping module are responsible for extracting visual features and making them global and diverse. The semantic transformation module is responsible for restoring the semantic relationship between predicates from common predictions to informative predictions. The extended information predicate module is responsible for extending the sampling space of the information predicate. Comparing with other methods on datasets VG and VG-MSDN, the average recall reaches 59.5% and 40.9%, respectively. The algorithm in this paper can improve the problem of insufficient information of the predicted predicate, and then improve the performance of the scene graph generation algorithm.
Key words : scene graph generation；image cropping；semantic transformation；extended information
0 引言
場景圖生成 (SGG) 任務的目標是從給定圖像生成圖結構表示，以抽象出對象（以邊界框為基礎）及其成對關系。場景圖旨在促進對圖像中復雜場景的理解，并具有廣泛的下游應用潛力，例如圖像檢索、視覺推理、視覺問答(VQA)、圖像字幕、結構化圖像生成和外繪和機器人技術。好的場景圖可以在感興趣的實例之間提供信息豐富的關系?，F有的場景圖生成大多遵循通用的范式，即從圖像中檢測目標，提取區域特征，然后在標準分類目標函數的指導下識別謂詞類別。但是，這種范式有幾方面的缺點。
本文詳細內容請下載：http://www.shi-ke.cn/resource/share/2000005313
作者信息：
曾軍英，陳運雄，秦傳波，陳宇聰，王迎波，田慧明，顧亞謹
（五邑大學 智能制造學部，廣東 江門 529020）
此內容為AET網站原創，未經授權禁止轉載。