??? 摘? 要: 應用VerilogHDL在FPGA中實現了視頻增強算法,設計了視頻增強算法所需的輔助功能,包括視頻編解碼控制、SRAM訪問仲裁控制及色度空間變換控制,用Matlab進行了視頻增強的仿真,優化了視頻增強算法的參數。?
??? 關鍵詞: 工業監控;視頻增強;視頻識別;數字視頻;色度空間變換?
?
??? 視頻監控得以廣泛應用的主要條件是網絡帶寬、計算機處理能力和存儲容量的迅速提高以及各種視頻信息處理技術的涌現[1]。但目前絕大部分視頻監控應用缺乏對所記錄視頻數據的深層處理,其原因是目前視頻數據主要靠人工監視分析,人工無法應對大量、實時的視頻數據[2]。所以市場迫切呼喚實用的視頻識別技術[3],網絡巨頭Google已經在視頻識別上大量投入,時代華納、迪士尼也正在合作開發新的視頻識別應用,微軟也宣布將把視頻識別技術應用于最新的XBOX游戲引擎,讓用戶體驗全新的“自然控制方式”。但不管采用何種算法,視頻質量是影響視頻識別的最重要因素,特別是一些高速工業監控、交通流監控,原始視頻質量不易提高,而視頻增強處理是后期提升視頻質量的有效手段。本文論述視頻增強處理算法的高速實現方法,即使用現場可編程邏輯器件FPGA的并行邏輯處理能力實時實現視頻增強處理的各個環節,為后期視頻識別應用提供在線數據前處理。?
1 視頻增強處理系統硬件結構?
??? 視頻增強對硬件處理速度的要求較高,使用傳統的單CPU或DSP很難獲得較高性價比,而FPGA由于內部集成了多個可并行工作的高速有符號乘法器而在視頻處理中具有明顯的優勢。FPGA中資源控制的靈活性和并行特點體現在并行邏輯運算、并行多SRAM訪問控制和外圍模擬信號解碼器件接口的并行控制上。為快速實現并驗證本文所述視頻增強處理的效果,使用了Xilinx公司的FPGA多媒體開發板(Microblaze & Multimedia Demonstration Board,No.0381112)[4]。開發板集成了測試所用的所有硬件資源,其總體結構如圖1所示。?
?
?
??? 開發板核心器件為Xilinx公司的FPGA芯片Vertex-II(XC2V2000),還包含了多媒體和人機接口所用的外圍器件,包括視頻輸入采集芯片、視頻輸出驅動芯片、外圍SRAM存儲器、AC97音頻編解碼器、以太網接口、RS232接口、LED指示燈和鍵盤接口。FPGA的配置采用可進行多版本控制的CF卡為存儲介質,配置芯片為Xilinx SystemACE。所有的視頻增強處理和與外圍器件接口的功能使用硬件描述語言VerilogHDL開發,VerilogHDL代碼經編譯后使用JTAG調試器下載到XC2V2000芯片中,同時也可使用CF卡存儲8份測試代碼進行自動加載,分版本調試,開發板上沒有CPU,所有的邏輯處理由FPGA實現。板上還配置了5塊NtSRAM(型號K7N163601M),NtSRAM是三星公司推出的無周轉隨機存儲器,即讀寫采用單周期操作,提高了存取速度。每塊NtSRAM都用單獨的地址總線、數據總線和控制總線直接與FPGA連接,保證了5個SRAM可同時作為視頻高速緩存區使用,保證了并行性。K7N163601M為100引腳芯片,5片SRAM消耗了480條FPGA引腳,XC2V2000共有896條引腳。開發板提供的視頻編解碼器件也為算法驗證提供了條件。?
2 視頻增強處理算法的Matlab仿真?
??? 視頻增強處理算法分為7部分,分別為視頻運動補償、幀內圖像的邊緣銳化、數字亮度瞬態增強、數字色彩瞬態增強、亮度對比度調整、色度飽和度調整、黑級擴展。這些處理在測試系統中需要并行進行,以保證視頻流的實時性。為驗證視頻增強算法的可行性,在進行VerilogHDL設計實現之前進行了Matlab仿真。仿真程序使用Matlab的圖形界面開發環境GUIDE(Graphic User Interface Development Environment)完成,實現的視頻增強功能模塊如圖2所示,其中只有視頻運動補償沒有進行仿真。?
?
?
??? 圖2所示各處理環節的功能描述如表1所示。其中峰值濾波算法實現方法如下:以同一行內5個像素點YUV色度空間的亮度信號Y為周期,編號為Y0,Y1,Y2,Y3,Y4,分別設計低通、帶通和高通濾波器YLP,YBP,YHP:?
??? YLP=(Y0+4×Y1+6×Y2+4×Y3+Y4)/16?????????????????????? (1)?
??? YBP=(-Y0+2×Y2-Y4)/8?????????????????????????????????? (2)?
??? YHP=(Y0-4×Y1+6×Y2-4×Y3+Y4)/16?????????????????????? (3)?
??? 峰值濾波器的輸出為:?
??? Y2′=Y2+fC(YHBPS)????????????????????????????????????? (4)?
??? 其中:YHBPS=kbp×YBP+khp×YHP-YBP-YHP?
???????? kbp=kbpw/2(klp)?
???????? khp=khpw/2(klp)?
????
?
式中khpw是高通濾波系數,kbpw是帶通濾波系數,klp是低通濾波系統,Ygate是濾波輸出閾值。?
??? 視頻增強算法中黑級擴展算法如公式(6)所示,當亮度低于一個域值時,輸出亮度信號迅速減小,表現為黑到一定程度后的黑色變得更黑。?
?????
?
其中Yin為輸入亮度信號,k為黑級擴展比例系數,YGate為擴展閾值。?
?
?
??? Matlab仿真軟件界面如圖3所示,其中峰值濾波器、DLTI、DCTI、亮度對比度調整、色度飽和度調整、黑級擴展6部分增強算法的系數都可以動態調整來觀察增強的效果,從而確定最佳增強參數。為測試對不同類型視頻圖像的增強效果,軟件中設計了圖像選擇功能,備選圖像中有加入各種噪聲和模糊化的測試圖像,仿真測試表明,當參數調整合適后,增強效果明顯。?
?
?
3 視頻增強處理算法的VerilogHDL設計?
??? 測試視頻增強所用視頻信號源由DVD播放機提供,模擬視頻信號通過S端子接入開發板,通過ADV7185解碼成數字視頻信號接入FPGA,數字視頻信號經過增強處理后由FMS3810視頻DAC轉換為模擬視頻信號,輸出到SVGA顯示器進行觀察。SVGA輸出僅測試時使用,當視頻增強系統作為視頻識別前處理方式工作時,增強的數字視頻信號將以數字方式直接傳輸到視頻識別單元。視頻增強處理算法充分利用了Vertex-II的并行數字信號處理功能,XC2V2000集成了56個18bit高速有符號乘法器和336KB快速分布式RAM,便于實現各種增強算法的并行處理和數據緩沖。視頻增強算法及其輔助處理的VerilogHDL實現結構如圖4所示,格式為CCIR601標準的視頻信號經輸入解碼處理后存儲于三個NtSRAM緩沖區。視頻增強系統中設置一個行緩沖區,采用FPGA內部集成的分布式雙端口SRAM實現,NtSRAM顯示緩沖區中的數據被逐行傳輸到行緩沖區中,三個NtSRAM緩沖區由三個對應的控制器管理,數據需要通過讀請求獲得。讀請求控制功能由圖4中的數據請求控制模塊實現,當此模塊在消隱期獲得經過同步了的NtSRAM緩沖區就緒信號后,開始選定這一緩沖區,并產生數據讀請求信號。然后NtSRAM控制器按照請求信號的目的地址、源地址和數據長度將顯示數據送到行緩沖區SRAM中。行緩沖區中的數據按照顯示器輸出信號的時序輸出,即在每個有效行產生行緩沖區的連續增量地址信號,將YUV像素信號讀出,再送入圖像增強模塊,圖像增強模塊的輸出信號送入YUV-RGB轉換模塊中,然后將RGB信號接到SVGA驅動器FMS3810的D/A中,產生模擬的顏色信號。其中顯示時序控制由SVGA時序控制模塊產生。?
?
?
??? 圖4中YUV信號是位寬為8bit的數字信號,其編碼格式符合數字演播室標準ITU- RRec.BT601。YUV信號經色度空間變換算法轉換為RGB信號,輸出到SVGA,顯示像素時鐘頻率為54MHz。實現上述功能的硬件時間延遲為6個時鐘周期,其速度是使用嵌入式處理器或單個DSP系統難以實現的。?
??? 本文應用VerilogHDL硬件描述語言在Xilinx的XC2V2000-FPGA中實現了視頻增強算法。經使用不同畫質的視頻碟片用DVD播放器作為信號源進行測試,視頻增強效果明顯,可為后期視頻識別提供較好的信息基礎。在算法實現中,Matlab軟件仿真對視頻增強算法的參數優化起到了決定性作用,凸顯了仿真對系統實現的指導作用。?
參考文獻?
[1] 阮秋琦.數字圖像處理學.北京:電子工業出版社,2001.?
[2] TEKALP A.M著;崔之祜,江春,陳麗鑫譯.數字視頻處理.北京:電子工業出版社,1998.?
[3] BENNETT Eric P,Leonard McMillan,Video enhancement using per-pixel virtual exposures,Proceedings of ACM SIGGRAPH 2005(NY,USA),2005,124(3).?
[4] Data Sheets of Virtex-II FPGA XC2V2000.Xilinx Corporation,2002.