視頻處理是目前多媒體領(lǐng)域最熱門的技術(shù)，主要分為視頻編解碼和目標(biāo)信息識(shí)別兩大類。前者為了節(jié)省視頻數(shù)據(jù)的傳輸帶寬，主要依靠傳統(tǒng)的信息論理論，目前已經(jīng)比較成熟；后者則為了提取用戶信息，是了人工智能、計(jì)算機(jī)以及信息論等多門學(xué)科研究成果的交集，目前還處于快速發(fā)展階段。
1．視頻編解碼應(yīng)用
雖然目前正在使用的視頻編解碼器多達(dá)數(shù)百種，但是，為了實(shí)現(xiàn)標(biāo)準(zhǔn)化并希望采用的編解碼器能提供最佳的基準(zhǔn)，大多數(shù)消費(fèi)設(shè)備只采用了少數(shù)幾種編解碼器。
目前常用的3類視頻編解碼器如下所列：(1)MPEG-2。該技術(shù)今天仍在大量應(yīng)用，主要用于廣播信號(hào)和DVD電影的編碼，甚至目前刻在藍(lán)光DVD 上的商業(yè)視頻節(jié)目也是用MPEG-2進(jìn)行編碼。隨著大多數(shù)的HD DVD采用VC-1和H.264標(biāo)準(zhǔn)進(jìn)行編碼，這種情況即將有所改變。(2)MPEG4。MPEG-1、MPEG-2標(biāo)準(zhǔn)基礎(chǔ)上形成的MPEG-4包含了許多組成部分，算上正在批準(zhǔn)過程中的部分，總共有22個(gè)。它能以更低的速率傳輸與MPEG-2相同質(zhì)量的視頻圖像，而且MPEG-4引入了描述自然的或合成的對(duì)象等新概念來構(gòu)成場(chǎng)景并支持與用戶的交互，給視頻節(jié)目制作商提供了改進(jìn)的內(nèi)容保護(hù)功能和創(chuàng)建更靈活、可復(fù)用內(nèi)容的能力。由于這些改進(jìn)，視頻可以通過寬帶鏈路進(jìn)行傳輸，衛(wèi)星和DVB提供商也采用了MPEG-4。(3)H.264/MPEG-4 AVC。H.264(MPEG-4第10部分)高級(jí)視頻編碼(AVC)，主要以其高數(shù)據(jù)壓縮率和質(zhì)量而出名。由國際電信聯(lián)盟電信標(biāo)準(zhǔn)局(ITU-T)視頻編碼組開發(fā)的H.264包含了豐富的視頻處理性能。
2．視頻識(shí)別
移動(dòng)目標(biāo)的視頻檢測(cè)與跟蹤是圖像處理、分析應(yīng)用的一個(gè)重要領(lǐng)域，是當(dāng)前相關(guān)領(lǐng)域的研究前沿。移動(dòng)目標(biāo)視頻檢測(cè)與跟蹤技術(shù)，在機(jī)器人視覺、交通監(jiān)測(cè)、可視預(yù)警、機(jī)器導(dǎo)航等民用領(lǐng)域有著廣泛的應(yīng)用，同時(shí)在火力攔截、導(dǎo)彈電視和紅外視頻制導(dǎo)等軍用方面也發(fā)揮著重要作用?？勺R(shí)別的視頻行為包括：a. 突然入侵檢測(cè)、b. 移動(dòng)物體檢測(cè)、c. 運(yùn)動(dòng)路徑檢測(cè)、d. 遺留物體檢測(cè)、e. 指向接近檢測(cè)、f. 移走物體檢測(cè)這6大類。
其中，各類編解碼算法，特別是視頻處理算法對(duì)計(jì)算性能的要求已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng) DSP 處理器的能力。在這些應(yīng)用中，FPGA可用做協(xié)處理器來承擔(dān)性能關(guān)鍵的處理工作，也可以作為獨(dú)立的視頻處理引擎。與標(biāo)準(zhǔn)數(shù)字信號(hào)處理器相比，F(xiàn)PGA構(gòu)造的并行計(jì)算特性可支持更高的采樣速率和更大的數(shù)據(jù)吞吐能力，性能可達(dá)3至4倍，同時(shí)計(jì)算功效也更高。
Xilinx公司的視頻處理發(fā)資源
在實(shí)現(xiàn)中，視頻處理涉及到多相網(wǎng)絡(luò)視頻服務(wù)器轉(zhuǎn)換器、二維FIR濾波器和屏幕顯示到覆蓋、阿爾法混合等簡單效果以及格式和顏色空間轉(zhuǎn)換等復(fù)雜處理。對(duì)于這些算法，Xilinx FPGA是其理想的開發(fā)平臺(tái)，其強(qiáng)大的DSP處理能力意味著有可能支持非常高的分辨率(畫質(zhì)高達(dá)1080p)，并且可以縮小大型DSP陣列的尺寸。并且 FPGA是可重新編程的硬件，可靈活嘗試新穎、高性能、基于硬件的視頻和圖像算法。除了FPGA器件這一并行、靈活的優(yōu)勢(shì)外，Xilinx還提供了一下三方面的資源。
1．大量的IP
Xilinx提供了視頻IP模塊組，以供在視頻監(jiān)控系統(tǒng)中快速設(shè)計(jì)、仿真、實(shí)現(xiàn)和驗(yàn)證視頻和圖像處理算法。其中包括設(shè)計(jì)DVR用的基本基元和高級(jí)算法。此外，Xilinx及其合作伙伴提供了一系列壓縮編碼、解碼和編解碼解決方案，從為需要快速實(shí)現(xiàn)的人提供現(xiàn)成的內(nèi)核，為希望得到高質(zhì)量和更低比特率的用戶提供構(gòu)造模塊參考設(shè)計(jì)和硬件平臺(tái)。將Xilinx FPGA用于某些編解碼模塊中的極其繁重的處理任務(wù)，可以靈活支持多通道HD編碼，通過減少或排除DSP處理器陣列大量節(jié)約成本，并輕松地將從接口到進(jìn)一步視頻處理的更多功能和能力集成到系統(tǒng)中，從而能在相同的系統(tǒng)中支持不同的配置、額外的通道或新的編解碼方案。Xilinx FPGA可通過強(qiáng)化系統(tǒng)邏輯和實(shí)現(xiàn)新外設(shè)進(jìn)一步降低DVR系統(tǒng)成本。Xilinx及其合作伙伴還為網(wǎng)絡(luò)視頻服務(wù)器監(jiān)控系統(tǒng)的快速發(fā)展提供系統(tǒng)接口：先進(jìn)的存儲(chǔ)器接口、PCIExpress、德州儀器的VLYNQ和EMIF接口、硬盤接口和ITU-RBT656接口。
2．Xilinx工具簡化設(shè)計(jì)
Xilinx System Generator for DSP允許使用Xilinx視頻IP模塊組構(gòu)建和調(diào)試Simulink中的高性能DVR系統(tǒng)。使用System Generator開發(fā)并實(shí)現(xiàn)視頻處理算法，可以獲得經(jīng)過徹底驗(yàn)證和可以輕松執(zhí)行的設(shè)計(jì)。 Xilinx已開發(fā)出各種經(jīng)過預(yù)測(cè)試的新型視頻IP模塊組，用戶可以在System Generator內(nèi)拖放模塊來輕松構(gòu)建視頻/影像系統(tǒng)，從而省下用HDL語言編寫這些基本構(gòu)建模塊的寶貴時(shí)間。
為了處理從開發(fā)板到PC的龐大的視頻數(shù)據(jù)流，System Generator for DSP引入了另一種新穎的高速硬件協(xié)同仿真(通過以太網(wǎng)接口)，實(shí)現(xiàn)低延遲的高流量，在System Generator環(huán)境中構(gòu)建視頻/影像系統(tǒng)極其有用。
另一種基于MATLAB語言的設(shè)計(jì)工具是Xilinx開發(fā)的AccelDSP綜合工具，這是基于高級(jí)MATLAB語言的工具，用于為Xilinx FPGA設(shè)計(jì)DSP模塊。此工具可實(shí)現(xiàn)浮點(diǎn)到定點(diǎn)的自動(dòng)轉(zhuǎn)換，能生成可綜合的VHDL或Verilog語言，并且可以為驗(yàn)證創(chuàng)建測(cè)試平臺(tái)。并且可以直接利用MATLAB算法生成定點(diǎn)C++模型或System Generator模塊。AccelDSP是Xilinx XtremeDSP解決方案的一個(gè)關(guān)鍵組件，它集最先進(jìn)的FPGA、設(shè)計(jì)工具、知識(shí)產(chǎn)權(quán)內(nèi)核、合作伙伴關(guān)系于一體。
3．開發(fā)板資源
為了加速用戶實(shí)現(xiàn)所需的視頻處理資源，Xilinx提供了大量的開發(fā)板資源，還公開相應(yīng)開發(fā)板的原理圖和PCB圖，指南提供了視頻入門套件的內(nèi)容簡介，并描述了該套件提供的Xilinx 軟件的安裝方法。在Xilinx提供的開發(fā)板上，可通過先進(jìn)的設(shè)計(jì)工具和現(xiàn)成的IP核快速開發(fā)相應(yīng)的視頻處理產(chǎn)品。