視頻壓縮標(biāo)準(zhǔn)及其發(fā)展

??? ITU-T于1989年發(fā)布了第一個(gè)視頻編碼標(biāo)準(zhǔn)H.261，隨后陸續(xù)發(fā)布了H.263﹑H.263+﹑H.263++等視頻編碼標(biāo)準(zhǔn)。ISO的下屬運(yùn)動(dòng)圖像專家組也發(fā)布了MPEG-1﹑MPEG-2﹑MPEG-4等數(shù)字電視壓縮編碼的國際標(biāo)準(zhǔn)。下面對(duì)這些標(biāo)準(zhǔn)進(jìn)行簡要介紹。
????H.261標(biāo)準(zhǔn)主要應(yīng)用于ISDN網(wǎng)上的視頻會(huì)議，是第一個(gè)采用現(xiàn)代編碼算法的通用視頻標(biāo)準(zhǔn)，為以后眾多標(biāo)準(zhǔn)提供了理論基礎(chǔ)。H.261編碼器的原理圖如圖1所示。

?

??? H.261的輸入視頻格式主要支持CIF和QCIF,只有按幀的工作方式。對(duì)于一個(gè)編碼幀，分成16×16的宏塊" title="宏塊">宏塊進(jìn)行處理。對(duì)于每一個(gè)幀間編碼的宏塊，采用運(yùn)動(dòng)估計(jì)" title="運(yùn)動(dòng)估計(jì)">運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)估計(jì)范圍為（-15，15），僅支持整像素運(yùn)動(dòng)估計(jì)。對(duì)于幀內(nèi)編碼宏塊和對(duì)于幀間編碼宏塊的運(yùn)動(dòng)位移誤差按8×8塊進(jìn)行DCT變換﹑量化﹑Z掃描和VLC編碼。H.261采用兩種量化器，對(duì)幀內(nèi)編碼的DCT直流系數(shù)用步長為8的均勻量化器進(jìn)行量化，其他系數(shù)采用帶死區(qū)的均勻量化器，量化器步長可以從2～62選擇。
??? H.261的碼流結(jié)構(gòu)采用分層結(jié)構(gòu)。從上到下依次是圖片層﹑塊組層﹑宏塊層和塊層。采用塊組的目的是為了抵抗誤碼的傳播，即當(dāng)一個(gè)塊組的數(shù)據(jù)丟失時(shí)并不影響下一個(gè)快組。宏塊層包括宏塊類型﹑運(yùn)動(dòng)矢量和CBP碼等信息。塊層包括具體的8×8塊DCT變換系數(shù)。
??? H.263是為了支持低速率傳輸而制定的標(biāo)準(zhǔn)，主要面向低碼率的視頻應(yīng)用，可以支持在電話線上傳輸可視電話和會(huì)議電視。由于公用電話網(wǎng)和無線網(wǎng)上的傳輸速率仍然有限，而且誤碼率較高，因此提出了H.263+和H.263++，以滿足高壓縮效率和強(qiáng)信道容錯(cuò)能力的要求。它們?cè)谔岣呔幋a效率的同時(shí)，提高了碼流對(duì)有誤碼信道的容錯(cuò)能力。H.263標(biāo)準(zhǔn)提出了變塊運(yùn)動(dòng)估計(jì)﹑多幀參考運(yùn)動(dòng)補(bǔ)償?shù)认冗M(jìn)視頻壓縮技術(shù)，對(duì)日后提出的視頻編碼標(biāo)準(zhǔn)產(chǎn)生很大影響。
??? MPEG-1是為滿足視頻存儲(chǔ)媒體的應(yīng)用而提出的視頻壓縮標(biāo)準(zhǔn)。在典型的MCPC框架基礎(chǔ)上應(yīng)用了半像素的雙向預(yù)測技術(shù)，與H.261相比具有更好的編碼質(zhì)量和更高的壓縮比。
??? MPEG-2使用了場﹑幀聯(lián)合的編碼結(jié)構(gòu)，支持高質(zhì)量的音頻編碼和高分辨率圖像。提供從廣播級(jí)TV到HDTV的視頻編碼，并提供多種可分級(jí)編碼模式。目前在高清晰電視領(lǐng)域有廣泛的應(yīng)用。
??? MPEG-4于1999年正式成為國際標(biāo)準(zhǔn)。與以前的標(biāo)準(zhǔn)相比，MPEG-4更加注重多媒體系統(tǒng)的交互性和靈活性。MPEG-4引入了基于對(duì)象﹑內(nèi)容的編碼技術(shù)，在理論上具有更高的壓縮效率。但是對(duì)視頻對(duì)象進(jìn)行自動(dòng)分割目前仍有較大困難，尚未實(shí)現(xiàn)真正的面向?qū)ο蟮木幋a技術(shù)。
??? H.264是ITU和ISO聯(lián)合制定的一個(gè)新的視頻編碼標(biāo)準(zhǔn)，于2003年在國際上正式頒布。與以往的視頻編碼標(biāo)準(zhǔn)相比, H.264采用了很多新的技術(shù)，例如采用了7種不同的宏塊分割方法,從而形成7種不同的幀間預(yù)測模式。H.264支持1/4像素精度的運(yùn)動(dòng)矢量并采用樹狀結(jié)構(gòu)的運(yùn)動(dòng)補(bǔ)償策略，每個(gè)宏塊可進(jìn)行分割和亞分割。H.264還支持多參考幀模式，即允許編碼器使用多于一幀的先前幀用于運(yùn)動(dòng)估計(jì)，以降低幀間預(yù)測誤差。此外H.264還引入了SI和SP圖像編碼類型，以支持視頻流間切換。H.264還采用了幀內(nèi)預(yù)測編碼技術(shù)和4×4整數(shù)變換以及方塊濾波技術(shù)來提高壓縮比和圖像質(zhì)量。
??? H.264的提出是視頻壓縮編碼領(lǐng)域的一個(gè)里程碑，其優(yōu)越的壓縮性能必將在數(shù)字廣播電視﹑實(shí)時(shí)視頻通信﹑視頻流媒體傳遞等多個(gè)方面發(fā)揮重要作用。目前對(duì)H.264的研究與改進(jìn)成為視頻壓縮學(xué)術(shù)界廣泛研究的課題之一。

視頻壓縮未來發(fā)展方向

基于小波" title="小波">小波變換的視頻壓縮編碼

??? 小波壓縮技術(shù)在消除DCT變換中所特有的方塊化效應(yīng)和飛蚊噪聲方面有良好的率失真品質(zhì)，所以基于小波的視頻壓縮研究一直在不斷進(jìn)行。基于小波的視頻編碼技術(shù)可以分為三類^[2][3]：(1)空間域運(yùn)動(dòng)補(bǔ)償?shù)?a class="cblue" href="http://www.shi-ke.cn/search/?q=小波變換" title="小波變換">小波變換(MC-DWT)；(2)小波域運(yùn)動(dòng)補(bǔ)償(DWT-MC)；(3)具有或者不具有運(yùn)動(dòng)估計(jì)的三維小波變換。不同的運(yùn)動(dòng)估計(jì)算法、量化方案和熵編碼方法可應(yīng)用于這三類編碼技術(shù)的任何一類。
??? MC-DWT視頻編碼方案是在空間域進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償來消除時(shí)間冗余，對(duì)其誤差圖像以及幀內(nèi)圖像采用小波變換進(jìn)行編碼消除空間冗余。與傳統(tǒng)的基于DCT的混合編碼的主要差別在于對(duì)補(bǔ)償幀差的處理，它用整域小波變換代替分塊DCT變換。塊運(yùn)動(dòng)補(bǔ)償技術(shù)影響視頻編碼性能，與其他運(yùn)動(dòng)補(bǔ)償技術(shù)相比，采用重疊塊運(yùn)動(dòng)補(bǔ)償技術(shù)（OBMC）可以有效地消除方塊效應(yīng)，同時(shí)能夠降低補(bǔ)償幀差的能量，提高運(yùn)動(dòng)補(bǔ)償效率，改善視頻編碼器的性能。因此近年來基于空域運(yùn)動(dòng)補(bǔ)償?shù)幕旌闲〔ㄒ曨l編碼廣泛采用OBMC技術(shù)。
??? DWT-MC視頻編碼方案是先使用整域小波變換消除空間冗余，再通過小波域的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)消除時(shí)間冗余，最后對(duì)變換域的補(bǔ)償殘差進(jìn)行小波壓縮編碼。由于小波分解內(nèi)在的多分辨結(jié)構(gòu)，在小波域內(nèi)很容易執(zhí)行多分辨運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償(MRMC)，同傳統(tǒng)的時(shí)域運(yùn)動(dòng)估計(jì)相比可以節(jié)省大量的搜索匹配時(shí)間。
??? 具有或者不具有運(yùn)動(dòng)估計(jì)的三維小波變換編碼方案根據(jù)是否具有運(yùn)動(dòng)估計(jì)可大致分為兩類：純?nèi)S小波變換（3DWC）和具有運(yùn)動(dòng)補(bǔ)償?shù)娜S小波變換（MC-3DWC）。對(duì)于不具有運(yùn)動(dòng)估計(jì)的就是純粹的三維小波變換，由幀內(nèi)二維和幀間一維變換聯(lián)合實(shí)現(xiàn)，因此這兩部分實(shí)現(xiàn)的不同順序就構(gòu)成了兩種三維小波變換的實(shí)現(xiàn)方法。第一種是先對(duì)各幀進(jìn)行幀內(nèi)二維小波變換，然后對(duì)變換后的結(jié)果進(jìn)行時(shí)間軸上的一維小波變換；第二種方法則是先進(jìn)行時(shí)間軸上的一維小波變換，然后再對(duì)變換后的各幀進(jìn)行二維小波變換。三維小波變換編碼算法中典型的有：Chang和Pearlman的3DEZW算法[4]，Kim和Pearlman的3DSPIHT算法[5]以及Vass和Chai等人的3DSLCCA算法^[6]。
??? 總體來看，目前小波視頻壓縮技術(shù)遠(yuǎn)不及小波圖像壓縮技術(shù)成熟。小波視頻壓縮研究之所以滯后于小波圖像壓縮研究，不僅因?yàn)樾〔ㄒ曨l研究的進(jìn)展有賴于小波圖像的研究和信號(hào)維數(shù)的提高，還由于視頻壓縮的應(yīng)用背景與圖像壓縮的應(yīng)用背景有很大的不同。由于視頻應(yīng)用實(shí)時(shí)性的原因，視頻壓縮算法要對(duì)壓縮算法的復(fù)雜度和壓縮效率作綜合考慮。實(shí)際上，推動(dòng)小波視頻壓縮研究不斷深入的主要技術(shù)因素有兩個(gè)，一個(gè)是小波圖像壓縮技術(shù)研究，另一個(gè)是運(yùn)動(dòng)補(bǔ)償技術(shù)研究。另外，不斷激增的商業(yè)需求也在不斷刺激小波視頻壓縮理論和應(yīng)用研究的不斷深入。

立體視頻編碼與多視點(diǎn)視頻編碼

??? 立體視頻編碼是視頻編碼發(fā)展方向之一，它在平面信息外增加了深度的信息，數(shù)據(jù)量非常龐大。
??? 立體視頻編碼也有兩種類型的方法：第一種是基于波形的，它組合了運(yùn)動(dòng)補(bǔ)償預(yù)測和位差補(bǔ)償預(yù)測。所謂位差估計(jì)即在兩幅不同的圖像中尋找對(duì)應(yīng)的點(diǎn)，對(duì)預(yù)測殘差圖像﹑位差和運(yùn)動(dòng)矢量進(jìn)行編碼。第二種是基于物體的，它直接對(duì)成像物的三維結(jié)構(gòu)和運(yùn)動(dòng)進(jìn)行編碼，當(dāng)物體結(jié)構(gòu)簡單時(shí)，可以獲得非常高的壓縮比。
??? 多視角視頻是由一個(gè)場景的不同視角的二維平面視頻組成，除了每個(gè)視角視頻在時(shí)間和空間上存在冗余之外，同一時(shí)間不同視角之間還存在冗余信息。多視角視頻編碼預(yù)測結(jié)構(gòu)通常采用GoGOP預(yù)測結(jié)構(gòu)。在GoGOP預(yù)測結(jié)構(gòu)中，所有的GOP被分成兩類：基本GOP和增強(qiáng)GOP。基本GOP中的圖像只能參考當(dāng)前GOP中的解碼圖像；而增強(qiáng)GOP中的圖像既可以參考當(dāng)前GOP中的解碼圖像，也可以參考相鄰視角中GOP的解碼圖像。這種預(yù)測結(jié)構(gòu)適用于低時(shí)延的隨機(jī)訪問，編碼效率也比較高。
??? 目前，針對(duì)立體視頻編碼，MPEG-2和H.264分別給出了參考方案。JVT針對(duì)多視點(diǎn)視頻編碼，提供了JMVM參考代碼^[7]。立體視頻編碼目前已經(jīng)有實(shí)際應(yīng)用，多視點(diǎn)視頻編碼由于算法復(fù)雜度高，目前還處于理論研究階段。

視頻壓縮硬件實(shí)現(xiàn)及最新發(fā)展

視頻壓縮的硬件實(shí)現(xiàn)

??? 視頻壓縮目前已經(jīng)在許多產(chǎn)品中得到應(yīng)用，包括DVD、數(shù)字電視、可視電話、互聯(lián)網(wǎng)視頻、拍照手機(jī)、PDA和攝像機(jī)等。不同的產(chǎn)品有不同的需求：幀的大小、幀速率、視頻質(zhì)量、位速率以及所采用的壓縮標(biāo)準(zhǔn)等各不相同。目前實(shí)際應(yīng)用中廣泛采用的是H.263和MPEG-4壓縮標(biāo)準(zhǔn)，本文分別對(duì)其典型實(shí)現(xiàn)方式進(jìn)行介紹。

基于H.263協(xié)議的GD6829

??? GD6829是高度集成的單片視頻編解碼芯片。該芯片以純硬件設(shè)計(jì)方式實(shí)現(xiàn)，符合ITU-T H.263協(xié)議標(biāo)準(zhǔn),可支持高品質(zhì)的運(yùn)動(dòng)圖像在Internet中實(shí)時(shí)傳輸^[9]。
??? 為了達(dá)到高質(zhì)量的視頻編碼和解碼，GD6829采用了許多先進(jìn)的技術(shù)及高性能的硬件，采用專用的模塊實(shí)現(xiàn)運(yùn)動(dòng)預(yù)測、運(yùn)動(dòng)補(bǔ)償、離散傅立葉變換（DCT）、反離散傅立葉變換(IDCT)、量化、反量化、Z-Z掃描、變長編解碼（VLD）、智能幀率控制等，外部采用2M×16bit的SDRAM。目前GD6829支持圖像在4種格式下編解碼同步進(jìn)行： QCIF、CIF、VGA和4CIF格式，其中QCIF、CIF格式下幀率可達(dá)100f/s，VGA、4CIF格式下幀率可達(dá)25f/s。GD6829的工作電壓使用3.3V，I/O口兼容3.3V和5.0V，采用208引腳的PQFP封裝。
??? 視頻輸入采用CCIR-601或CCIR-656 YUV(8-bit)4：2：2逐行/隔行輸入。支持QCIF（176×144）、QVGA(320×240)、CIF（352×288）、VGA(640×480)、4CIF(704×576)和D1(720×576)等視頻分辨率格式。幀速率支持1～25f/s（4CIF、VGA、D1）或者1～100f/s（CIF，QVGA）。
??? GD6829內(nèi)置PCI接口控制器，通過外部處理器支持USB2.0傳輸，支持8位/16位地址/數(shù)據(jù)的異步并行接口，通過外部處理器支持Ethernet輸出。視頻緩存：2M×32bit或4M×16bit PC1000 SDRAM。
??? 基于GD6829的視頻壓縮硬件設(shè)計(jì)框圖如圖2所示。

?

??? 視頻輸入可以使用數(shù)字CMOS攝像頭或NTSC/PAL視頻信號(hào)，經(jīng)過一個(gè)視頻轉(zhuǎn)換器，從8位或16位的數(shù)據(jù)總線上以YcbCr 4：2：2的格式送給GD6829，輸入的視頻數(shù)據(jù)轉(zhuǎn)換成QCIF、QVGA、CIF、4CIF或D1格式，再采用H.263協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行壓縮。處理過的視頻數(shù)據(jù)流經(jīng)網(wǎng)絡(luò)模塊處理后進(jìn)行傳輸。

基于MPEG-4協(xié)議的IME6400

??? INTIME公司的MPEG-4編碼芯片IME6400是一款高性能的單片多通道MPEG-4數(shù)字壓縮編碼芯片，它支持多種編碼模式和比特率控制，并提供了豐富的外圍硬件接口^[10]。芯片內(nèi)部帶有圖像壓縮硬核，外掛8MB SDRAM配合工作。其外部HOST接口有四種模式，由MODE引腳來決定。如果選用異步模式，則IME6400對(duì)輸入的視頻音頻流進(jìn)行壓縮和復(fù)合，產(chǎn)生MPEG-4的系統(tǒng)流，然后經(jīng)過輸出端口大小為1KB的FIFO緩沖進(jìn)行數(shù)據(jù)的輸出。當(dāng)FIFO滿，其GPIO0腳就產(chǎn)生一個(gè)下降沿的中斷通知主機(jī)讀取FIFO中的數(shù)據(jù)，主機(jī)通過讀IME6400 HOST端口的EncodedStream寄存器完成對(duì)數(shù)據(jù)的讀取，外部主機(jī)通過寫一個(gè)不同的值到USER4寄存器來通知IME6400數(shù)據(jù)傳輸已完成。其系統(tǒng)結(jié)構(gòu)圖如圖3所示。

?

??? 應(yīng)用IME6400硬件設(shè)計(jì)的MPEG-4壓縮和嵌入式系統(tǒng)可以使監(jiān)控系統(tǒng)的性能大大提高，主要表現(xiàn)在：錄像和預(yù)覽同樣清晰的全動(dòng)態(tài)碼率最大可控制在200MB/h；壓縮速度更快，實(shí)時(shí)流播放時(shí)無滯后延遲，最小延遲可以小于１s；輸出視頻流的畫面可達(dá)720×480(30f/s)或720×576(25f/s)。

視頻壓縮的硬件實(shí)現(xiàn)發(fā)展趨勢(shì)

??? 視頻壓縮的硬件實(shí)現(xiàn)最初采用可編程DSP或現(xiàn)成芯片（ASSP）的方法。可編程DSP的優(yōu)勢(shì)在于具有較好的適應(yīng)性。當(dāng)有新的要求時(shí)，可通過軟件設(shè)計(jì)進(jìn)行修改，然后再移植到DSP。缺點(diǎn)在于執(zhí)行速度低于現(xiàn)成芯片。現(xiàn)成芯片視頻處理速度高，但是適應(yīng)性差，只支持單一的壓縮方式，當(dāng)有新的要求時(shí)，要重新設(shè)計(jì)芯片，時(shí)間開銷和花費(fèi)都較大。
??? 目前，新的H.264壓縮技術(shù)逐漸成為主流。像H.264這樣的高復(fù)雜度并且不斷改進(jìn)的視頻壓縮算法，采用單純的DSP或者設(shè)計(jì)專用芯片實(shí)現(xiàn)起來都十分困難。較為有效的方法是采用DSP+FPGA實(shí)現(xiàn)。如圖4所示。

?

?

??? 其中DSP用于幀內(nèi)預(yù)測﹑變換﹑量化﹑碼率控制和反量化等操作。這些操作易于編程實(shí)現(xiàn)，并且可編程DSP還提供了優(yōu)化策略。視頻壓縮中最耗時(shí)的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償以及最終的熵編碼通過設(shè)計(jì)FPGA來實(shí)現(xiàn)，提高壓縮編碼速度。通過DSP+FPGA，可實(shí)現(xiàn)復(fù)雜的編碼操作，并具有良好的實(shí)時(shí)性，在實(shí)際中得到廣泛應(yīng)用。

視頻處理新技術(shù)：達(dá)芬奇技術(shù)

??? 盡管視頻壓縮在實(shí)際中有廣泛的應(yīng)用前景，但對(duì)開發(fā)人員而言是一項(xiàng)艱巨的任務(wù)。因?yàn)閷?shí)施數(shù)字視頻是極其復(fù)雜的過程。在著手開發(fā)算法之前，開發(fā)人員必須先弄懂不斷修改的多媒體標(biāo)準(zhǔn)。不僅如此，現(xiàn)有的數(shù)字視頻實(shí)施往往涉及特定平臺(tái)，而且開發(fā)人員必須在手工代碼調(diào)試方面進(jìn)行大量投入。近期TI公司推出的達(dá)芬奇技術(shù)使開發(fā)人員能夠在無需任何DSP代碼編程的情況下也能為應(yīng)用引入數(shù)字視頻功能。
??? 達(dá)芬奇技術(shù)充分利用了數(shù)字信號(hào)處理與集成電路專業(yè)技術(shù)來提供片上系統(tǒng)(SoC)，這種系統(tǒng)針對(duì)靈活的數(shù)字視頻應(yīng)用而進(jìn)行了精心優(yōu)化，擁有先進(jìn)的性能并集成了可編程數(shù)字信號(hào)處理器(DSP)內(nèi)核、ARM處理器以及視頻加速協(xié)處理器。憑借高效的處理能力、存儲(chǔ)器、I/O 帶寬、平衡的內(nèi)部互連以及專用外設(shè)組合，基于達(dá)芬奇技術(shù)的SoC能夠以最低的成本為視頻應(yīng)用提供理想的核心動(dòng)力。
????目前，TI公司提供的最新基于達(dá)芬奇技術(shù)的多媒體芯片TMS320C6455，具有2MB的L2內(nèi)存，工作頻率1GHz，是目前較先進(jìn)的視頻圖像多媒體器件。基于TMS320C6455的高速視頻編解碼架構(gòu)如圖5所示。

?