0 引言

　　近年來，快速發(fā)展的CMOS圖像傳感器因具有高集成、功耗低、工藝簡(jiǎn)單和開發(fā)周期短等優(yōu)點(diǎn)，已被廣泛應(yīng)用在工業(yè)、監(jiān)控、航空和航天等眾多領(lǐng)域[1-2]。目前我國(guó)航天領(lǐng)域中攝像設(shè)備的分辨率普遍不高，畫面質(zhì)量有待提高，嚴(yán)重制約著我國(guó)空間可視監(jiān)控技術(shù)的進(jìn)一步發(fā)展[3]，因此研究以CMOS圖像傳感器作為光電轉(zhuǎn)換器件的數(shù)字高清遙感成像技術(shù)，在航天領(lǐng)域具有較高的實(shí)際應(yīng)用價(jià)值。

1 硬件平臺(tái)及基本工作原理

　　本文主要采用了CMOS圖像傳感器、可編程邏輯門陣列FPGA、第二代雙倍速率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器（Double Date Rate Synchronous Dynamic Random Access，DDR2）、視頻串行器等，搭建了一個(gè)可實(shí)現(xiàn)圖像實(shí)時(shí)采集、預(yù)處理及傳輸功能的高清成像系統(tǒng)，如圖1所示。本文采用的傳感器是APTINA公司的MT9M034，它集成了模擬圖像采樣和模數(shù)轉(zhuǎn)換及在片自動(dòng)曝光等功能，并支持720p60的高清視頻，具有重量輕、體積小、功耗低、動(dòng)態(tài)范圍寬等優(yōu)點(diǎn)，適合航天的應(yīng)用場(chǎng)景。

　　FPGA作為系統(tǒng)主處理器，主要完成對(duì)傳感器的初始化和接口控制，并對(duì)傳感器輸出的圖像數(shù)據(jù)進(jìn)行采集和預(yù)處理，以提高圖像質(zhì)量并供顯示，這些處理主要包括時(shí)序調(diào)整、圖像類型轉(zhuǎn)換、圖像預(yù)處理、數(shù)據(jù)存儲(chǔ)、高清數(shù)字分量串行接口（High Definition Serial Digital Interface，HD-SDI）視頻合成等。本文FPGA選用的是Xilinx公司的 XC6SLX75t，它內(nèi)部具有豐富的邏輯、存儲(chǔ)資源及用戶接口。

　　為了將圖像傳輸至監(jiān)視器上呈現(xiàn)出來，本系統(tǒng)選用了National Semiconductor公司的芯片LHM0340作為數(shù)字視頻串行器，它對(duì)接收到的亮度和色差信號(hào)的并行數(shù)據(jù)進(jìn)行并串轉(zhuǎn)換，輸出HD-SDI數(shù)據(jù)流并送往監(jiān)視器。

2 FPGA設(shè)計(jì)

　　根據(jù)模塊化的設(shè)計(jì)思路，將FPGA的功能分為主控制接口、傳感器接口、圖像預(yù)處理等6個(gè)子模塊來實(shí)現(xiàn)，如圖2所示。

　　2.1 時(shí)鐘管理模塊

　　時(shí)鐘管理模塊接收外部晶振輸入的74.25 MHz時(shí)鐘，再利用FPGA的時(shí)鐘管理資源和全局時(shí)鐘資源產(chǎn)生74.25 MHz和148.5 MHz的全局時(shí)鐘。其中，除DDR2控制模塊和數(shù)字視頻合成模塊使用了兩個(gè)全局時(shí)鐘外，其他模塊均使用74.25 MHz全局時(shí)鐘。

　　2.2 主控制接口模塊

　　如圖2所示，該模塊連接其他各模塊并控制它們的運(yùn)作，產(chǎn)生其他各模塊的復(fù)位信號(hào)并通過對(duì)寄存器讀寫的方式產(chǎn)生系統(tǒng)控制信號(hào)；另外，主控接口模塊還支持通過異步串口連接上位機(jī)進(jìn)行通信和控制。

　　2.3 傳感器接口模塊

　　傳感器接口模塊的主要功能是對(duì)CMOS傳感器進(jìn)行復(fù)位及內(nèi)部寄存器的配置、采集傳感器輸出的Bayer模式圖像數(shù)據(jù)并輸出符合格式要求的圖像數(shù)據(jù)。該模塊與傳感器通過I2C接口進(jìn)行通信，由于傳感器的分辨率是1 280×960，為符合數(shù)字高清的標(biāo)準(zhǔn)，需對(duì)其稍作調(diào)整，轉(zhuǎn)換為1 280×720的分辨率。

　　2.4 圖像預(yù)處理模塊

　　由于航天應(yīng)用場(chǎng)景中存在多種光照環(huán)境，且遙感畫面動(dòng)態(tài)范圍較大，為了使獲得的圖像在各種光照環(huán)境下都能呈現(xiàn)最佳的效果，圖像預(yù)處理模塊采用了多種算法對(duì)傳感器輸出的圖像信號(hào)進(jìn)行處理，這些處理包括壞點(diǎn)校正、去馬賽克、自動(dòng)白平衡、色彩校正、伽馬校正、色度空間轉(zhuǎn)換、寬動(dòng)態(tài)處理以及色度/亮度/飽和度/對(duì)比度調(diào)整。在FPGA設(shè)計(jì)時(shí)，將該模塊分割為8個(gè)算法子模塊和一個(gè)控制子模塊，如圖3所示。

　　各模塊的輸入?yún)?shù)均通過主控模塊配置。其中，寬動(dòng)態(tài)處理、色彩校正和色度空間轉(zhuǎn)換均采用了Xilinx公司的IP核予以實(shí)現(xiàn)，色度/亮度/飽和度/對(duì)比度調(diào)整則采用Lattice公司的IP核，對(duì)其他幾個(gè)模塊介紹如下。

　　2.4.1 壞點(diǎn)校正模塊

　　本模塊接收到的Bayer陣列型圖像數(shù)據(jù)，其特點(diǎn)如圖4所示，對(duì)任一像素而言，若其為壞點(diǎn)，則可利用同一行中其左右相鄰?fù)至康膬蓚€(gè)像素值來糾正。

　　為得到3個(gè)相鄰的同類型分量像素，需得到5個(gè)連續(xù)的像素。因此將模塊的輸入圖像數(shù)據(jù)作4級(jí)延遲，與當(dāng)前輸入的數(shù)據(jù)一起組成5個(gè)像素。對(duì)于這5個(gè)像素的中心像素，計(jì)算出其左右相鄰兩個(gè)同分量像素的平均值，再分別乘上1.25、1.5和2的系數(shù)構(gòu)成3種閾值以供不同場(chǎng)景使用。

　　根據(jù)主控制接口模塊的指示，從3種閾值中選擇一種作為當(dāng)前閾值，對(duì)中心像素進(jìn)行判斷，若超出該閾值則判為壞點(diǎn)，用已計(jì)算出的其相鄰?fù)至康钠骄荡嬖撓袼氐闹担駝t保持不變。利用FPGA來設(shè)計(jì)這一算法，可實(shí)現(xiàn)流水線式的壞點(diǎn)檢測(cè)與校正功能。

　　2.4.2 自動(dòng)白平衡

　　自動(dòng)白平衡算法有很多，其中應(yīng)用極為廣泛的是基于灰度世界理論：對(duì)于任一幅圖像，當(dāng)它有足夠的色彩變化時(shí)，則它的RGB分量的均值會(huì)趨于相等。

　　相對(duì)于其他算法而言，該算法簡(jiǎn)單可靠且便于硬件實(shí)現(xiàn)，本文采用的即是這種基于灰度世界假設(shè)的算法[4]，如圖5所示。

　　圖像分割判斷模塊首先把圖像分塊，對(duì)每一塊計(jì)算其像素的標(biāo)準(zhǔn)差(即顏色變化的情況)，判斷是否是大色塊，是否是過亮塊、過暗塊。對(duì)于標(biāo)準(zhǔn)差越大的圖像塊，說明其顏色越豐富，越符合灰度世界理論的假設(shè)，權(quán)重越大；而標(biāo)準(zhǔn)差越小的塊則權(quán)重越小。

　　計(jì)算模塊根據(jù)圖像分割模塊提供的信息，進(jìn)行全局的塊選取，并按照灰度世界的假設(shè)進(jìn)行計(jì)算，得到矯正過的圖像數(shù)據(jù)。

　　2.4.3 去馬賽克

　　去馬賽克算法的目的是將Bayer格式的圖像信號(hào)通過插值處理去馬賽克，轉(zhuǎn)化成完整的RGB信號(hào)。本模塊選用的是改進(jìn)的線性插值法[5]。

　　本模塊設(shè)有4個(gè)行緩存，用于接收輸入的圖像數(shù)據(jù)。將當(dāng)前輸入的圖像數(shù)據(jù)以及從4個(gè)行緩存中讀出的數(shù)據(jù)分別進(jìn)行5級(jí)延遲，則可得到5×5的Bayer數(shù)據(jù)塊。按照數(shù)據(jù)塊中心像素為R/G/B何種分量以及與其領(lǐng)域各像素相對(duì)關(guān)系的不同，可總結(jié)出4種情況，分別如圖6所示，中心像素點(diǎn)的坐標(biāo)為（3，3）。對(duì)待插值像素（中心像素）的5×5鄰域內(nèi)數(shù)據(jù)塊在不同情況下通過不同的公式進(jìn)行插值運(yùn)算即可得出中心像素點(diǎn)R、G、B三分量的值。

　　2.4.4 伽馬校正

　　大多數(shù)的顯示設(shè)備的輸入電壓與顯示的彩色圖像強(qiáng)度成非線性的關(guān)系，為了使顯示圖像和真實(shí)圖像相符，得到更加自然、真實(shí)、悅目的畫面，有必要對(duì)因?yàn)轱@示器特性造成的非線性誤差進(jìn)行伽馬校正。

　　本模塊通過預(yù)先設(shè)定伽馬校正數(shù)據(jù)表，通過上位機(jī)經(jīng)過異步串口寫入FPGA,存入只讀存儲(chǔ)器中，再進(jìn)行查表獲取伽馬校正后的數(shù)據(jù)。

　　2.5 DDR2控制模塊

　　DDR2控制模塊通過管理DDR2存儲(chǔ)芯片將圖像預(yù)處理模塊輸出的YCbCr格式數(shù)據(jù)進(jìn)行緩存并輸出。其功能通過3個(gè)子模塊來實(shí)現(xiàn)，如圖7所示。子模塊1將接收到的16 bit并行數(shù)據(jù)進(jìn)行緩存；子模塊2為Xilinx公司的DDR2控制器IP核，它將子模塊1中的緩存數(shù)據(jù)以32位寫入DDR2，同樣以32位讀出發(fā)送至子模塊3再次進(jìn)行緩存，最終恢復(fù)成16 bit并行數(shù)據(jù)輸出。

　　2.6 數(shù)字視頻合成模塊

　　數(shù)字視頻合成模塊按照HD-SDI格式將數(shù)據(jù)合成為并行數(shù)據(jù)，并送入串行器進(jìn)行并串轉(zhuǎn)換。該模塊的功能通過3個(gè)子模塊來實(shí)現(xiàn)，分別是打包子模塊、編碼子模塊、串行器接口子模塊。

　　打包子模塊接收DDR2控制模塊輸出的圖像數(shù)據(jù)，通過對(duì)Y分量和C分量分別低位填零擴(kuò)展至20 bit并行，再根據(jù)2.2節(jié)所述主控制接口模塊的指示，在圖像數(shù)據(jù)中插入HD-SDI格式所需的時(shí)間基準(zhǔn)信號(hào)及消隱，打包輸出至編碼子模塊。

　　編碼子模塊為Xilinx公司的IP核，它通過檢測(cè)輸入的視頻數(shù)據(jù)流，提取時(shí)間基準(zhǔn)并進(jìn)行CRC校驗(yàn)，再進(jìn)行HD-SDI編碼，以20 bit并行輸出至串行器接口子模塊。

　　串行器接口子模塊將輸入的20 bit并行數(shù)據(jù)用148.5 MHz時(shí)鐘進(jìn)行高速采樣，再利用FPGA的ODDR2資源雙沿發(fā)送將數(shù)據(jù)提速，拆分成5 bit并行數(shù)據(jù)，最后用OBUFDS資源將其轉(zhuǎn)換為差分信號(hào)發(fā)送至串行器。

3 系統(tǒng)驗(yàn)證

　　本文通過ISE14.1開發(fā)環(huán)境進(jìn)行了FPGA代碼設(shè)計(jì)和仿真驗(yàn)證。圖8是HD-SDI合成模塊的仿真結(jié)果，圖9是本文成像系統(tǒng)在監(jiān)視器上的顯示結(jié)果對(duì)比，其中(a)是未啟動(dòng)白平衡算法和伽馬校正的原始圖像，(b)是經(jīng)過白平衡算法和伽馬校正等預(yù)處理后的圖像，從兩者對(duì)比可以看出，未經(jīng)過預(yù)處理的圖像顏色失真，而經(jīng)本文預(yù)處理后的圖像畫面逼真，質(zhì)量更高。

4 結(jié)論

　　本文設(shè)計(jì)了一種基于FPGA的數(shù)字高清CMOS遙感成像系統(tǒng)，以FPGA為主處理器，經(jīng)過對(duì)傳感器控制、圖像采集與圖像預(yù)處理，得到了高質(zhì)量的遙感圖像。通過軟件仿真和硬件測(cè)試，驗(yàn)證了該設(shè)計(jì)方案的正確性和有效性。

　　參考文獻(xiàn)

　　[1] 范鐵道.基于FPGA的數(shù)字高清CCD攝像機(jī)技術(shù)研究[D].西安：中國(guó)科學(xué)院研究生院（西安光學(xué)精密機(jī)械研究所），2009.

　　[2] 趙鵬，沈庭芝，單寶堂.基于CMOS圖像傳感器的微型無人機(jī)遙感系統(tǒng)設(shè)計(jì)[J].光子學(xué)報(bào)，2008，37(8)：1657-1661.

　　[3] 劉海英.基于CMOS圖像傳感器的數(shù)字高清成像技術(shù)研究[D].西安：中國(guó)科學(xué)院研究生院（西安光學(xué)精密機(jī)械研究所），2008.

　　[4] 谷元保，付守卓.一種基于灰度世界模型自動(dòng)白平衡方法[J].計(jì)算機(jī)仿真，2005，22(9)：185-188.

　　[5] MALVAR H S，He Liwei，CUTLER R.High-quality linear interpolation for demosaicing of Bayer-patterned color im-ages[C].IEEE International Conference on Acoustics，Speechand Signal Processing.Montreal：IEEE，Piscataway，NJ，2004.