0 引言

    裸眼3D技術(shù)是《“十三五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中指出的重點發(fā)展領(lǐng)域，規(guī)劃表明了加快虛擬現(xiàn)實、增強現(xiàn)實、全息成像、裸眼三維圖形顯示（裸眼3D）等核心技術(shù)創(chuàng)新發(fā)展^[1]的決心。影視拍攝的3D攝像機體積龐大、結(jié)構(gòu)復(fù)雜且價格昂貴，不適合嵌入式系統(tǒng)的應(yīng)用，嚴重制約了裸眼3D技術(shù)的產(chǎn)業(yè)化應(yīng)用。而便攜式產(chǎn)品、電視機的CPU不具備同步采集3D圖像的接口和能力，因此圖像3D傳感器只能使用FPGA或CPLD器件來高速并行處理圖像數(shù)據(jù)^[2]。

    本文根據(jù)人眼仿生學原理設(shè)計一種嵌入式的微型3D圖像傳感器，研究硬件邏輯方法以實現(xiàn)3D圖像的采集、傳輸、存儲及顯示，為便攜式領(lǐng)域提供獲取3D圖像數(shù)據(jù)的手段，力求解決裸眼3D技術(shù)產(chǎn)品化面對的技術(shù)瓶頸問題。

1 系統(tǒng)設(shè)計思想

    根據(jù)立體視覺原理，3D圖像應(yīng)同步采集并滿足成像清晰度、光軸會聚、視差匹配等要求。

    3D圖像傳感器系統(tǒng)結(jié)構(gòu)包含兩只CMOS型圖像傳感器及緩存圖像數(shù)據(jù)的SDRAM，為了對兩只圖像傳感器進行同步配置和采集，只能選用FPGA（或CPLD）作為邏輯控制芯片。

    系統(tǒng)總體結(jié)構(gòu)圖如圖1所示，采用FPGA+雙CMOS+雙SDRAM硬件結(jié)構(gòu)。FPGA選用Altera公司的EP3C25Q240C8N為主控芯片；為滿足圖像傳感器分辨率的要求，CMOS圖像傳感器采用500萬像素的OV5640；FPGA對OV5640獲取的圖像數(shù)據(jù)進行采集并緩存至SDRAM，其容量應(yīng)滿足一幀高清晰度圖像數(shù)據(jù)的存儲要求。3D圖像傳感器的圖像拍攝和視頻錄制方法的指導(dǎo)思想為把同步采集的兩只OV5640的圖像數(shù)據(jù)按行像素進行合并，以左右格式的全寬或半寬立體對圖像儲存至SD卡中。使用裸眼3D液晶屏作為實時監(jiān)控設(shè)備，F(xiàn)PGA邏輯控制左右圖像的像素重配后，再輸入至裸眼3D顯示屏顯示。

    由于FPGA并不是CPU結(jié)構(gòu)，而是一個可定制的能實現(xiàn)復(fù)雜邏輯電路的器件，因此需要為所連接的器件設(shè)計邏輯控制模塊。根據(jù)3D圖像傳感器的功能要求，按照圖像數(shù)據(jù)的流向，F(xiàn)PGA的內(nèi)部邏輯設(shè)計應(yīng)包括圖像采集模塊、SDRAM緩存控制模塊、SD卡儲存模塊、裸眼3D LCD顯示控制模塊及系統(tǒng)控制模塊。

    OV5640工作時鐘為24 MHz，F(xiàn)PGA外部時鐘為50 MHz，SDRAM工作時鐘為100 MHz，LCD的工作時鐘為25 MHz，所以系統(tǒng)控制模塊需解決跨時鐘域數(shù)據(jù)通信的問題。FPGA內(nèi)部邏輯設(shè)計如圖2所示。

2 圖像數(shù)據(jù)采集與緩存方法

    3D拍攝時，如果兩只圖像傳感器未有效同步，則運動物體的曝光成像就會存在時間差，其后果是左右眼圖像不同步，從而使3D視覺無法形成而導(dǎo)致顯示失敗。因此3D圖像傳感器必須保證像素級的同步，使用FPGA的硬件邏輯控制來完成圖像傳感器準確的同步配置和同步采集。

2.1 圖像傳感器同步配置及其數(shù)據(jù)采集

    通過SCCB(串行攝像機控制總線)對OV5640的工作寄存器進行配置^[3]，本文把圖像傳感器的圖像輸出數(shù)據(jù)設(shè)置為RGB565，再根據(jù)圖像監(jiān)控設(shè)備的分辨率1 024×768和800×600，把左右眼圖像傳感器的分辨率按半寬原則設(shè)置為512×768和400×600，幀頻為30 f/s，以此來驗證FPGA的邏輯算法是否正確。

    OV5640初始化完成后，圖像傳感器開始啟動工作，按設(shè)置的幀頻從數(shù)據(jù)接口輸出圖像數(shù)據(jù)。FPGA在PCLK(像素時鐘)、HREF(行同步信號)和VSYNC(場同步信號)的控制下開始采集OV5640的圖像數(shù)據(jù)Data[7..0]，設(shè)計邏輯算法將采集到的相鄰的兩個字節(jié)數(shù)據(jù)轉(zhuǎn)換為16位的圖像數(shù)據(jù)。使用Signal-tapII在線采集行場信號與數(shù)據(jù)信號的時序波形如圖3所示，當PCLK處于上升沿時檢測行場信號，VSYNC處于低電平且HREF為高電平時表示正在采集圖像數(shù)據(jù)，當VSYNC信號由低電平轉(zhuǎn)高電平時，表示開始采集新的一幀圖像數(shù)據(jù)。觀察圖3波形可知，設(shè)計的圖像傳感器數(shù)據(jù)采集的邏輯算法正確。

2.2 圖像數(shù)據(jù)緩存

    為解決跨時鐘域數(shù)據(jù)通信問題，F(xiàn)PGA內(nèi)部構(gòu)建了wr_FIFO和rd_FIFO連接OV5640和SDRAM，wr_FIFO用于接收OV5640采集的圖像數(shù)據(jù)，rd_FIFO用于緩存輸出至LCD的圖像數(shù)據(jù)。當wr_FIFO接收到wr_req(寫數(shù)據(jù)請求)時，OV5640采集到的數(shù)據(jù)緩存至wr_FIFO中；當rd_FIFO接收到rd_req(讀數(shù)據(jù)請求)時，rd_FIFO將緩存的數(shù)據(jù)輸出至LCD顯示。

    由于3D視頻圖像數(shù)據(jù)量大、傳輸速度高、像素級同步的要求，為了保證數(shù)據(jù)的有效處理，設(shè)計了SDRAM控制模塊，運用了輪序法對SDRAM進行分時操作^[4]。當SDRAM進行寫操作時，數(shù)據(jù)首先寫入BANK0，寫完一幀圖像數(shù)據(jù)后，切換為BANK3；當SDRAM進行讀操作時采用相同邏輯，切換BANK。根據(jù)以上邏輯，將輪序法操作SDRAM算法封裝成SDRAM控制器，使得圖像數(shù)據(jù)在SDRAM中的緩存更為簡化和高效。左圖像傳感器的數(shù)據(jù)緩存操作流程如圖4所示。

3 圖像儲存

    SD卡具有尺寸小、功耗低、讀取速度快等優(yōu)點，所以在便攜式儲存領(lǐng)域應(yīng)用廣泛^[5]。SPI以主從方式工作，系統(tǒng)采用SPI模式實現(xiàn)SD卡與FPGA的通信，由SPI_CLK(時鐘信號)、SPI_MISO(主機輸入從機輸出)、SPI_MOSI(主機輸出從機輸入)、SPI_CSN(片選信號)組成。

    分辨率為2 048×768的左右立體對圖像以BMP格式儲存在SD卡中，分為三個過程：立體對圖像數(shù)據(jù)轉(zhuǎn)化為BMP圖像數(shù)據(jù)格式；SD卡初始化；SD卡寫操作控制^[6]。3D圖像傳感器采集的圖像數(shù)據(jù)為RGB565，SD卡則以真彩色RGB888格式進行儲存，所以需RGB565轉(zhuǎn)RGB888操作，有兩種方案選擇，一是采取低位補零方法，二是RGB565數(shù)據(jù)向高位移位后低位補原數(shù)據(jù)的高位，系統(tǒng)對兩個方案都進行了實驗，觀看效果一致。SD卡的初始化按照SD卡的初始化流程實現(xiàn)。采用FAT16文件系統(tǒng)對SD卡進行扇區(qū)管理，以便立體對圖像數(shù)據(jù)的正確寫入，使用Verilog_HDL（硬件描述語言）將FAT表、根目錄及54 B的BMP文件信息寫入SD卡對應(yīng)的物理地址。在左右數(shù)據(jù)通道的控制下，將左右圖像數(shù)據(jù)寫入SD卡的數(shù)據(jù)區(qū)，左數(shù)據(jù)通道選通時序圖如圖5所示，右數(shù)據(jù)通道選通時序關(guān)系同理。

4 圖像顯示

    采用8英寸裸眼3D顯示屏對采集到的圖像進行顯示，該裸眼3D顯示屏能兼容2D和3D顯示，所以分別設(shè)計了左右立體對顯示和像素重配后的3D顯示兩種邏輯算法。系統(tǒng)采用LCD的驅(qū)動模式為DE模式，DE信號相當于行場兩個同步信號的復(fù)合信號，通過h_cnt和v_cnt兩個計數(shù)器控制DE_h和DE_v兩個同步信號，邏輯為DE=DE_h&DE_v，當DE為高電平時，LCD顯示接收到的圖像數(shù)據(jù)。

    2D顯示時，將具有一定視差的左右立體對圖像映射至LCD，根據(jù)時序標準，切換左、右數(shù)據(jù)選通信號，使得左、右圖像數(shù)據(jù)按行傳輸至LCD上顯示。硬件上設(shè)計了VGA接口和LCD接口，分別將立體對圖像映射至液晶電視和LCD上顯示，兩者映射原理相同，只是時序不同，左右立體對圖像映射至LCD的示意圖如圖6所示。

    3D顯示時，將左、右圖像數(shù)據(jù)分別映射至裸眼3D顯示屏左、右眼亞屏幕^[7]，即左圖像數(shù)據(jù)映射在屏幕的奇列像素上，右圖像數(shù)據(jù)映射在屏幕的偶列像素上，將左右圖像數(shù)據(jù)進行行壓縮邏輯設(shè)計，按照時鐘頻率交替寫入LCD中，完成像素重配。裸眼3D顯示屏在結(jié)構(gòu)上和普通2D顯示屏有很大的不同，觀看角度上也存在差異。當人眼處于獨立視區(qū)時，左右眼能獨立地看到左右亞屏幕上的圖像，通過大腦視覺中樞融合形成裸眼3D效果[8]。當人眼處于非獨立視區(qū)時，左右眼分別能看到左右亞屏幕上的圖像，此時形成重影而影響觀看效果。左右立體對圖像像素重配后映射至LCD的示意圖如圖7所示。

5 仿真分析及實驗

    OV5640采集8 bit的圖像數(shù)據(jù)在SDRAM緩存過程中需轉(zhuǎn)換為RGB565格式的16 bit數(shù)據(jù)，使用嵌入式邏輯分析儀Signal-tapII對該轉(zhuǎn)換進行仿真分析，仿真波形如圖8所示，通過觀察信號的值可驗證該邏輯設(shè)計正確。對像素重配后在裸眼3D屏上顯示的圖像數(shù)據(jù)進行仿真分析，其波形如圖9所示，通過在線仿真可看出3D顯示時的圖像數(shù)據(jù)和左右圖像傳感器獲取的圖像數(shù)據(jù)嚴格一致。

    系統(tǒng)使用了液晶電視和裸眼3D顯示屏進行了實驗，準確穩(wěn)定地將采集到的高清立體對圖像輸入并顯示。3D圖像傳感器將立體對圖像像素重配后輸入至裸眼3D顯示屏顯示，效果良好。實驗結(jié)果表明，設(shè)計的3D圖像傳感器及其邏輯算法能對3D圖像進行完整的采集、傳輸、儲存、顯示，驗證了系統(tǒng)硬件邏輯算法的正確性。

6 結(jié)論

    便攜式3D拍攝設(shè)備具有廣闊的發(fā)展前景，根據(jù)人眼立體視覺仿生原理設(shè)計的3D圖像傳感器利用了FPGA高速并行處理的優(yōu)勢，使得硬件構(gòu)架上更為集成化，解決了3D視頻圖像來源、儲存和像素重配等問題。系統(tǒng)工作穩(wěn)定，移植性好，通過修改模塊程序即可支持不同的圖像傳感器和顯示器，支持2D和3D顯示，具有較好的兼容性。

    3D圖像傳感器提供了3D圖像獲取的手段，使用者可隨時隨地記錄3D場景，可在裸眼3D設(shè)備上復(fù)現(xiàn)三維場景，獲得臨場感和沉浸感。3D圖像傳感器的研制為3D圖像傳感器的專用集成電路設(shè)計提供了有益的參考。

參考文獻

[1] “十三五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃(全文)[J].中國戰(zhàn)略新興產(chǎn)業(yè)，2017(1)：57-81.

[2] 梁發(fā)云，何輝，施建盛，等.基于FPGA的視頻信號采集技術(shù)研究[J].電視技術(shù)，2014，38(7)：54-57.

[3] Omini Vision.OV5640 datasheet[Z].2011.

[4] 戚翔宇.3D傳感器左右視頻合成技術(shù)研究[D].南昌：南昌大學，2016.

[5] 劉敏，梁發(fā)云，王興鵬.裸眼3D系統(tǒng)SD卡FPGA讀取顯示研究[J].電視技術(shù)，2015，39(9)：40-43.

[6] 陳輝.高清3D傳感器數(shù)據(jù)處理技術(shù)研究[D].南昌：南昌大學，2017.

[7] Liang Fayun，Cheng Jie，Tie Zhicheng，et al.Dynamical assembly for naked-eye-stereoscopic LCD screen[J].Advanced Materials Research，2011，403-408(11)：3095-3098.

[8] 梁發(fā)云，鄧善熙，楊永躍.自由立體顯示器的視覺特性測量與研究[J].儀器儀表學報，2006，27(10)：1350-1353.