摘 要： 通過借鑒嵌入式系統在信號處理、電子技術和計算機等領域的成功應用經驗，在分析機器視覺系統特點的基礎上，將機器視覺和嵌入式技術相結合，設計一種基于嵌入式處理器S3C2410的目標跟蹤系統。介紹了系統工作原理和特點，給出了系統硬件結構圖和軟件流程，并以智能小車為例進行了目標的識別與跟蹤。
關鍵詞： 嵌入式系統；機器視覺；目標跟蹤；S3C2410
?
機器視覺是目前智能機器人領域中的研究熱點之一，涉及光電子學、圖像處理、模式識別及計算機技術等諸多學科領域，內容極為廣泛。機器視覺中圖像處理與目標識別的特點是處理數據量大、計算復雜，對算法的實時性和精度要求高。
目前機器視覺處理平臺主要有PC-BASED系統、PLC-BASED系統和FPGA系統。前兩種系統體積大、軟硬件系統復雜、成本高，使其應用范圍受到了限制。后者使用硬件描述語言，算法開發難度大。DSP芯片具有專門的硬件乘法器，可實現單周期乘法與累加運算，具有價格低、速度快等特點，但其I/O接口功能較弱。32位ARM處理器處理能力已接近早期PC機的水平，且具有PC機無法比擬的體積小、價格廉、功耗低、性能強、可靠性高等特點。與DSP相比，其外圍接口更加豐富，能夠真正地“嵌入”到設備中，而且開放的體系結構也保證系統能夠快速升級和更新。本文將機器視覺和嵌入式技術相結合，將機器視覺建立在基于ARM的嵌入式系統平臺上，設計一種基于S3C2410的運動目標跟蹤系統，為開展微型化嵌入式機器視覺研究進行有益的嘗試。
1 系統總體結構與硬件設計方案
系統總體結構如圖1所示。在S3C2410嵌入式系統平臺上移植并配置Linux操作系統，針對平臺和應用的特點，制作合適的文件系統，編寫應用程序。運動目標經USB攝像頭實時采集后，送入S3C2410處理器，利用嵌入式處理器的強大運算能力，對采集到的圖像進行圖像分割、特征提取、形心計算等后期處理，完成目標識別與定位，并控制步進電機，調整攝像頭位姿，使攝像頭對準運動目標，實現跟蹤。實時性好和體積小巧是本嵌入式跟蹤系統追求的目標。
基于ARM體系結構的32位微控制器S3C2410芯片，主頻可達200 MHz。它提供了豐富的片內資源：分開的16 KB指令Cache和16 KB數據Cache、MMU虛擬存儲器管理、LCD控制器、支持NAND Flash系統引導、系統管理器、3通道UART、4通道DMA、4通道PWM定時器、I/O端口、8通道10位ADC和觸摸屏接口、IIC-BUS S3C2410接口、USB主機、USB設備、SD主卡和MMC卡接口等。集高速處理、資源豐富與強大的控制功能于一體，操作系統的配備更是普通DSP和MCU無法比擬的。嵌入式操作系統不僅具備一般操作系統最基本的功能，如任務調度、同步機制、中斷處理、文件功能等，還具有可裁剪性、實時性、高可靠性、可移植性等特點。Linux操作系統的開源性方便外部設備驅動程序的編寫，且開發成本低，現已成為主流的嵌入式操作系統。USB攝像頭使用的電源可以直接從USB主板上獲取，無需額外電源，增加了設備的便攜性且數據傳遞遠快于普通的串口和并口，其價格也大大低于市場上通用的高速圖像采集裝置。
綜上所述，本系統采用了將Linux移植到ARM系統的方法，使用USB攝像頭作為圖像采集方式。ARM最小系統由一個核心母版和外部電路構成。核心母板包括SDRM、CPU、核心板接口等。外部電路主要有電源(主板5 V，I/O 3.3 V，CPU內核1.8 V)、LCD、USB接口和電機驅動電路等。Linux自帶使用OV511采集芯片的攝像頭驅動，市場上大部分CMOS攝像頭采用中芯微電子公司ZC301P芯片，后者內置DSP硬件編解碼器，采集延時大大縮短。
2 系統軟件設計
基于嵌入式Linux的應用已經遍布很多領域，如移動多媒體設備、手持設備、車載導航系統、機械控制等。它支持多種CPU，包括沒有使用MMU的平臺。Linux原本是桌面和服務器市場上比較成功的操作系統，由于其免費、開放源碼以及良好的代碼風格和結構，使它在很短的時間內被移植到各種嵌入式系統中。系統采用Linux操作系統，不但提高了系統的可靠性和開發效率，并且充分發揮了32位CPU的多任務潛力。Linux操作系統的配置包括引導程序、內核和文件系統三個方面。引導程序是操作系統運行之前的一段程序，用來完成初始化設備、建立內存空間的映射圖，為操作系統內核準備正確的環境。操作系統采用Linux 2.4.18內核，開發模式采用宿主開發模式，在宿主機上編譯內核及應用程序，然后通過網口下載到目標平臺運行，通過超級終端調試信息。文件系統負責存儲系統配置文件，系統外設驅動程序。在操作系統配置完成后，主要工作是編寫驅動程序和應用程序。
2.1 攝像頭驅動程序
驅動程序是應用程序與硬件之間的一個中間軟件層，在Linux中對設備驅動的訪問也是以文件操作的方式實現。Video4linux是Linux中視頻設備的內核驅動，只需在內核配置時靜態加載即可。攝像頭驅動加載過程為：在Linux Kernel Configuration對話框中，選擇配置Multimedia device，設置Video For Linux為Y；點擊Video For Linux，設置V4L information in proc file system為Y；回到Linux Kernel Configuration，選擇USB support，設置USB OV511 Camera support為Y，然后保存退出，重新編譯內核。ZC301攝像頭的驅動采用靜態加載的方式，具體步驟為：在/kerlnel/driver/usb下，解壓驅動，打補丁，在該目錄下新建spca5xx文件夾；編譯內核，選中SPCA5XXX，執行make dep、make zlmage、make modules命令，在/kernel/driver/usb/spca5xx中產生3個.o文件；用新內核啟動insmod的3個.o文件。
2.2 電機驅動程序
步進電機是作為字符設備進行驅動的。Linux操作系統對字符設備的操作而言，驅動程序需要提供相關的幾個操作，分別為open、read、write、ioctl等相關的函數入口點。在驅動程序的實現過程中需要定義這些文件相關的操作，填充進入file_operations結構中。ioctl提供用戶程序對設備執行特定命令的方法，如設置設備驅動程序內部參數，控制設備操作特性等操作，調用成功返回非負值。由于對步進電機驅動程序沒有相關的輸入與輸出，只需對I/O控制，驅動程序對于write操作和read操作僅需返回0，對于I/O控制在驅動程序中由ioctl函數實現。步進電機為四相步進電機，采用四相單、雙八拍控制。步進電機轉速和轉向的控制通過改變輸出端口高四位脈沖的順序和頻率實現。需要注意的是，由于用到了I/O端口，而在Linux中操作端口要用虛擬地址而非實際的物理地址，所以要修改內核代碼。具體細節可參考相關文獻[1，2]。
2.3 應用程序
系統應用程序流程如圖2所示。初始化后打開設備文件(攝像頭，LCD，電機)，查詢和確認設備性能，設置捕獲的圖像的寬和高，設置色深，建立內存映射，讀取圖像數據，對圖像進行處理，驅動電機，關閉設備。圖像采集有兩種方式：內存映射(mmap)和直接讀取設備(read)[3，4]。前者將設備文件映射到內存，繞過I/O訪問，使得讀取速度更快，但是占用更多系統資源。考慮系統實時性，這里采用內存映射方式。
?
3 目標跟蹤與控制
由于嵌入式系統對功能、成本、處理能力、體積和可靠性均有嚴格要求，因此，對運動目標的跟蹤，應根據具體的應用環境，選用合適的算法。常見的運動檢測算法有幀間差分法、背景差分法和模板匹配法等。幀間差分法和背景差分法計算簡單、實時處理效率高，但幀間差分法依賴于圖像序列的選取間隔，不適合速度變化的運動跟蹤；而背景差分法對場景變化敏感，不適合攝像頭運動的情況；板板匹配方法適應性好，但是計算量較大[5，6]。考慮攝像頭的圖像采集速度、嵌入式處理器的處理能力和運動跟蹤場合及速度等方面的要求，這里采用特征匹配的方法。處理過程主要包括運動檢測、特征提取、目標定位與攝像機控制。流程如圖3所示。
?
3.1 運動檢測
首先采用背景差分法，將當前圖像和參考背景模型相減實現運動目標檢測。采用這種方法是因為在運動物體進入監控范圍前，攝像機不會發生運動，進入監控范圍后，對差分圖像直接進行處理，能夠檢測運動目標所在區域，根據運動區域進行目標特征提取，不需要運動目標的先驗知識。常見的背景模型建立方法有兩種：一種是以圖像序列的平均值作為參考圖像；另一種是假定像素服從某種分布模型，如高斯分布，通過一段時間訓練獲得其參數并不斷更新其分布參數。這里采用第一種方法。檢測閾值T如下：
其中f(i，j)為當前圖像，g(i，j)為背景圖像，m、n為圖像的維數。當閾值大于T時認為有運動目標進入監視區域。實際環境中，受光線等因素影響，運動目標的陰影也會與運動目標一起被檢出，出現“形影不離”的現象，常導致跟蹤系統誤判。此時，可將式(1)中的前景和背景的圖像亮度值用圖像色度值取代，可有效地消除陰影的影響[7]。實際應用時取得了較好的效果。
差分運算初步檢出目標后，還需要對圖像進行處理，以方便后續的特征提取及目標識別。先對檢出的差分圖像進行分割，得到圖像的二值圖像。由于噪聲的影響，得到的二值圖像有很多的空洞和碎片，采用形態學的方法對圖像進行腐蝕膨脹，可濾除噪聲，得到較為清晰的結果。對于面積較小、不產生歧義的空洞干擾，可以不予考慮，只對面積較大的聯通區域進行標記，以減少計算量。然后標記出最大面積的連通區域，即得到運動目標的所在區域。 原始圖像、差分圖像及預處理結果如圖4所示。
?
3.2 特征提取
不變矩是廣泛應用的形狀特征之一，一些基本的二維形狀特征都與矩有直接的關系，被稱為旋轉、平移、尺度不變量。其具有穩定性好、易于實現、匹配效率高的特點。這里簡單介紹不變矩的理論。對于非負整數p和q，二維數字圖像f(x，y)在平面R2上的p+q原始矩、中心矩和歸一化中心矩的算法如下：
式中，M和N為圖像水平和垂直方向的維數，f(m，n)是圖像在點(m，n)處的灰度值，
為圖像的重心坐標，
。
利用歸一化的二階和三階中心矩組合得到圖像的7個不變矩，這7個不變矩對平移、旋轉、尺度具有一定的適應性。選用前4個不變矩作為特征向量，然后保存特征向量作為識別規則。
首先，在當前圖像的灰度圖像中，根據運動目標所在聯通區域的坐標，計算運動目標的特征向量，然后，提取運動目標的顏色信息。
3.3 目標定位與攝像機控制
提取運動目標的特征后，對新讀取的每一幀圖像轉化為灰度圖像，進行閾值分割、邊緣提取、腐蝕膨脹處理后，對各聯通單元進行標記。計算各聯通單元的特征向量，與模板特征向量匹配度最高的即為運動目標區域。這里選擇目標區域的重心定位。在復雜背景情況下，有時不能很好地提取運動目標的特征。當特征匹配失敗時，可以結合圖像的顏色信息，增加跟蹤的穩定性。然后根據重心的坐標與圖像中心坐標的位置，由步進電機調整攝像頭的位姿使攝像頭鏡頭對準目標。由重心的坐標
和圖像中心像素的坐標(X0，Y0)即可表示出運動目標偏離攝像機鏡頭中心的偏移量(x，y)，根據偏移量方向和正負，建立控制規則庫，調整電機轉動的方向、速度和攝像機位姿。攝像機位姿調整分為水平、垂直兩個方向。以水平方向為例介紹控制規則集：
If?x>=X1??then m=M1
If?x<-X1??then m=-M1
If?x>=X2??then m=M2
If?x<-X2??then m=-M2
……
If?|x|<=Xn??then m=0
其中，x表示水平方向偏移量的大小，m表示步進電機轉動的脈沖數；X1、X2、…為常數，表示偏移量劃分邊界；M1、M2、…為常數，表示電機輸出脈沖數量。相鄰兩幀的跟蹤結果如圖5所示。
本文研究了基于ARM處理器的嵌入式跟蹤系統，利用圖像信息實現運動目標跟蹤，算法簡單有效；在速度和精度兩方面作了折中，具有體積小、性價比高的特點，適合于嵌入式系統。嵌入式操作系統的植入提高了系統功能的可裁剪性和擴展性，使系統具有良好的開放性。該系統的設計方案已在仿生機器視覺系統中成功應用。
參考文獻
[1] 田澤.嵌入式系統開發與應用[M].北京：北京航空航天大學出版社，2005.
[2] 趙敏，劉振興.基于嵌入式Linux的步進電機驅動程序設計[J].微計算機信息，2008，13(051)：113-114.
[3] 孟超，張曦煌.基于嵌入式系統的圖像采集與傳輸設計[J].計算機工程與設計，2008，29(17)：4415-4416.
[4] Video4 Linux User′s Manual.http：/www.v4l.com.cn.
[5] 楊淑瑩.VC++圖像處理程序設計[M].北京：清華大學出版社，2003.
[6] 邵文珅，黃愛民，韋慶.動態場景下運動目標跟蹤方法研究[J].計算機仿真，2006，05(50)：181-184.
[7] 毛曉波，謝曉芳，張曉林.消除運動物體陰影的最大色度差分檢測法[J].電子技術應用，2007，33(1).