該系統可廣泛地應用于實際測試圖像的后期處理和檢測跟蹤算法的實際性能考核，具有極大的試驗和測試功能。實時紅外圖像處理系統由三部分組成：
（1） 紅外成像儀
紅外成像儀采用法國SOFTDIR生產的紅外頭部以及美國CEDIP公司生產的后續處理板卡組成。紅外攝像儀具有兩個輸出端口和一個RS232控制端口。一個輸出端口為模擬的視頻輸出端口，可以使用監視器進行圖像的實時觀察。另一個輸出端口是RS422平衡式差分數字信號輸出端口。RS232串行控制端口用來控制攝像頭的性能參數，如：調節數字圖像的輸出速率（25幀/秒、50幀/秒和100幀/秒可選）、圖像的積分時間以及校正圖像以達到最佳的成像效果。
(2) 圖像的接收和處理模塊
紅外圖像的接收和處理板卡及芯片采用英國HUNT公司生產的板卡HEPC9和HERON-FPGA3S以及HERON4。HEPC9是一塊母卡，作為HUNT公司各種處理板卡的載體，采用環形的HEART總線來規劃各個模塊的通訊功能，通過PCI總線與主機通訊。HERON-FPGA3S是一塊FPGA板卡，用于解析紅外攝像儀的電平信號和接收紅外圖像數據。HERON4是TIC6201DSP板卡，負責對紅外弱小目標的檢測和識別。另外還需要一個由多個MC3486組成的板卡模塊將紅外攝像儀的RS422差分信號轉換為TTL單端信號。
（3） 系統控制和顯示模塊
整個系統的控制和顯示部分由PC機完成，這里使用ADLINK公司的工控機PENTIUM Ⅲ 866，內存128MB。
2 各子模塊具體實現
2.1 Hunt Engineering 產品簡介^[8]
（1）母卡HEPC9
HEPC9是一個可以集成4個HERON模塊的主板卡，各個模塊之間的連接關系是可編程的，具體由network文件規定。母卡具有6個32bit的同步虛擬輸入FIFO，6個32bit的同步虛擬輸出FIFO，模塊之間通過這些虛擬的FIFO進行連接。虛擬FIFO是母卡中環形HEART總線的一部分,如圖2所示，通過令牌環（標志位）的設置分配數據的傳輸帶寬和時間片，這部分功能對于用戶是透明的。每個FIFO的同步時鐘可以達到60M～100MHz，使FIFO的輸入輸出速度可以達到4×100MBps。

?

（2）HERON-FPGA3S
HERON-FPGA3S可編程邏輯芯片在系統中用于接收紅外攝像儀圖像數據，并具有存儲功能。具有200K門，最大時鐘頻率可達180MHz，I/O帶寬達400MBps。
（3）HERON4-DSPC6201
這是一塊基于TI公司TIC6201DSP的HERON系列的板卡，具有200MHz主頻的16位定點DSP，采用哈佛結構，具有64KB的片內程序存儲器PROM和64KB的片內數據存儲器IDRAM。HERON4－DSP板卡增加了512KB的片外突發存儲器SBSRAM和16MB的片外動態數據存儲器SDRAM。DSP具有八條流水線，可以使指令并行執行，這對于大數據量的圖像處理非常重要。
2.2 系統的邏輯構成
實時紅外圖像處理系統在邏輯上要完成一個完整的數據傳輸、處理、顯示過程。其邏輯構成如圖3所示。

?

母卡通過編寫network文件下載到母卡的存儲器中，修改特定的標志寄存器，實現拓撲連接方式。這里的兩片DSP采用流水線處理方式，即兩者協同完成同一圖像處理工作的先后兩部分，以提高處理速度。在一些情況下，也可以將兩塊DSP描采取并行處理的方式，即兩塊DSP同時處理不同的數據。
（1）FPGA圖像數據的采集模塊
紅外攝像儀的邏輯時序如圖4所示。圖中：幀控信號FRAME高電平有效，在FRAME信號上升沿后出現第一幀數據時鐘；行控信號LINE_VALID上升沿有效，在其上升沿后每行數據有效，則時鐘信號CLOCK上升沿像素信息有效；數據信號PIXEL_DATA共有14對數據線，產生14位數據，每行有320個時鐘，每幀有240行，一幀總共具有320×240＝76 800個14bit的有效像素信息。

（2） DSP數字圖像處理模塊
這是整個系統的核心模塊，其功能是利用采集到的圖像數據進行數字圖像的處理。
利用HUNT公司的嵌入式模塊“Create New HREON－API project”，可以建立一個完整的基于以上硬件結構的系統程序框架。該軟件框架基于TIDSP的DSP/BIOS結構，是一種小型的嵌入式實時操作系統，可以對DSP系統的各種資源（如內存、信號量等）進行規劃管理。本系統中DSP圖像處理模塊的整體框圖如圖5所示。

?

通過FPGA上的標志寄存器協調DSP和FPGA之間的通訊，在準備接收圖像數據之前，清空接收FIFO，然后通過串口HSB使能FPGA的發送允許標志位通知FPGA發送數據。在接收圖像到幀存之后，同樣通過HSB設置這個標志使FPGA停止發送。
（3）主機控制顯示模塊
這部分是運行于PC機上的程序。其作用是完成整個系統的控制模塊和顯示模塊功能。
紅外攝像儀所拍攝的數字圖像具有14位的像素精度，雖然是有利于圖像處理精度，但由于無法在一般的顯卡上顯示超過256級灰度的灰度圖像，因此有必要采用先灰度均衡再線性映射的方法，將14位的高精度圖像壓縮為8位的灰度圖來顯示，以達到人機界面顯示的功能。
3 弱小目標檢測跟蹤及在DSP上的實現
紅外序列圖像中運動的弱小目標的檢測算法包括形態學濾波和能量特征匹配兩部分，即基于能量特征的弱小目標檢測方法。同時還包括利用數據關聯進行多幀積累實現的序列圖像跟蹤，從而實現了對低信噪比的復雜序列圖像的實時、有效的檢測和跟蹤^[4]。
在實時紅外圖像處理系統中，由于圖像數據量大，數據間相關性高，需要滿足嚴格的實時性要求，因此需要對圖像處理算法及程序進行基于數字信號處理器（DSP)的優化編程，從而大大提高算法的運行速度，來滿足系統的實時性能。TI公司的C6x系列DSP^[5]，具有很高的運算速度和良好的優化結構，完全可以滿足圖像的實時處理要求。
3.1 算法結構的優化
算法結構的優化方法針對具體的處理算法具有特殊性，這部分的優化與DSP的結構沒有關系，優化的目的是使算法本身具有良好的時間空間復雜度和簡單的邏輯結構。如在圖像處理中，通常要實現一個NX-N的二維數字濾波。在不做任何優化的情況下，得到一個結果要進行N2＋l次內存讀寫，內存操作耗時長，需要占用專用的功能單元，因而成為功能提高的瓶頸。因此通常對該二維模板進行線形化，即先對源圖進行一個N×1的一維濾波，再對中間結果圖也進行N×1的一維濾波，從而得到最終的結果圖。這樣只需要進行 2(N+1)次內存讀寫操作就可以得到一個結果。當N比較大時（如11×11高斯平滑），程序的性能有明顯提高。
3.2 DSP程序的結構優化
DSP的內部結構具有特殊性，如果程序的編寫能夠在一定程度上與DSP的結構相適應，利用C編譯器的優化功能就可以在程序級的基礎上大大提高算法的性能[4～8]。具體如下：
?(1) 盡量使用int 類型中間變量
在圖像處理程序中，數據通常為8bit的變量，而C6XDSP的內部寄存器和數據通道為32bit，在圖像處理的濾波、卷積等過程中，需要較多的中間變量，如果采用8bit的中間變量存儲方式，勢必迫使編譯器使用額外的數據調整指令，因此采用32bit的中間變量具有最好的效率。
?(2) 使用移位代替除法運算
①DSP中的移位運算具有硬件支持，由一條指令完成，而除法運算使用程序實現，比較復雜耗時。
②DSP的浮點運算往往采用調用子函數方法，效率低，編譯器無法進行軟件流水優化，而采用移位運算可以代替一些定值的浮點運算,如：
for(I=0;I<1000;I++)???????? ?for(I=0;I<1000;I++)
{??????????????????????? ??{
?b+=35*0.325;????????????? ?b+=((35*333)>>10);
}??????????????????????? ??}
以上兩條程序完成同樣的功能，但是第一條含有浮點數的乘法，運行時間為222 775;第二條只有定點數的乘法和移位運算,運行時間僅為881，可見效率差距非常大。
?(3) 使用C6x內聯函數
C6x編譯器內部提供了許多指令，可以在單周期內完成許多復雜的函數功能，從而提高了代碼的運行速度。如:
?“飽和加法”：
int sadd(int a, int b)
{
int result;
result = a + b;
if (((a ^ b) & 0x80000000) == 0)
{
if ((result ^ a) & 0x80000000)
{
result = (a < 0) ? 0x80000000 : 0x7fffffff;
}
}
return (result);
}
這樣一個復雜的算法可以用一條內聯函數_sadd( a,b)實現。
?(4) 使用32bit數據類型訪問16bit數據
由于C6x系列DSP具有32位的寄存器和內部通道，在操作16bit的數據如short類型時，往往浪費一半的寄存器空間和通道帶寬。為了充分利用這些資源，編譯器設置了一些內聯函數同時對兩個16bit的數據進行操作，如_add2、_sub2。
short in1[]、 short in2[] 是兩個short類型的數組，具有N項，以下是將兩者對應項相加的操作。
for (i = 0; i < (N/2); i++)
_amem4(&sum[i]) = add2(_amem4_const(&in1[i]), _amem4_const(&in2[i]));
程序中，_amem4_const、_amem4將in1、in2和sum進行了32bit的對齊操作，然后同時進行兩個short數據的加法運算和讀取存儲運算，從而提高了運算效率。
?(5) 使用restrict關鍵字消除內存關聯
為提高代碼效率,Ｃ6ｘ編譯器總是盡可能多地安排指令并行,而指令能否并行取決于指令之間的相關性。對于編譯器而言,內存讀寫指令之間是否獨立是很難判斷的,如下列程序:
void vecsum(short *sum, short *in1, short *in2, unsigned int N)
{
int i;
for (i = 0; i < N; i++)
sum[i] = in1[i] + in2[i];
}
程序中，sum的存儲對于in1、in2的讀取地址產生影響，只有等到sum存儲完畢以后，才可以再次進行in1、in2的讀取操作。這個問題叫做“別名問題”，因為sum可能和in1是一個地址，使其無法將讀取數據和寫結果的操作并行起來。
為了讓編譯器放心地將讀取源數據和寫結果數據兩者并行操作，可以利用restrict變量申明當前數組名（或指針）是指向這段內存的惟一變量，如下列程序所示：
void vecsum(short *sum, short * restrict? in1, short * restrict in2, unsigned int N)
{
int i;
for (i = 0; i < N; i++)
sum[i] = in1[i] + in2[i];
}
這樣就可以消除以上的內存相關性，提高流水線效率。
?(6) 軟件流水優化
在程序的優化中，循環部分往往是最耗時的步驟，軟件流水就是一種用來優化循環步驟的，使其循環內部的指令盡可能地并行執行。在C6201編譯器中選擇-o2或者-o3開關就可以打開編譯器的軟件流水優化功能。
形成軟件流水的有效方法：在編譯器選項中選定了-o2或者-o3選項，編譯器就可以自動作出軟件流水的優化。形成高效的軟件流水，可以使用MUST_ITERATE給定循環變量信息和循環展開。形成軟件流水應避免：①軟件流水優化只在最內層循環進行。②循環體內部代碼太多。③循環體內部代碼太復雜。
在定點DSP中，浮點數的運算都是用子函數軟件實現的，所以在定點DSP的程序循環中，如果由浮點數運算，就無法形成軟件流水。解決的方法是手工進行浮點數的定標工作。對于已經確定操作數的浮點運算，如果運算結果可以是整數，就可以使用乘法加移位的方法實現乘除運算。如35×0.25可以轉化成(35×1)>>2。
4 系統測試
本實驗采用法國Sofradir中波熱成像儀采集到的320×240像素6733幀8位真實紅外對空序列圖像，截取其中的100幀數據驗證能量匹配濾波檢測與數據關聯跟蹤算法的適用性。由于目標很遠，此時的信噪比小于2，屬于典型的強雜波環境下的弱小目標檢測問題。實拍紅外圖像的顯示如圖6所示。

?