傳統(tǒng)的控制器設(shè)計(jì)方法是基于被控對(duì)象的數(shù)學(xué)模型而進(jìn)行的，而對(duì)于一些復(fù)雜未知系統(tǒng)，被控系統(tǒng)往往難于或不能得到其精確數(shù)學(xué)模型，此時(shí)需要借助于智能控制的思想來(lái)解決系統(tǒng)控制問(wèn)題。在解決未知對(duì)象的控制器設(shè)計(jì)問(wèn)題上，已有研究人員采用神經(jīng)網(wǎng)絡(luò)技術(shù)，根據(jù)環(huán)境的變化而設(shè)計(jì)控制器，如Hoskins[1]等的大時(shí)滯化工系統(tǒng)最優(yōu)控制器，ASADA M[2]等的機(jī)器人射門控制系統(tǒng)，LIN C J[3-5] 和CARPENTER G A[6-7]的模糊神經(jīng)網(wǎng)絡(luò)控制器自學(xué)習(xí)方法等。
　然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)再勵(lì)學(xué)習(xí)方法多采用預(yù)先確定結(jié)構(gòu)的BP網(wǎng)絡(luò)進(jìn)行在線學(xué)習(xí)，且學(xué)習(xí)一般針對(duì)單個(gè)目標(biāo)而進(jìn)行，對(duì)具有多性能指標(biāo)的系統(tǒng)則不能兼顧各方面性能。為了使被控系統(tǒng)具有最佳性能，提出一種再勵(lì)學(xué)習(xí)方法，它針對(duì)被控系統(tǒng)的多個(gè)性能指標(biāo)，將遺傳算法和適應(yīng)性權(quán)重法相結(jié)合，在遺傳算法進(jìn)化神經(jīng)網(wǎng)絡(luò)過(guò)程中，利用適應(yīng)性權(quán)重法構(gòu)造綜合適應(yīng)度函數(shù)以確定學(xué)習(xí)方向，遺傳算法按照此學(xué)習(xí)方向執(zhí)行進(jìn)化操作，從而設(shè)計(jì)出兼顧多性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)控制器。
1 多指標(biāo)控制器自設(shè)計(jì)方法
　本文提出的基于神經(jīng)網(wǎng)絡(luò)的未知對(duì)象控制器自設(shè)計(jì)方法原理如圖1所示，算法首先根據(jù)被控對(duì)象的輸出評(píng)估各項(xiàng)性能指標(biāo)值，以此性能指標(biāo)值作為進(jìn)化算法的適應(yīng)度。在遺傳算法每代進(jìn)化結(jié)束時(shí)，利用適應(yīng)性權(quán)重法根據(jù)種群中各個(gè)體的各項(xiàng)指標(biāo)值構(gòu)建綜合適應(yīng)度函數(shù)，遺傳算法根據(jù)綜合適應(yīng)度函數(shù)的變化進(jìn)行全局搜索以設(shè)計(jì)未知對(duì)象的最優(yōu)控制器，保證被控對(duì)象的各項(xiàng)性能指標(biāo)綜合最優(yōu)。          
　算法包括指標(biāo)評(píng)估、神經(jīng)網(wǎng)絡(luò)初始化設(shè)計(jì)、并行遺傳算法設(shè)計(jì)、適應(yīng)性權(quán)重計(jì)算四部分，以下分別介紹各部分設(shè)計(jì)規(guī)則。
1.1 指標(biāo)評(píng)估

1.2 神經(jīng)網(wǎng)絡(luò)初始化
    為了實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的完全自主化，本文采用一種全自主設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，包括網(wǎng)絡(luò)連接和傳遞函數(shù)的自主設(shè)計(jì)，其結(jié)構(gòu)圖如圖2 所示。首先，在這種全連接的網(wǎng)絡(luò)結(jié)構(gòu)中，每一個(gè)神經(jīng)元之間都是互相連接，而且每個(gè)神經(jīng)元的輸出都作為同一隱層單元其他神經(jīng)元的輸入，如果用矩陣out1、out2…outn來(lái)表示每一層的網(wǎng)絡(luò)輸出，每層之間的連接權(quán)重用矩陣wij來(lái)表示，每層的反饋與該層的連接權(quán)重為矩陣feed_wi，則第m層的網(wǎng)絡(luò)在k時(shí)刻的輸出可以表示為：

 
    這里矩陣trans_wi將第i層每個(gè)神經(jīng)元輸出的傳遞函數(shù)進(jìn)行加權(quán)組合，因此整個(gè)網(wǎng)絡(luò)控制器的輸出取決于wij、feed_wi、biasi、trans_wi等因素。算法根據(jù)各項(xiàng)適應(yīng)度函數(shù)的變化來(lái)增加網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)。如果各項(xiàng)指標(biāo)最佳值變化很小且指標(biāo)很差，則增加網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)，繼續(xù)進(jìn)化以搜索最佳結(jié)構(gòu)。
1.3 并行遺傳算法
    針對(duì)多指標(biāo)的進(jìn)化，為了提高遺傳算法的收斂速度，本文采用并行搜索方法[8]，按照各項(xiàng)指標(biāo)和綜合適應(yīng)度函數(shù)對(duì)系統(tǒng)進(jìn)行并行進(jìn)化。另外，為了提高算法收斂速度，本文還采用了精英遷移法[9]分別從各項(xiàng)指標(biāo)中選擇優(yōu)秀個(gè)體進(jìn)行遺傳操作，如圖3所示。各項(xiàng)單指標(biāo)之間的混合交叉、變異如同瓜果嫁接原理，可以很好地利用優(yōu)秀基因的組合功能實(shí)現(xiàn)個(gè)體的進(jìn)化，從而起到加快收斂速度和避免陷入局部極小的作用。

1.4 適應(yīng)性權(quán)重計(jì)算
    按照式（2）進(jìn)行綜合適應(yīng)度計(jì)算時(shí)，由于各項(xiàng)性能指標(biāo)數(shù)量級(jí)之間存在差異，不能直接進(jìn)行相加，必須先進(jìn)行歸一化處理。適應(yīng)性權(quán)重計(jì)算法按照歸一化的思想，根據(jù)各項(xiàng)指標(biāo)的數(shù)據(jù)按照下式計(jì)算指標(biāo)權(quán)重[10]。

2 仿真實(shí)驗(yàn)與結(jié)果分析
2.1 被控對(duì)象簡(jiǎn)介
    為了驗(yàn)證本文提出的控制器自設(shè)計(jì)方法的有效性，本文對(duì)基于矢量控制的異步電機(jī)調(diào)速系統(tǒng)進(jìn)行控制器設(shè)計(jì)，在進(jìn)化算法的搜索作用下利用神經(jīng)元自主組合構(gòu)建速度環(huán)控制器，以實(shí)現(xiàn)精確的速度控制。
　控制器自主設(shè)計(jì)在電機(jī)調(diào)速系統(tǒng)中應(yīng)用的原理如圖4所示。交流電機(jī)數(shù)學(xué)模型具有高階非線性特點(diǎn)，為實(shí)現(xiàn)交流電機(jī)的高性能控制，一般借助于交流電機(jī)矢量控制理論[11]將其分解為類似直流電機(jī)的勵(lì)磁調(diào)節(jié)子系統(tǒng)和速度調(diào)節(jié)子系統(tǒng)兩部分，以分別進(jìn)行控制。這里，在速度調(diào)節(jié)子系統(tǒng)中利用神經(jīng)元構(gòu)建速度環(huán)控制器，圖4虛線框中為自設(shè)計(jì)速度控制器，進(jìn)化算法根據(jù)系統(tǒng)的性能指標(biāo)來(lái)在線逐步進(jìn)化神經(jīng)網(wǎng)絡(luò)控制器的權(quán)值、閾值、傳遞函數(shù)，通過(guò)全局搜索得到最優(yōu)控制器以保證未知參數(shù)的交流電機(jī)穩(wěn)定運(yùn)行。

   調(diào)速系統(tǒng)中速度的穩(wěn)定性和快速性是評(píng)估系統(tǒng)好壞的重要指標(biāo)，因此本文選擇如下指標(biāo)來(lái)評(píng)估系統(tǒng)的性能優(yōu)劣：
   
其中e(t)是速度誤差，ce(t)按照式(8)計(jì)算:
   
式(7)中f1用來(lái)評(píng)估速度的誤差，f2評(píng)估速度響應(yīng)的快速性，f3在f1的基礎(chǔ)上評(píng)估系統(tǒng)的速度靜差。按照此三項(xiàng)指標(biāo)對(duì)系統(tǒng)進(jìn)行控制器自設(shè)計(jì)，能使調(diào)速系統(tǒng)具有良好的快速性與穩(wěn)定性。
2.2 仿真試驗(yàn)
   按照上節(jié)提出的再勵(lì)學(xué)習(xí)算法,本文對(duì)交流電機(jī)調(diào)速系統(tǒng)速度控制器自設(shè)計(jì)進(jìn)行仿真試驗(yàn)，利用MATLAB軟件中simulink工具箱建立交流電機(jī)矢量控制仿真平臺(tái)，仿真實(shí)驗(yàn)中電機(jī)參數(shù)為：勵(lì)磁電感Lm=0.102 4 H，轉(zhuǎn)子電感Lr=0.108 8 H，定子電感Ls=0.1 063 H，轉(zhuǎn)子電阻Rr=0.531 Ω，定子電阻Rs=0.813 Ω，轉(zhuǎn)動(dòng)慣量J=0.02 kgm2，額定功率Pn=5.5 kW。具體的仿真算法實(shí)施步驟如下：
　(1)根據(jù)神經(jīng)元個(gè)數(shù)及其層數(shù)建立wij、feed_wi、biasi、trans_wi等矩陣，按照整數(shù)型編碼方式將以上變量組建染色體個(gè)體，隨機(jī)產(chǎn)生40組個(gè)體，形成染色體種群；
　(2)設(shè)置交叉概率Pc=0.8，變異概率Pm=0.01，采樣時(shí)間T=0.001 s，將式(7)設(shè)置為各項(xiàng)指標(biāo)適應(yīng)度函數(shù)，個(gè)體作用時(shí)間為500個(gè)采樣點(diǎn)，采用輪盤賭選擇法，停機(jī)條件為綜合適應(yīng)度函數(shù)最佳值變化率小于0.01；
　(3)將40個(gè)染色體個(gè)體分別代換神經(jīng)網(wǎng)絡(luò)控制器的參數(shù)進(jìn)行電機(jī)速度控制，每一個(gè)體作用時(shí)間為0.5 s，在每一代個(gè)體作用于電機(jī)測(cè)試結(jié)束之后，利用適應(yīng)性權(quán)重法計(jì)算個(gè)體的綜合適應(yīng)度值，再對(duì)各項(xiàng)指標(biāo)分別排序；
　(4)利用輪盤賭法分別選擇各單項(xiàng)指標(biāo)和綜合指標(biāo)的2個(gè)最優(yōu)個(gè)體，將三組單指標(biāo)最優(yōu)個(gè)體相互混合進(jìn)行交叉、變異操作，綜合指標(biāo)最優(yōu)2個(gè)體間進(jìn)行交叉、變異操作，四項(xiàng)指標(biāo)共產(chǎn)生8個(gè)子代個(gè)體；
　(5)將步驟(4)生成的子個(gè)體替換種群中適應(yīng)度最低的8個(gè)個(gè)體，形成新的種群；
　(6)判斷最佳綜合適應(yīng)度是否滿足停止進(jìn)化的條件，如果滿足則執(zhí)行步驟7，否則執(zhí)行步驟3；
　(7)將綜合指標(biāo)最佳的個(gè)體對(duì)應(yīng)的數(shù)值代換到神經(jīng)網(wǎng)絡(luò)控制器中，使調(diào)速系統(tǒng)穩(wěn)定運(yùn)行。
　經(jīng)過(guò)70代的進(jìn)化計(jì)算，進(jìn)化算法搜索到了能夠保證電機(jī)穩(wěn)定運(yùn)行的神經(jīng)網(wǎng)絡(luò)控制器結(jié)構(gòu)與參數(shù)，實(shí)驗(yàn)得到的進(jìn)化過(guò)程速度變化曲線如圖5(a)所示，最佳適應(yīng)度值變化曲線如圖5(b)所示。

　進(jìn)化結(jié)束后,對(duì)自設(shè)計(jì)的最優(yōu)控制器進(jìn)行性能測(cè)試，測(cè)試中在0.5 s時(shí)速度給定從0變?yōu)? 000 r/min，觀測(cè)調(diào)速系統(tǒng)的動(dòng)態(tài)和靜態(tài)性能。另外，以穩(wěn)定性作為單指標(biāo)設(shè)計(jì)調(diào)速系統(tǒng)速度控制器，得到的結(jié)果也進(jìn)行上述測(cè)試，兩種控制器動(dòng)靜態(tài)響應(yīng)曲線如圖6所示。

　由以上仿真結(jié)果可知，進(jìn)化算法通過(guò)全局搜索，在測(cè)試各種控制性能不同的網(wǎng)絡(luò)結(jié)構(gòu)后，最終獲得了滿足電機(jī)穩(wěn)定運(yùn)行的速度控制器。由于進(jìn)化目標(biāo)不同，最終獲得的控制器性能也具有很大差異。由于本文考慮了動(dòng)態(tài)性能和靜態(tài)性能等多個(gè)指標(biāo)，獲得的控制器比按單指標(biāo)設(shè)計(jì)的控制器能更好地保證系統(tǒng)的動(dòng)靜態(tài)性能。由于穩(wěn)定性單指標(biāo)沒有考慮快速性問(wèn)題，獲得的控制器雖然能夠保證系統(tǒng)穩(wěn)定，但是快速性卻很差。
    本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的多性能指標(biāo)系統(tǒng)的控制器設(shè)計(jì)方法，利用適應(yīng)性權(quán)重法和遺傳算法相結(jié)合，遺傳算法按照適應(yīng)性權(quán)重法確定的進(jìn)化方向進(jìn)行遺傳操作以設(shè)計(jì)兼顧各項(xiàng)性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)控制器。將該算法應(yīng)用于交流電機(jī)矢量控制系統(tǒng)速度控制器自設(shè)計(jì)中，仿真實(shí)驗(yàn)驗(yàn)證了本文提出的控制器自設(shè)計(jì)方法的可行性。基于神經(jīng)網(wǎng)絡(luò)的控制器自設(shè)計(jì)方法能夠增強(qiáng)系統(tǒng)的環(huán)境適應(yīng)能力，特別適合太空探測(cè)器等人類不易維修、設(shè)備環(huán)境和故障無(wú)法預(yù)料的復(fù)雜系統(tǒng)容錯(cuò)控制，具有十分重要的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] HOSKINS J C. Process control via ANN and RL[J].Computers & Chemical Engineering, 1992(16):241-251.
[2] ASADA M. Purposive behavior acquisition for a real robot by vision-based RL[J].Machine Learning. 1996(22):163-187.
[3] LIN C J. Reinforcement learning for an ART-Based fuzzy adaptive learning control network[J]. IEEE Trans NN,1996(7):709-730.
[4] LIN C J. An ART-based fuzzy adaptive learning control network[J]. Proc IEEE Intconf on Fuzzy systems,1994:1-6.
[5] LIN C J. Reinforcement structure/parameter learning for NN-based fuzzy logic control systems[J].IEEE Trans Fuzzy systems, 1994(2):46-63.
[6] CARPENTER G A. Fuzzy ART: Fast stable learning and categorization of analog patterns[J].Neural Network, 1991(2):759-771.
[7] CARPENTER G A.Fuzzy ARTMAP[J]. IEEE Trans NN.1992(3):698-712.
[8] QIN Yong Fa, ZHAO Ming Yang. Research on a new multiobjective combinatorial optimization algorithm. Proceedings of the 2004 IEEE International Conference on Robotics and Biomimetics, 2004:187-191.
[9] 祁榮賓，錢鋒，杜文莉等. 基于精英選擇和個(gè)體遷移的多目標(biāo)遺傳算法. 控制與決策, 2007,22(2):164-168.
[10] MITSUO G, CHEN Run Wei.Genetic algorithms and engineering optimization. Beijing, Tsinghua University Press, 2003.
[11] BOSE B K.現(xiàn)代電力電子學(xué)與交流傳動(dòng)[M].王聰,趙金,于慶廣,等譯.北京：機(jī)械工業(yè)出版社，2005.