在線(xiàn)核學(xué)習(xí)建模算法及應(yīng)用研究.pdf

1、很多工業(yè)過(guò)程中，存在著這么一類(lèi)現(xiàn)象：一部分需要嚴(yán)格控制的、與產(chǎn)品質(zhì)量密切相關(guān)的關(guān)鍵變量無(wú)法通過(guò)傳感器在線(xiàn)測(cè)量得到，影響了后續(xù)的過(guò)程監(jiān)測(cè)、質(zhì)量控制和系統(tǒng)優(yōu)化。由于工業(yè)過(guò)程具有的機(jī)理復(fù)雜、非線(xiàn)性和時(shí)變特性強(qiáng)等特性，基于數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量建模方法受到了廣泛關(guān)注。相關(guān)研究表明：以支持向量回歸(Support Vector Regression，SVR)和最小二乘支持向量回歸(Least Squares SVR，LSSVR)為代表的核學(xué)習(xí)(Kern

2、el Learning，KL)方法在處理有限樣本非線(xiàn)性建模問(wèn)題時(shí)優(yōu)勢(shì)明顯；在線(xiàn)核學(xué)習(xí)，包括全局遞推核學(xué)習(xí)(Recursive KL，RKL)和局部學(xué)習(xí)，則更有利于跟蹤過(guò)程時(shí)變特性和降低模型復(fù)雜度。
　　 但是，在線(xiàn)核學(xué)習(xí)算法仍面臨著一些共同性問(wèn)題：(1)遞推過(guò)程多只考慮一次分塊遞推，無(wú)法對(duì)一些復(fù)雜系統(tǒng)進(jìn)行在線(xiàn)辨識(shí)；(2)在線(xiàn)遞推過(guò)程多建立在模型參數(shù)不變的基礎(chǔ)上，核學(xué)習(xí)(特別是加權(quán)核學(xué)習(xí)算法)相關(guān)參數(shù)的在線(xiàn)優(yōu)化研究較少；(3)局部

3、學(xué)習(xí)中，樣本間相似度衡量準(zhǔn)則僅依據(jù)樣本輸入信息構(gòu)建，尚沒(méi)有綜合考慮輸入輸出信患的相似性度量策略；(4)學(xué)習(xí)算法多為有監(jiān)督學(xué)習(xí)方法，無(wú)標(biāo)簽樣本信息難以充分利用。
　　 本文以核學(xué)習(xí)在線(xiàn)建模為切入點(diǎn)，針對(duì)不同工業(yè)應(yīng)用需求研究提出了相應(yīng)的軟測(cè)量算法，并進(jìn)行了理論分析和仿真驗(yàn)證，主要的創(chuàng)新性研究工作包括：
　　 (1)針對(duì)一類(lèi)特殊的結(jié)構(gòu)化非線(xiàn)性Hammerstein系統(tǒng)，提出了一種基于RKL的自適應(yīng)辨識(shí)算法：改進(jìn)了離線(xiàn)算法的求解

4、形式，使算法的在線(xiàn)稀疏和遞推成為可能；采用矩陣二次分塊求逆對(duì)模型進(jìn)行在線(xiàn)遞推更新，以減小計(jì)算量；采用基于預(yù)報(bào)誤差的前向選擇性稀疏策略和遞推/重初始化策略，實(shí)現(xiàn)模型在線(xiàn)稀疏，降低模型復(fù)雜度，并克服了遞推過(guò)程中可能產(chǎn)生的誤差積累、穩(wěn)定性差等問(wèn)題。以Benchmark數(shù)值仿真實(shí)驗(yàn)為例，驗(yàn)證了所提出的自適應(yīng)辨識(shí)算法能有效提高辨識(shí)過(guò)程的精度、穩(wěn)定性和計(jì)算效率，更適用于Hammerstein模型的在線(xiàn)辨識(shí)。
　　 (2)針對(duì)部分間歇生產(chǎn)過(guò)程

5、(如間歇發(fā)酵過(guò)程)普遍存在的新工況條件下批次間差異大和批次內(nèi)有標(biāo)簽樣本少的情況，分別設(shè)計(jì)了適用于批次間建模的“局部加權(quán)”核學(xué)習(xí)算法和批次內(nèi)軟測(cè)量的半監(jiān)督“加權(quán)核”學(xué)習(xí)算法。
　　 (2A)“局部加權(quán)”核學(xué)習(xí)就是在全局模型的基礎(chǔ)上根據(jù)待測(cè)新樣本與訓(xùn)練樣本間的相似度關(guān)系調(diào)整樣本權(quán)重，并做出相應(yīng)局部修正的核學(xué)習(xí)算法。與局部學(xué)習(xí)方法相比，局部加權(quán)核學(xué)習(xí)算法采用了低秩遞推形式，避免了多次求逆計(jì)算，因而效率更高；而較全局學(xué)習(xí)過(guò)程，該方法引入

6、了根據(jù)樣本微調(diào)模型的步驟，使算法精度相對(duì)較高。青霉素過(guò)程Benchmark仿真平臺(tái)Pensim上批次間菌體濃度在線(xiàn)預(yù)報(bào)的實(shí)驗(yàn)表明了該方法的有效性。
　　 (2B)針對(duì)發(fā)酵過(guò)程批次內(nèi)標(biāo)簽樣本較少的情況，設(shè)計(jì)了半監(jiān)督框架下“加權(quán)核”學(xué)習(xí)算法。設(shè)計(jì)了符合青霉素生產(chǎn)過(guò)程的、基于時(shí)序的核函數(shù)作為樣本權(quán)重，使算法在標(biāo)簽樣本較少的情況下仍能較準(zhǔn)確預(yù)報(bào)待測(cè)新樣本。在Pensim平臺(tái)上的批次內(nèi)青霉素濃度預(yù)報(bào)的仿真實(shí)驗(yàn)表明：所提出的“加權(quán)核”方法較

7、原有半監(jiān)督算法在精度上有了較大提高，更適用于該過(guò)程批次內(nèi)在線(xiàn)建模。
　　 (3)提出了一種適用于多工況過(guò)程的多核學(xué)習(xí)算法(Multi-Kernel LSSVR，MK-LSSVR)，以建立多工況過(guò)程的有效統(tǒng)一模型。設(shè)計(jì)了同時(shí)融入樣本工況(類(lèi)別)和輔助變量信息的多核，并將其應(yīng)用于樣本類(lèi)別先驗(yàn)概率估計(jì)。通過(guò)對(duì)樣本類(lèi)別的后驗(yàn)概率重新估計(jì)和模型的在線(xiàn)稀疏和更新，保證了算法稀疏性、準(zhǔn)確性和推廣性能。通過(guò)Pensim仿真平臺(tái)青霉素生產(chǎn)過(guò)程菌體

8、濃度在線(xiàn)預(yù)報(bào)，驗(yàn)證了所提出的MK-LSSR算法較單核學(xué)習(xí)相比，具有更高的預(yù)報(bào)精度和穩(wěn)定性。
　　 (4)提出了一種新的自適應(yīng)局部核學(xué)習(xí)算法(Adaptive Local Kernel Learning，ALKL)?？紤]同時(shí)采用樣本輸入/輸出信息的相似度衡量準(zhǔn)則，并提出一種適用回歸問(wèn)題的有監(jiān)督局部保持映射(Supervised Locality Preserving Projection，SLPP)算法以獲取更合理的相似樣本集；提