多元校正新算法研究和二維數(shù)據(jù)分析方法在色譜分離評價(jià)中的應(yīng)用.pdf

1、本文作者對多元校正中的一些難點(diǎn)問題進(jìn)行了深入的研究，提出了多種新型化學(xué)計(jì)量學(xué)算法，并將其應(yīng)用于標(biāo)準(zhǔn)校正數(shù)據(jù)集的研究，另外也對化學(xué)計(jì)量學(xué)二維數(shù)據(jù)分析方法在色譜分離質(zhì)量評價(jià)中的應(yīng)用進(jìn)行了一些研究。本論文主要包括以下幾個(gè)方面的工作： 1．探討了多元校正建模中的訓(xùn)練集樣品的代表性和最優(yōu)化樣品加權(quán)問題。由于多元校正的樣品光譜空間的多維性和復(fù)雜性以及樣品選取過程中的不確定性，準(zhǔn)確估計(jì)訓(xùn)練集樣品在整個(gè)樣品空間的代表性尚存在一定困難。傳統(tǒng)的多元

2、校正模型大多根據(jù)經(jīng)驗(yàn)方法選擇代表性樣品，在某些不利的情況下可能會(huì)影響校正模型對新樣品的預(yù)測性能。為解決以上問題，同時(shí)考慮到樣品的代表性很難通過考察單個(gè)樣品進(jìn)行估計(jì)，我們把全局優(yōu)化樣品加權(quán)的思想和偏最小二乘相結(jié)合，提出了最優(yōu)化樣品加權(quán)偏最小二乘這一新算法。該算法通過對原來的訓(xùn)練集樣品進(jìn)行非負(fù)加權(quán)，在校正建模過程中同時(shí)考慮了模型的復(fù)雜性和預(yù)測能力，最優(yōu)樣品權(quán)重通過粒子群優(yōu)化算法搜索獲得。另外，為了使樣品加權(quán)偏最小二乘的建模和優(yōu)化更加易于計(jì)算

3、，我們進(jìn)一步證明了樣品加權(quán)校正模型可通過對每個(gè)樣品的光譜數(shù)據(jù)和組分濃度值乘以一個(gè)相同的非負(fù)常數(shù)實(shí)現(xiàn)。將該算法應(yīng)用于真實(shí)的標(biāo)準(zhǔn)數(shù)據(jù)集的結(jié)果表明，在原始校正樣品的代表性較差時(shí)，最優(yōu)化樣品加權(quán)偏最小二乘算法確實(shí)能夠改善模型的預(yù)測性能。 2．基于粒子群優(yōu)化算法，我們提出了一種較傳統(tǒng)的變量選擇方法更為靈活的變量加權(quán)方法。通過對傳統(tǒng)的基于變量選擇的校正模型的考察可以發(fā)現(xiàn)，進(jìn)入校正模型的變量實(shí)際上被賦予權(quán)重1，而被模型舍棄的變量的權(quán)重實(shí)則為0

4、。如果把權(quán)重的概念引入變量選擇，允許變量的權(quán)重取非負(fù)的連續(xù)值，則傳統(tǒng)的變量選擇只是變量加權(quán)的一種特殊情況。另外，由于變量加權(quán)的目標(biāo)是同時(shí)優(yōu)化校正集的訓(xùn)練和驗(yàn)證集的預(yù)測，連續(xù)非負(fù)的變量加權(quán)實(shí)際上可視為對光譜變量的某種最優(yōu)化重新刻度，因此比傳統(tǒng)的變量選擇有更多的靈活性。對真實(shí)校正數(shù)據(jù)集的研究表明，變量加權(quán)偏最小二乘方法不僅能起到變量選擇的作用，還能夠在校正模型中保留較多的變量，保持了多元校正的多通道優(yōu)勢。 3．我們改進(jìn)了一種新的機(jī)器

5、學(xué)習(xí)算法—疊加回歸，并將其應(yīng)用于多元校正，同時(shí)實(shí)現(xiàn)了波長區(qū)間的快速自動(dòng)優(yōu)化選擇和校正模型組合。我們用蒙特卡羅交互驗(yàn)證代替了疊加回歸中的傳統(tǒng)的交互驗(yàn)證，再用改進(jìn)了的疊加回歸算法組合建立在單個(gè)波長子區(qū)間上的偏最小二乘模型，所得模型在組合系數(shù)非負(fù)的約束下具有最小的蒙特卡羅交互驗(yàn)證均方根誤差，所以可以期望組合模型具有較好的泛化性能和防止過擬合的能力。疊加回歸能夠通過非負(fù)最小二乘法確定模型組合系數(shù)，把某些光譜子區(qū)間模型對應(yīng)的組合系數(shù)置為0，從而實(shí)

6、現(xiàn)波長子區(qū)間的自動(dòng)選擇。另外，由于線性組合模型的蒙特卡羅交互驗(yàn)證可通過組合一系列子模型的蒙特卡羅交互驗(yàn)證來實(shí)現(xiàn)，而單個(gè)的光譜子區(qū)間模型的交互驗(yàn)證計(jì)算量很小，所以該方法與同類區(qū)間選擇方法相比，計(jì)算量要小得多。對標(biāo)準(zhǔn)校正數(shù)據(jù)集的研究進(jìn)一步證實(shí)了該方法的實(shí)用性。 4．我們提出了一種多元校正中近紅外光譜數(shù)據(jù)預(yù)處理的新概念—群預(yù)處理方法。由于近紅外光譜數(shù)據(jù)經(jīng)常受到背景、基線漂移和噪聲等不利因素的影響，對原始光譜測量數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理在很

7、多情況下已經(jīng)成為多元校正的必要步驟。但是，由于光譜的復(fù)雜性和先驗(yàn)信息的缺乏，確定最好的預(yù)處理方法常常需要多次嘗試，并且要求操作者有一定的數(shù)據(jù)處理經(jīng)驗(yàn)；另外，單一的預(yù)處理方法在改善數(shù)據(jù)的某些方面的同時(shí)，也可能帶來某些方面的負(fù)面影響和面臨信息丟失的風(fēng)險(xiǎn)，并且基于單一預(yù)處理方法的校正模型對新樣品的預(yù)測可能缺乏穩(wěn)定性。為解決以上問題，我們提出了近紅外光譜的群預(yù)處理方法，該方法用蒙特卡羅交互驗(yàn)證疊加回歸算法組合一系列基于不同預(yù)處理方法的校正模型，

8、可以實(shí)現(xiàn)預(yù)處理方法的自動(dòng)選擇和優(yōu)化加權(quán)。對真實(shí)校正數(shù)據(jù)集的研究結(jié)果表明，基于群預(yù)處理方法的校正模型與基于單一預(yù)處理方法的校正模型相比，不僅保持或改善了原有模型的準(zhǔn)確性，而且模型的穩(wěn)定性有所提高。 5．我們把移動(dòng)窗口偏最小二乘算法應(yīng)用于多元校正的模型轉(zhuǎn)移，建立了高穩(wěn)定性和低復(fù)雜度的全局校正模型。當(dāng)把已有的校正模型應(yīng)用于新樣品的光譜校正時(shí)，如果新樣品的光譜含有與模型的訓(xùn)練樣品不相同的光譜貢獻(xiàn)時(shí)，為防止出現(xiàn)偏差和嚴(yán)重的誤差，就需要對原

9、有的校正模型進(jìn)行校正轉(zhuǎn)移。我們把一種新的波長區(qū)間選擇方法—移動(dòng)窗口偏最小二乘法引入到全局校正模型中。移動(dòng)窗口偏最小二乘法能夠選擇與化學(xué)組分相關(guān)的光譜子區(qū)間，并且能夠降低全局模型的復(fù)雜度。通過對標(biāo)準(zhǔn)的校正數(shù)據(jù)集的研究，基于移動(dòng)窗口偏最小二乘的全局模型確實(shí)體現(xiàn)了上述優(yōu)點(diǎn)，較好地實(shí)現(xiàn)了校正模型的轉(zhuǎn)移。 6．我們討論了基于單通道檢測器的色譜圖的傳統(tǒng)的色譜分離標(biāo)準(zhǔn)在估計(jì)色譜分離質(zhì)量時(shí)可能遇到的問題，并且指出，很多問題都是由于一維色譜圖在嚴(yán)

10、重峰重疊的情況下缺少諸如組分?jǐn)?shù)、重疊度和峰純度等信息造成的。然后，我們綜述了化學(xué)計(jì)量學(xué)二維數(shù)據(jù)分析方法在色譜分離效率評價(jià)中的應(yīng)用，并且依據(jù)文獻(xiàn)和我們的研究經(jīng)驗(yàn)，對某些重要問題進(jìn)行了討論。 7．我們提出了一種新的基于秩圖的色譜分離評價(jià)指標(biāo)—峰純度加權(quán)分辨率。與傳統(tǒng)的基于單通道信號(hào)檢測器的色譜分離標(biāo)準(zhǔn)相比，峰純度加權(quán)分辨率的優(yōu)勢在于它同時(shí)利用了化學(xué)組分?jǐn)?shù)、重疊程度、流出時(shí)間和峰純度等關(guān)鍵色譜信息，而這些信息在色譜峰嚴(yán)重重疊時(shí)是很難從