基于“合作—參與”計(jì)算認(rèn)知模型的半監(jiān)督學(xué)習(xí)算法研究與應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘和模式識別的核心研究內(nèi)容之一，近年來隨著互聯(lián)網(wǎng)和信息技術(shù)的發(fā)展，海量數(shù)據(jù)迅速積累。監(jiān)督學(xué)習(xí)需要大量帶標(biāo)記數(shù)據(jù)做訓(xùn)練集，以保證所得假設(shè)的泛化能力。但在計(jì)算機(jī)輔助醫(yī)學(xué)圖像診斷等實(shí)際應(yīng)用中，對數(shù)據(jù)進(jìn)行人工標(biāo)記的代價(jià)很高，容易獲取的是大量無標(biāo)記數(shù)據(jù)。無監(jiān)督學(xué)習(xí)屬于無任何監(jiān)督信息的自動(dòng)學(xué)習(xí),雖不需要帶標(biāo)記數(shù)據(jù),但所得模型卻不夠精確。因此,將少量帶標(biāo)記數(shù)據(jù)和大量無標(biāo)記數(shù)據(jù)結(jié)合的半監(jiān)督學(xué)習(xí)成為研究熱點(diǎn)。
　　現(xiàn)有半監(jiān)督學(xué)習(xí)算法

2、嘗試?yán)么罅繜o標(biāo)記數(shù)據(jù)提供的額外信息引導(dǎo)學(xué)習(xí)過程、提高學(xué)習(xí)性能。然而，現(xiàn)有算法通過自動(dòng)方式從無標(biāo)記數(shù)據(jù)中獲取的額外信息中既包含有用信息也包括誤導(dǎo)信息。有用信息將使學(xué)習(xí)性能提高，而不可避免的誤導(dǎo)信息則會使學(xué)習(xí)性能降低。因此，半監(jiān)督學(xué)習(xí)中無標(biāo)記數(shù)據(jù)使用的安全性成為提高學(xué)習(xí)性能亟待解決的挑戰(zhàn)。此外，在實(shí)際大規(guī)模數(shù)據(jù)學(xué)習(xí)任務(wù)中使用現(xiàn)有基于內(nèi)存、串行執(zhí)行的半監(jiān)督學(xué)習(xí)算法時(shí)，大規(guī)模無標(biāo)記數(shù)據(jù)的加載和計(jì)算，會形成存儲和計(jì)算效率瓶頸，制約其應(yīng)用。

3、>　　針對半監(jiān)督學(xué)習(xí)中無標(biāo)記數(shù)據(jù)使用的安全性挑戰(zhàn)，本文首先構(gòu)建符合人類半監(jiān)督學(xué)習(xí)特征的計(jì)算認(rèn)知模型，然后基于該計(jì)算認(rèn)知模型，重點(diǎn)研究半監(jiān)督學(xué)習(xí)算法中無標(biāo)記數(shù)據(jù)額外信息中誤導(dǎo)信息和有用信息的甄別與自適應(yīng)選擇、利用方法，以解決半監(jiān)督學(xué)習(xí)的安全性問題。此外，將半監(jiān)督學(xué)習(xí)算法應(yīng)用于CT圖像肺結(jié)節(jié)診斷大規(guī)模學(xué)習(xí)任務(wù)時(shí)，探索利用MapReduce并行計(jì)算模式，實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)算法在PC機(jī)集群上的并行執(zhí)行，以適應(yīng)大規(guī)模數(shù)據(jù)集上的可擴(kuò)展要求。本文的主要研

4、究成果包括：
　　（1）提出一種用于提高半監(jiān)督學(xué)習(xí)安全性的“合作-參與”計(jì)算認(rèn)知模型本文借鑒認(rèn)知心理學(xué)研究成果，抽象出符合人類群體相互學(xué)習(xí)特征的合作學(xué)習(xí)（collaborative learning）計(jì)算模型；同時(shí)，將符合人類個(gè)體自我學(xué)習(xí)特征的參與學(xué)習(xí)（participatory learning）計(jì)算模型作為合作學(xué)習(xí)模型中每個(gè)對等學(xué)習(xí)器的計(jì)算模型，構(gòu)建出符合人類半監(jiān)督學(xué)習(xí)特征的“合作-參與”計(jì)算認(rèn)知模型。該計(jì)算模型的核心是共享知

5、識池、接受組件和評價(jià)組件。共享知識池的更新和使用機(jī)制決定無標(biāo)記數(shù)據(jù)中額外信息的發(fā)掘和使用策略；接受組件內(nèi)接受機(jī)制對從共享知識池中獲取的無標(biāo)記數(shù)據(jù)額外信息進(jìn)行甄別；評價(jià)組件通過喚醒機(jī)制對接受組件的有效性進(jìn)行評測、并屏蔽接受機(jī)制對額外信息的錯(cuò)誤甄別。本文利用該計(jì)算認(rèn)知模型對Co-training式半監(jiān)督學(xué)習(xí)算法剖析，得出提高半監(jiān)督學(xué)習(xí)安全性的策略為：在現(xiàn)有算法利用共享知識池使用無標(biāo)記數(shù)據(jù)額外信息基礎(chǔ)上，通過引入接受組件和評價(jià)組件，對額外信息

6、中誤導(dǎo)信息進(jìn)行有效識別和過濾。
　　（2）提出一種“合作-參與”模型指導(dǎo)的半監(jiān)督聚類算法
　　半監(jiān)督聚類算法常用有限的帶標(biāo)記數(shù)據(jù)組成seeds集對聚類中心初始化，以提高其在全體數(shù)據(jù)集上的聚類性能，研究表明seeds集的規(guī)模和質(zhì)量都直接影響半監(jiān)督聚類算法的性能。本文基于“合作-參與”模型，提出一種從大量無標(biāo)記數(shù)據(jù)中自動(dòng)獲取大規(guī)模、高質(zhì)量seeds集的半監(jiān)督聚類新算法。首先“合作-參與”計(jì)算模型中知識池共享機(jī)制采用三個(gè)分類器間T

7、ri-training迭代訓(xùn)練過程，接受組件的接收機(jī)制定義為基于最近鄰規(guī)則(Nearest Neighbor Rule)的Depuration數(shù)據(jù)剪輯技術(shù)。本文新算法在用seeds集初始化聚類中心前，利用Tri-training的迭代訓(xùn)練過程對無標(biāo)記數(shù)據(jù)進(jìn)行標(biāo)記，并加入共享知識池，以擴(kuò)大seeds集規(guī)模，同時(shí)，在Tri-training訓(xùn)練過程中由接受組件內(nèi)Depuration數(shù)據(jù)剪輯技術(shù)對seeds集擴(kuò)大過程中產(chǎn)生的誤標(biāo)記數(shù)據(jù)進(jìn)行修正

8、、凈化，以提高seeds集質(zhì)量。實(shí)驗(yàn)表明本文提出的“合作-參與”模型指導(dǎo)的半監(jiān)督聚類新算法能有效改善seeds集對聚類中心的初始化效果，提高聚類性能。
　?。?）提出“合作-參與”模型指導(dǎo)的Co-training式半監(jiān)督分類算法
　　基于多分類器集成的Co-training式半監(jiān)督分類算法，由初始帶標(biāo)記數(shù)據(jù)訓(xùn)練N(N>2)個(gè)分類器，然后利用N-1個(gè)分類器組成的集成學(xué)習(xí)器對無標(biāo)記數(shù)據(jù)標(biāo)記，為第 N個(gè)分類器重新訓(xùn)練提供所需的額外

9、信息。然而，由于初始帶標(biāo)記數(shù)據(jù)很少，不足以訓(xùn)練出高精度分類器，所以集成學(xué)習(xí)器提供的額外信息中包含相當(dāng)數(shù)量的誤標(biāo)記數(shù)據(jù)是不可避免的（即成為誤導(dǎo)信息）。為提高無標(biāo)記數(shù)據(jù)使用的安全性，本文通過在Co-training迭代過程中引入“合作-參與”模型的接受組件和評價(jià)組件，實(shí)現(xiàn)自適應(yīng)地對誤標(biāo)記數(shù)據(jù)進(jìn)行識別和移除，保證不同情形下所得假設(shè)的泛化性能。具體地，接受組件內(nèi)接受機(jī)制定義為對新標(biāo)記數(shù)據(jù)的RemoveOnly數(shù)據(jù)剪輯操作；評價(jià)組件內(nèi)喚醒機(jī)制在對

10、RemoveOnly剪輯操作正面和負(fù)面效應(yīng)進(jìn)行量化測度基礎(chǔ)上，通過自適應(yīng)策略控制RemoveOnly的觸發(fā)與抑制。本文以三分類器Tri-training算法和多決策樹Co-Forest算法為研究對象，分別提出相應(yīng)的半監(jiān)督分類新算法，稱為基于自適應(yīng)剪輯策略的Tri-training算法和基于自適應(yīng)剪輯策略的Co-Forest算法。實(shí)驗(yàn)表明兩種新算法具有更好分類泛化性能。
　　（4）半監(jiān)督分類新算法中自適應(yīng)剪輯策略保證泛化能力提高的理

11、論證明本文提出的兩種基于自適應(yīng)剪輯策略半監(jiān)督分類算法中，自適應(yīng)策略定義為一系列判定剪輯操作觸發(fā)的充分條件的組合。本文以定理形式給出不同情形下剪輯操作觸發(fā)的充分條件,并證明這些充分條件在PAC可學(xué)習(xí)理論框架下,能夠保證新訓(xùn)練集規(guī)模迭代增大同時(shí)確保剪輯操作的觸發(fā)能使所得假設(shè)的分類錯(cuò)誤率降低更多。
　　（5）提出對大規(guī)模數(shù)據(jù)集分塊計(jì)算的MapReduce并行化半監(jiān)督算法
　　針對大規(guī)模數(shù)據(jù)實(shí)際應(yīng)用情形下，串行半監(jiān)督學(xué)習(xí)算法的存儲和