主動學(xué)習(xí)停止準(zhǔn)則與評價測度研究.pdf

1、主動學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域中最為活躍的研究方向之一，其旨在花費盡可能少的人類標(biāo)注代價獲得性能較高的分類模型。因此，在主動學(xué)習(xí)過程中，能否定義一個合適的停止準(zhǔn)則對主動學(xué)習(xí)是否能發(fā)揮出最大效應(yīng)具有重大意義。此外，在對一種主動學(xué)習(xí)算法的性能進(jìn)行評估時，往往需要定義一些定量的評價測度，而這正是前人工作所忽略的問題。故本文主要針對上述兩類問題展開研究。
　　本文首先介紹了幾種常用的主動學(xué)習(xí)停止準(zhǔn)則，進(jìn)而針對現(xiàn)有的選擇精度主動學(xué)習(xí)停止準(zhǔn)則僅適用于

2、批量樣例標(biāo)注場景這一缺點，提出了一種改進(jìn)的適用于單輪單樣例標(biāo)注場景的選擇精度停止準(zhǔn)則。該準(zhǔn)則通過監(jiān)督自本輪起前溯的固定學(xué)習(xí)輪次內(nèi)的預(yù)測標(biāo)記與真實標(biāo)記間的匹配關(guān)系，對選擇精度進(jìn)行近似的評估計算，匹配度越高則選擇精度越高。繼而利用滑動時間窗實時監(jiān)測該選擇精度的變化，若當(dāng)其高于事先設(shè)定的閾值時，則停止主動學(xué)習(xí)算法的運行。以基于支持向量機的主動學(xué)習(xí)方法為例，通過6個基準(zhǔn)數(shù)據(jù)集對該準(zhǔn)則的有效性與可行性進(jìn)行了驗證，結(jié)果表明當(dāng)選取合適的閾值時，該準(zhǔn)則

3、能找到主動學(xué)習(xí)停止的合理時機。該方法擴大了選擇精度停止準(zhǔn)則的適用范圍，提升了其實用性。
　　目前，適用于主動學(xué)習(xí)的算法多種多樣，但這些主動學(xué)習(xí)算法都共用一個統(tǒng)一的性能評估測度，即學(xué)習(xí)曲線。學(xué)習(xí)曲線在整個主動學(xué)習(xí)迭代過程中能夠很好的區(qū)分分類模型間的性能差異，因此大多數(shù)文章都使用學(xué)習(xí)曲線作為比較不同分類算法性能的標(biāo)準(zhǔn)。但是對于兩個分類性能相近的主動學(xué)習(xí)算法，很難從學(xué)習(xí)曲線的分布上觀察到性能變化的細(xì)微差異。針對這一問題，通過深入挖掘?qū)W習(xí)

4、曲線中所隱藏的信息，提出了四種定量的主動學(xué)習(xí)性能評估測度，分別為學(xué)習(xí)曲線下的面積、對數(shù)化的學(xué)習(xí)曲線下的面積、平均梯度角以及對數(shù)化的平均梯度角。在比較基于同質(zhì)分類器的主動學(xué)習(xí)算法時，這四種度量測度均能夠保證評估結(jié)果的公正性；而對于異質(zhì)的分類器，在比較不同的主動學(xué)習(xí)算法性能時，平均梯度角以及對數(shù)化的平均梯度角比另外兩種評估測度可能更加適用。此外，對數(shù)化的學(xué)習(xí)曲線下的面積與對數(shù)化的平均梯度角則更關(guān)注于主動學(xué)習(xí)初始學(xué)習(xí)階段的性能提升速率。通過在