關系分類模型的學習界限與應用.pdf

1、人類信息社會的飛速發(fā)展，產(chǎn)生了海量的信息。這些信息一般呈現(xiàn)復雜的關系，如社交網(wǎng)絡、網(wǎng)頁等，它們不僅數(shù)據(jù)內(nèi)部關系復雜，數(shù)據(jù)外部也通過鏈接、關注、訂閱等聯(lián)系起來。雖然人類可以利用機器學習方法，從這些海量信息中得出有價值的模式和知識，來解決各種社會、生活方面的問題，然而目前最常用的統(tǒng)計機器學習方法，卻常常忽略數(shù)據(jù)內(nèi)部和外部的聯(lián)系，模型的學習大都建立在數(shù)據(jù)獨立同分布的假設基礎上，導致模型對于關聯(lián)數(shù)據(jù)的擬合效果不甚理想。
　　為了解決以上問

2、題，研究者提出了統(tǒng)計關系學習（Statistical Relational Learning，SRL）。統(tǒng)計關系學習又稱概率邏輯學習，目標是挖掘關系數(shù)據(jù)中的模式、邏輯、概率分布等信息，通過結(jié)構(gòu)和參數(shù)學習建立學習模型，最終利用模型對關系數(shù)據(jù)進行推理和分類。因為它結(jié)合了知識庫與概率模型，從而具有解決復雜領域問題的能力。統(tǒng)計關系學習已經(jīng)成為人工智能和模式識別領域的一個研究熱點，在生物信息分析、在線社交網(wǎng)絡分析、自然語言處理、復雜數(shù)據(jù)挖掘等領域

3、，都取得了成功應用。
　　本文主要研究統(tǒng)計關系模型在分類中的應用。用于分類的統(tǒng)計關系學習模型通常稱為關系分類模型（Relation Classification model，RC model）。關系分類模型在學習過程中，會受到樣本間關系的影響。有研究工作表明，當關系數(shù)據(jù)具有很高的關系自相關值，關系分類模型學習的結(jié)果將優(yōu)于傳統(tǒng)的分類模型。然而，由于涉及關系分類模型的一般學習界限的理論研究相對較少，使得研究者只能憑借經(jīng)驗來控制分類模型

4、的學習過程，導致分類模型的泛化性能較差。因此，非常有必要針對該問題進行深入的研究，加深對關系分類模型學習過程的理解，進而優(yōu)化學習的過程。另外，在網(wǎng)絡安全相關的態(tài)勢感知、網(wǎng)絡輿論分析問題中，由于采集的數(shù)據(jù)呈現(xiàn)出很高的相關性，因此在這些問題中應用關系分類模型具有很強的現(xiàn)實需求。鑒于以上考慮，本文主要研究以下4個方面：
　　1.針對關系分類模型缺少準確的復雜性度量和一般學習界限的問題，提出一個新的衡量關系分類模型關聯(lián)數(shù)據(jù)能力的復雜性度量

5、——關系維。證明了該復雜度和關系分類模型的生長函數(shù)之間的關系，推導出有限VC維和有限關系維情況下的學習界限。然后分析了該界限可學習和有意義的條件，并對界限的可行性進行了詳細的分析。最后分析了基于馬爾科夫邏輯網(wǎng)的傳統(tǒng)學習界限和關系分類中的學習情況，實驗結(jié)果表明提出的界限能夠解釋實際關系分類中遇到的一些問題。在社交網(wǎng)絡相關分析和具有內(nèi)在關聯(lián)性的網(wǎng)絡安全數(shù)據(jù)分析中有廣泛的應用前景。
　　2.針對關系分類模型缺少穩(wěn)定性度量和穩(wěn)定學習算法的

6、問題，定義了關系分類模型的穩(wěn)定性測度——依賴穩(wěn)定性，得出一個基于依賴穩(wěn)定性的學習界限。根據(jù)對該界限的詳細分析，設計了一個穩(wěn)定的關系分類模型學習算法。最后實驗結(jié)果表明該算法增加了關系分類模型的穩(wěn)定性，同時降低了其經(jīng)驗風險和真實風險之間的差距。
　　3.針對多領域關系分類問題，設計了一個多關系領域遷移學習算法，該算法能夠?qū)⒍鄠€領域的知識進行融合、雜交和創(chuàng)新，并將這些知識存儲在一個不確定的知識超圖中。然后提出一個精確地和一個近似的期望支

7、持度算法，從不確定的知識超圖中有效地挖掘頻繁子知識超圖。最后將這些頻繁子知識超圖，即多個關系分類之間蘊含的有價值的核心知識優(yōu)先遷移到目標域中。實驗結(jié)果表明我們的算法在準確性方面優(yōu)于目前最好的關系遷移學習算法。
　　4.將上述理論和算法應用于網(wǎng)絡可用性預估、網(wǎng)絡輿論領袖識別、垃圾郵件分類和網(wǎng)絡輿論傾向性分析中，驗證了本文提出的學習理論和算法在網(wǎng)絡安全問題中的有效性。
　　通過以上的研究，本文建立了關系分類模型的一般學習界限理論