機(jī)器學(xué)習(xí)中隱式因子模型及其優(yōu)化算法研究.pdf

1、隨著各種數(shù)據(jù)來(lái)源和數(shù)據(jù)采集方式的逐漸多樣化,機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的應(yīng)用場(chǎng)景日益豐富。機(jī)器學(xué)習(xí)研究的本質(zhì)要解決智能化學(xué)習(xí)的基礎(chǔ)表示和模型兩大問(wèn)題,前者需要對(duì)計(jì)算機(jī)可處理的數(shù)據(jù)進(jìn)行特征化表示,這種表示需要具有泛化和可抽象存儲(chǔ)等特點(diǎn);后者需要對(duì)學(xué)習(xí)遇到的數(shù)據(jù)表示進(jìn)行統(tǒng)一的建模以實(shí)現(xiàn)智能化的理解、預(yù)測(cè)、推理等功能。傳統(tǒng)的有監(jiān)督學(xué)習(xí)模型面臨著人工特征工程的可擴(kuò)展性和性能提升困難等瓶頸問(wèn)題,而傳統(tǒng)的無(wú)監(jiān)督學(xué)習(xí)模型面臨著數(shù)據(jù)隱藏結(jié)構(gòu)模式發(fā)現(xiàn)表示的不

2、充分和結(jié)果評(píng)估的困難等問(wèn)題。本文主要研究解決機(jī)器學(xué)習(xí)表示和模型問(wèn)題的一種有效方法—隱式因子模型。隱式因子模型的本質(zhì)是通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行特征學(xué)習(xí)從而自動(dòng)從數(shù)據(jù)中學(xué)習(xí)到高階的抽象表示,從而提高預(yù)測(cè)模型和數(shù)據(jù)隱藏結(jié)構(gòu)表示的性能。
　　首先,針對(duì)傳統(tǒng)有監(jiān)督學(xué)習(xí)模型對(duì)于大量人工特征工程的依賴以及由此導(dǎo)致的輸入數(shù)據(jù)稀疏性問(wèn)題,研究了分別針對(duì)并向量類數(shù)據(jù)和更加一般化有監(jiān)督學(xué)習(xí)標(biāo)注數(shù)據(jù)的因子分解模型,通過(guò)將輸入特征間關(guān)系的隱式因子向量的抽象表示方

3、法,建立以預(yù)測(cè)精度為優(yōu)化目標(biāo)的有監(jiān)督學(xué)習(xí)模型,從而可以將特征間的高階關(guān)系作為一種新的抽象表示特征融入模型,這種隱式因子的特征抽象表示具有更強(qiáng)的表達(dá)能力,從而可以提高模型的預(yù)測(cè)精度。這種有監(jiān)督學(xué)習(xí)模型中的因子分解技術(shù)雖然從一個(gè)角度實(shí)現(xiàn)了高階特征的擴(kuò)展學(xué)習(xí),但是還是需要一些人工特征工程的幫助和優(yōu)化。其次,單層的因子向量或者線性假設(shè)模型對(duì)數(shù)據(jù)的表示能力都有限,為了實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)更具表達(dá)能力的抽象表示,本文隨后研究了更加強(qiáng)調(diào)特征自動(dòng)學(xué)習(xí)的層級(jí)隱

4、式因子模型,借助于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式,可以實(shí)現(xiàn)自底向上的特征逐級(jí)學(xué)習(xí)模型從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的表示學(xué)習(xí)。對(duì)于有監(jiān)督的層級(jí)模型,通過(guò)優(yōu)化網(wǎng)絡(luò)連接結(jié)構(gòu)和共享權(quán)重的思想可以將傳統(tǒng)訓(xùn)練困難的神經(jīng)網(wǎng)絡(luò)擴(kuò)展到多層從而實(shí)現(xiàn)局部特征的有效學(xué)習(xí);對(duì)于有監(jiān)督學(xué)習(xí)模型中可用標(biāo)注數(shù)據(jù)的限制,可以采用層級(jí)因子模型基于大量可用的未標(biāo)注實(shí)現(xiàn)無(wú)監(jiān)督的自學(xué)習(xí)得到數(shù)據(jù)表示模型的結(jié)構(gòu)參數(shù),利用逐層無(wú)監(jiān)督學(xué)習(xí)得到的這種結(jié)構(gòu)參數(shù)可以有效促進(jìn)標(biāo)注數(shù)據(jù)的輸入特征抽象表示,從而提高有監(jiān)