科技文獻(xiàn)中的主題發(fā)現(xiàn)與趨勢(shì)預(yù)測(cè).pdf

1、在當(dāng)今時(shí)代,隨著科學(xué)領(lǐng)域技術(shù)迅速發(fā)展,科技文獻(xiàn)的數(shù)量也在以驚人的速度增長(zhǎng),從而出現(xiàn)了各種數(shù)字圖書館、文獻(xiàn)數(shù)據(jù)庫(kù)。而當(dāng)用戶面對(duì)著如此巨量的異構(gòu)的信息時(shí),他們往往難以做到對(duì)信息全面的了解和準(zhǔn)確的定位。為了解決這個(gè)問(wèn)題,本文在文獻(xiàn)數(shù)據(jù)集內(nèi)進(jìn)行了主題發(fā)現(xiàn)和主題趨勢(shì)預(yù)測(cè)的研究,具體的研究?jī)?nèi)容如下:
　　首先,本文通過(guò)構(gòu)建爬蟲(chóng)程序收集了NLP領(lǐng)域內(nèi)的重要會(huì)議和期刊的文獻(xiàn)集,并通過(guò)PDFBox工具包抽取出文獻(xiàn)的標(biāo)題、摘要和時(shí)間信息來(lái)構(gòu)建科技文獻(xiàn)

2、數(shù)據(jù)集。
　　接著,本文使用了基于極大頻繁項(xiàng)集挖掘的方法對(duì)文獻(xiàn)數(shù)據(jù)集中的主題信息進(jìn)行挖掘,發(fā)現(xiàn)使用該方法挖掘出的主題信息包含著難以剔除的無(wú)用信息。為了解決這個(gè)問(wèn)題,本文使用了基于LDA模型的方法進(jìn)行主題信息的挖掘?；贚DA模型發(fā)現(xiàn)的主題信息是詞的概率分布,這些概率信息可以衡量每個(gè)詞匯代表主題的權(quán)重,所以可以根據(jù)權(quán)重對(duì)結(jié)果中的無(wú)用信息進(jìn)行剔除。但是,使用LDA模型卻無(wú)法充分挖掘文獻(xiàn)數(shù)據(jù)集中的主題信息,因此本文介紹并使用了一種基于結(jié)

3、合了受控詞表的LDA模型進(jìn)行主題發(fā)現(xiàn)的方法,使得基于LDA模型的方法無(wú)法充分挖掘文獻(xiàn)數(shù)據(jù)集中主題信息的困難得到解決。
　　然后,本文假設(shè)用戶對(duì)主題的檢索數(shù)據(jù),在一定程度上了反映了當(dāng)前科學(xué)領(lǐng)域內(nèi)各個(gè)研究主題的發(fā)展情況。所以在該部分,本文在已建立的趨勢(shì)預(yù)測(cè)模型中融入用戶檢索量的時(shí)間分布信息對(duì)主題的趨勢(shì)進(jìn)行預(yù)測(cè)。接著,本文對(duì)主題研究趨勢(shì)預(yù)測(cè)開(kāi)展了進(jìn)一步的研究。通過(guò)進(jìn)一步的研究發(fā)現(xiàn)直接使用絕對(duì)用戶檢索量信息存在著弊端,因此本文將用戶相對(duì)檢