基于頻繁子樹挖掘的網(wǎng)頁評(píng)論信息抽取.pdf

1、隨著大數(shù)據(jù)時(shí)代的發(fā)展，同時(shí)受網(wǎng)購規(guī)模的迅速增加、商家對(duì)評(píng)論的鼓勵(lì)措施等影響，網(wǎng)絡(luò)產(chǎn)品評(píng)論信息急劇增長(zhǎng)。海量產(chǎn)品評(píng)論信息是商家和消費(fèi)者進(jìn)行需求調(diào)研或購物決策時(shí)的巨大信息寶礦。因此從大量的結(jié)構(gòu)迥異的帶有評(píng)論信息的網(wǎng)頁中快速準(zhǔn)確的抽取評(píng)論內(nèi)容已然成為一個(gè)巨大的挑戰(zhàn)。
　　現(xiàn)有網(wǎng)頁信息抽取的方法主要有基于樹編輯距離、視覺特征、模板等。然而此類方法普遍存在計(jì)算冗余量大、抽取準(zhǔn)確率低、人工成本高、耗時(shí)大等問題。同時(shí)抽取出來的信息大部分都是中文

2、正文信息或者是評(píng)論區(qū)域塊，很少涉及評(píng)論內(nèi)容的信息抽取。
　　本文針對(duì)上述問題提出了一種基于頻繁子樹挖掘的網(wǎng)頁評(píng)論信息抽取方法。首先通過視覺特征對(duì)網(wǎng)頁進(jìn)行剪枝處理，有效剔除廣告、導(dǎo)航鏈接、版權(quán)信息等這些無用信息，同時(shí)達(dá)到降低網(wǎng)頁評(píng)論信息抽取的時(shí)間復(fù)雜度，提高網(wǎng)頁評(píng)論信息抽取準(zhǔn)確率的目的。然后，通過深度加權(quán)的相似度度量方法抽取最佳頻繁子樹，該方法綜合考慮樹的語義性和結(jié)構(gòu)性精準(zhǔn)抽取帶有評(píng)論信息的最佳頻繁子樹。最后，通過子樹一致性對(duì)齊方法

3、抽取評(píng)論路徑并解析評(píng)論內(nèi)容，精準(zhǔn)定位帶有評(píng)論內(nèi)容的評(píng)論路徑。
　　本文通過編寫代碼生成模擬數(shù)據(jù)并采集來自京東、美團(tuán)、好大夫等三個(gè)網(wǎng)站的上萬個(gè)網(wǎng)頁源碼。通過剪枝算法、加權(quán)頻繁子樹抽取算法和子樹一致性對(duì)齊算法，快速、準(zhǔn)確的抽取出各網(wǎng)頁的評(píng)論信息。通過執(zhí)行時(shí)間、準(zhǔn)確率、召回率等評(píng)測(cè)指標(biāo)驗(yàn)證了該模型算法優(yōu)于現(xiàn)有方法。
　　最后，本文以頻繁子樹挖掘方法為理論基礎(chǔ)，提出一個(gè)基于頻繁子樹挖掘的網(wǎng)頁評(píng)論信息抽取系統(tǒng)的構(gòu)建方案，并給出系統(tǒng)架構(gòu)