個性化Web商務(wù)信息融合關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，人們在使用互聯(lián)網(wǎng)技術(shù)時不再僅僅滿足于信息檢索功能，而是需要系統(tǒng)從這些檢索到的信息中抽取出用戶感興趣的信息。信息融合是幫助用戶進行信息檢索、信息抽取的系統(tǒng)，成為最近WEB數(shù)據(jù)處理領(lǐng)域的研究內(nèi)容，具有廣泛的應(yīng)用前景。WEB信息融合過程中關(guān)鍵的技術(shù)主要有信息抓取、信息抽取、信息清洗融合、信息檢索和存儲等，論文結(jié)合課題組所承擔的科技重大專項，聚焦信息抽取和信息清洗融合兩項關(guān)鍵技術(shù)進行研究。
　　 首先介紹個性化

2、行業(yè)商務(wù)信息推送服務(wù)項目信息融合模塊的研究及課題背景，分析信息融合項目中信息抽取與數(shù)據(jù)清洗兩項關(guān)鍵技術(shù)上存在的問題，主要表現(xiàn)在匹配準確性低、抽取效率不高以及數(shù)據(jù)質(zhì)量低等，并介紹了論文的主要工作和章節(jié)安排。
　　 第二部分介紹了在信息融合項目中涉及的關(guān)鍵技術(shù)、模型、技術(shù)標準等。個性化行業(yè)商務(wù)信息融合項目是處理WEB海量數(shù)據(jù)，在系統(tǒng)實現(xiàn)時引入了分布式處理框架Hadoop實現(xiàn)數(shù)據(jù)的分布式處理，論文著重介紹了分布式框架Hadoop的相關(guān)

3、情況。最后詳細介紹了信息抽取及數(shù)據(jù)清洗技術(shù)的國內(nèi)外研究現(xiàn)狀。
　　 第三部分針對現(xiàn)有的Anchor-Hop模型基于內(nèi)容和屬性定位導(dǎo)致匹配效率低、匹配準確性較差等問題，在Anchor-Hop模型的基礎(chǔ)上提出了基于DOM的動態(tài)Anchor-Hop模型，實驗中抽取效率比Anchor-Hop模型快30％，抽取的準確性也高于Anchor-Hop模型。在數(shù)據(jù)清洗問題上，首先分析了數(shù)據(jù)校驗的現(xiàn)有研究，確定信息融合系統(tǒng)使用的數(shù)據(jù)校驗方法，提出基

4、于數(shù)據(jù)校驗結(jié)果對抽取系統(tǒng)可靠性進行反饋的思想。其次著重分析數(shù)據(jù)去重的SNM算法和基于編輯距離的字段匹配算法，在這兩個算法的基礎(chǔ)提出了改進算法SSNM。SSNM算法先對記錄的關(guān)鍵詞進行分詞，接著對分詞后得到的詞組進行排序并組成新字符串，根據(jù)新字符串對記錄進行排序，運用SNM算法進行重復(fù)記錄檢測。當計算記錄間相似度時，通過新字符串計算編輯距離，實驗結(jié)果顯示SSNM算法在召回率上優(yōu)于SNM算法。最后詳細描述了基于Hadoop的分布式SSNM算