基于語義相似度的比價(jià)系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的成熟，網(wǎng)絡(luò)開始從各個(gè)方面改變?nèi)藗兊纳罘绞?，受互?lián)網(wǎng)思潮的影響，傳統(tǒng)零售業(yè)開始尋求一種新的銷售理念，電子商務(wù)隨之流行起來?，F(xiàn)在發(fā)展比較成熟的購物網(wǎng)站如淘寶、京東、唯品會(huì)、亞馬遜等，一般都缺乏與其他不同類別的電商網(wǎng)站來對比以突出自己網(wǎng)站優(yōu)越性的功能。這些購物網(wǎng)站上的商品種類非常之多，沒有突出它們專制于銷售哪一類商品，并且價(jià)格不一，以至于用戶很難在這些網(wǎng)站上挑選到特定類別上心儀的商品。平臺(tái)上入駐的商家也由于不知道上傳的商品的線上

2、市場價(jià)格而難以對產(chǎn)品制定最合適的價(jià)格，在產(chǎn)品價(jià)格方面沒有競爭優(yōu)勢。
　　本研究主要內(nèi)容包括：⑴基于Heritrix爬蟲框架，制定了一個(gè)高效靈活的抓取策略來爬取商品數(shù)據(jù)。針對購物網(wǎng)站商品頁面的這種特定網(wǎng)頁結(jié)構(gòu)，采取了結(jié)合HTMLParser和正則表達(dá)式的方法來提取所抓取網(wǎng)頁中的商品數(shù)據(jù)，建立了本系統(tǒng)所需要的商品數(shù)據(jù)庫。⑵雖然不同的人對一個(gè)商品的描述是不盡相同的，但從語義上來說，所表達(dá)的內(nèi)容是很相似的，為提高商品比價(jià)時(shí)商品描述與數(shù)據(jù)庫

3、中商品信息匹配的精確度，本文提出了一種基于語義的中文文本相似度算法。利用知網(wǎng)中的詞匯語義信息來計(jì)算詞語的語義相似度，從詞語的多個(gè)角度出發(fā)來分析詞語的權(quán)重并以此來提取文本的核心詞，通過計(jì)算文本核心詞之間的相似度來度量文本之間的相似度，并用實(shí)驗(yàn)驗(yàn)證了這種算法的有效性。⑶為了進(jìn)一步提高商品比價(jià)的精確度，本文利用商品的一些標(biāo)簽信息如品牌，功效等，根據(jù)這些商品標(biāo)簽的相似性進(jìn)一步確定與待比較商品最相似或最相關(guān)的商品，以獲得更精確的比價(jià)結(jié)果。文中利用