基于挖掘用戶(hù)生成內(nèi)容的產(chǎn)品搜索引擎設(shè)計(jì).pdf

1、隨著電子商務(wù)平臺(tái)的普及，雖然網(wǎng)絡(luò)環(huán)境的豐富信息為消費(fèi)者在購(gòu)買(mǎi)時(shí)提供了便利,但同時(shí)也增加了消費(fèi)者的認(rèn)知負(fù)載。不同客戶(hù)選擇合適的產(chǎn)品僅僅基于他/她自己的經(jīng)驗(yàn)，產(chǎn)品圖片和產(chǎn)品的基本信息。越來(lái)越多的人傾向于在網(wǎng)絡(luò)上自由表達(dá)觀點(diǎn)，大量的用戶(hù)生成內(nèi)容能夠幫助用戶(hù)更全面地了解產(chǎn)品，做出理性的決策，但閱讀搜索結(jié)果所有產(chǎn)品的所有可用的評(píng)論是一個(gè)又費(fèi)時(shí)又艱巨的任務(wù)。
　　通常情況下，客戶(hù)閱讀產(chǎn)品評(píng)論有兩個(gè)原因，要么是想找一種產(chǎn)品它的功能或相關(guān)服務(wù)有最

2、好的評(píng)語(yǔ);或?yàn)榱藢ふ乙粋€(gè)與特定的產(chǎn)品特性有評(píng)語(yǔ)的評(píng)論，例如一個(gè)關(guān)于手機(jī)電池壽命的評(píng)論。因此，本研究的主要目的是通過(guò)建立基于用戶(hù)評(píng)價(jià)的產(chǎn)品搜索引擎而自動(dòng)化普通評(píng)論搜索。在本論文中，我們提出了一種面向中文的用戶(hù)評(píng)論產(chǎn)品搜索排序機(jī)制。
　　在本論文中，我們?cè)O(shè)計(jì)成功了一個(gè)以產(chǎn)品特性為基礎(chǔ)的排序系統(tǒng)，名字叫“tSearch”。tSearch系統(tǒng)通過(guò)挖掘客戶(hù)的評(píng)論能夠?yàn)橛脩?hù)推薦最有價(jià)值的產(chǎn)品。但為了提高系統(tǒng)的搜索功能，系統(tǒng)在搜索過(guò)程中將考慮用

3、戶(hù)所感興趣的產(chǎn)品特征，并立足于之前的消費(fèi)者對(duì)產(chǎn)品的意見(jiàn)的搜索結(jié)果，而不僅通過(guò)產(chǎn)品的銷(xiāo)售者提供的產(chǎn)品基本信息。此外，該系統(tǒng)為每個(gè)產(chǎn)品還提供了一個(gè)視覺(jué)觀點(diǎn)總結(jié)，以幫助客戶(hù)獲得有關(guān)整體意見(jiàn)的總體思路，并確定顯示獲得了最多關(guān)注的特定產(chǎn)品。
　　系統(tǒng)設(shè)計(jì)時(shí)，所采用的數(shù)據(jù)都從中國(guó)領(lǐng)先的電子商務(wù)網(wǎng)站taobao.com爬取的。該數(shù)據(jù)集包含從5個(gè)不同領(lǐng)域（手機(jī)，數(shù)碼相機(jī)，電飯煲，豆?jié){機(jī)和筆記本電腦）作為產(chǎn)品類(lèi)。每一個(gè)產(chǎn)品類(lèi)包含了前三名熱門(mén)品牌的產(chǎn)

4、品，而每個(gè)產(chǎn)品僅屬于一個(gè)產(chǎn)品類(lèi)。爬取的信息包括16071產(chǎn)品頁(yè)，一共有537638評(píng)論。每一個(gè)產(chǎn)品頁(yè)所爬取的信息包括：產(chǎn)品標(biāo)題，產(chǎn)品ID，產(chǎn)品基本參數(shù)和產(chǎn)品的所有評(píng)論，然后為了快速獲取搜索結(jié)果建立了基于產(chǎn)品標(biāo)題的搜索索引。系統(tǒng)不僅能夠接受中文關(guān)鍵詞，而且英文寫(xiě)的關(guān)鍵詞同時(shí)也可以處理的。系統(tǒng)支持逗號(hào)分隔的字符串，其中的第一部分視為搜索關(guān)鍵詞，而其余部分視為產(chǎn)品功能或特性用戶(hù)對(duì)此感興趣。搜索結(jié)果的排序都是根據(jù)每個(gè)產(chǎn)品計(jì)算出的基于產(chǎn)品評(píng)論的評(píng)

5、分。
　　關(guān)于產(chǎn)品特征提取，我們使用了斯坦福句子語(yǔ)法類(lèi)型依存表示。斯坦福句子語(yǔ)法類(lèi)型的主要特點(diǎn)是提供一個(gè)簡(jiǎn)單的在一個(gè)句子中的語(yǔ)法關(guān)系表示，可以很容易被理解并有效地被沒(méi)有自然語(yǔ)言處理技術(shù)的研究員利用與應(yīng)用。雖然中文的句子語(yǔ)法類(lèi)型的設(shè)計(jì)類(lèi)似于英文句子語(yǔ)法類(lèi)型，但大多數(shù)語(yǔ)法結(jié)構(gòu)只存在于中文。在本論文中，我們考慮了五種類(lèi)型依存來(lái)提取產(chǎn)品特征，它們是：nsubj，dobj，ccomp，nn與attr。提取的產(chǎn)品特征分為兩類(lèi)：從屬特征與獨(dú)立特

6、征。從屬特征是描述產(chǎn)品本身或其組成部分。獨(dú)立特征是功能描述相關(guān)服務(wù)。在該方法中，每個(gè)類(lèi)別給分配了不同的權(quán)重并假定客戶(hù)會(huì)為從屬特征更為關(guān)注。
　　此外，為了方便使用和管理我們提出的系統(tǒng)，前臺(tái)和后臺(tái)網(wǎng)站也被建立了。前臺(tái)的主頁(yè)用來(lái)接收用戶(hù)輸入的搜索關(guān)鍵詞。點(diǎn)擊“搜索”按鈕后，搜索關(guān)鍵詞將被提交給系統(tǒng)后臺(tái)，最后系統(tǒng)將生成與查詢(xún)關(guān)鍵詞匹配的產(chǎn)品列表并根據(jù)評(píng)價(jià)評(píng)分而排序。本系統(tǒng)不僅提供按關(guān)鍵詞搜索，而且還提供按照產(chǎn)品的特定功能或特性搜索。系統(tǒng)

7、的評(píng)估過(guò)程通過(guò)了兩個(gè)層次：第一個(gè)是測(cè)量產(chǎn)品特征提取和分類(lèi)的準(zhǔn)確性，而第二個(gè)是確定搜索結(jié)果的效率和視覺(jué)總結(jié)的可用性。實(shí)驗(yàn)顯示在特征看來(lái)對(duì)提取高水平的精度，并與排名和匯總高水平的參與者滿(mǎn)意。
　　本論文的主要貢獻(xiàn)可以歸納在以下四個(gè)方面：
　　第一:為產(chǎn)品搜索引擎提出了基于用戶(hù)生產(chǎn)內(nèi)容的排序方法，提取的產(chǎn)品特征分為兩類(lèi)：從屬特征與獨(dú)立特征
　　第二:從挖掘角度，提出的系統(tǒng)在切面級(jí)別剖析，但我們所知的其他方法都在文檔或句子級(jí)別