面向智能電子商務(wù)的Web挖掘理論與方法的研究.pdf

1、隨著全球信息化的發(fā)展，信息量指數(shù)增長(zhǎng)，電子商務(wù)在全球取得了迅速發(fā)展。目前電子商務(wù)已經(jīng)發(fā)展到一個(gè)新的階段，處理對(duì)象向綜合化、大型化、復(fù)雜化方向發(fā)展。把智能計(jì)算技術(shù)應(yīng)用到電子商務(wù)，解決現(xiàn)有電子商務(wù)技術(shù)在大量商品信息的搜索、分析和決策等方面的種種不足，已經(jīng)成為發(fā)達(dá)國(guó)家大企業(yè)提高競(jìng)爭(zhēng)力和市場(chǎng)份額的戰(zhàn)略選擇。利用Web挖掘技術(shù)對(duì)電子商務(wù)中的大量數(shù)據(jù)進(jìn)行存儲(chǔ)、管理、對(duì)比、檢索、尋找其相關(guān)性，挖掘出數(shù)據(jù)所隱藏的規(guī)律，自動(dòng)獲取知識(shí)，可以對(duì)電子商務(wù)作出決

2、策支持。智能電子商務(wù)網(wǎng)站能為用戶(hù)提供個(gè)性化和推薦商品服務(wù)，使用戶(hù)快速找到自己需要的商品，提高用戶(hù)的信任度。智能電子商務(wù)網(wǎng)站也可以通過(guò)預(yù)取和緩存方法來(lái)提高網(wǎng)站的性能，減少用戶(hù)的延時(shí)感受，間接提高用戶(hù)的滿(mǎn)意度。為用戶(hù)提供更加稱(chēng)心如意的智能服務(wù)，讓用戶(hù)享受一種個(gè)性化的購(gòu)物體驗(yàn)，才能留住和爭(zhēng)取更多的用戶(hù)，從而在競(jìng)爭(zhēng)中取得先機(jī)?！　∧壳?，基于Web挖掘的智能電子商務(wù)技術(shù)存在著各種不同的問(wèn)題。首先，大部分Web挖掘方法都使用Web日志作為數(shù)據(jù)源，

3、冗余數(shù)據(jù)多，預(yù)處理方法不精確且效率低，為挖掘算法提供質(zhì)量差的數(shù)據(jù)源。其次，各種Web挖掘算法沒(méi)有很好地結(jié)合電子商務(wù)的特性來(lái)設(shè)計(jì)，挖掘算法性能低，挖掘結(jié)果的質(zhì)量差且缺乏語(yǔ)義。再次，存放挖掘結(jié)果的知識(shí)庫(kù)沒(méi)有得到有效管理，降低了知識(shí)匹配速度和利用率。以上這些問(wèn)題都很大程度地影響了智能服務(wù)的精度和性能。本文針對(duì)當(dāng)前基于Web挖掘的智能電子商務(wù)網(wǎng)站中存在的問(wèn)題，設(shè)計(jì)了一個(gè)組件化的多層次的體系結(jié)構(gòu)框架，提出了利用新的Web數(shù)據(jù)源模型統(tǒng)一事件模型作為

4、基礎(chǔ)，設(shè)計(jì)個(gè)性化、推薦、預(yù)取、規(guī)則求精等方面的智能算法，為網(wǎng)上用戶(hù)提供比現(xiàn)有電子商務(wù)網(wǎng)站更具人性化特色和成功率更高的智能服務(wù)。本論文的創(chuàng)新主要體現(xiàn)在：(1)提出了一種基于應(yīng)用層記錄的統(tǒng)一事件模型UEM。該模型提供方便和精確的數(shù)據(jù)源搜集方式，搜集的數(shù)據(jù)內(nèi)容齊全，提供Web挖掘算法分析所需要的數(shù)據(jù)。UEM的準(zhǔn)確、快速的用戶(hù)識(shí)別和會(huì)話(huà)識(shí)別算法為Web使用挖掘算法提供了準(zhǔn)確的數(shù)據(jù)源。UEM可擴(kuò)充性好，可以根據(jù)需要很方便地增加各種的電子商務(wù)行為的

5、數(shù)據(jù)記錄。UEM能方便地把用戶(hù)會(huì)話(huà)的結(jié)果轉(zhuǎn)化為事件序列庫(kù)，供Web挖掘算法使用。UEM很好地支持多維多層次的Web使用挖掘算法分析。新的Web數(shù)據(jù)源模型的提出，為智能電子商務(wù)站點(diǎn)提供了高質(zhì)量的數(shù)據(jù)源，進(jìn)而提高智能服務(wù)的質(zhì)量?！　?2)通過(guò)改進(jìn)的信任函數(shù)公式和啟發(fā)式聚類(lèi)方法，提出了基于用戶(hù)任務(wù)級(jí)的Web用戶(hù)聚類(lèi)算法UTC，發(fā)現(xiàn)每簇用戶(hù)群共同的訪(fǎng)問(wèn)模式。UTC將頻繁特征子序列視為任務(wù)，使用信任函數(shù)進(jìn)行基于用戶(hù)任務(wù)級(jí)的用戶(hù)聚類(lèi)挖掘?；谟脩?hù)

6、級(jí)的挖掘能有效地挖掘同組用戶(hù)共同的訪(fǎng)問(wèn)模式且具有較好的性能；基于任務(wù)級(jí)的挖掘具有較好的語(yǔ)義涵義且具有較好的性能。該算法有效地挖掘用戶(hù)群的訪(fǎng)問(wèn)模式，為智能電子商務(wù)站點(diǎn)提供更高質(zhì)量的個(gè)性化、推薦等智能服務(wù)?！　?3)提出一種基于Markov樹(shù)的混合階Markov樹(shù)預(yù)取算法HOMT，發(fā)現(xiàn)用戶(hù)訪(fǎng)問(wèn)轉(zhuǎn)移模式，同時(shí)進(jìn)行快速的在線(xiàn)預(yù)取。HOMT使用一個(gè)模式樹(shù)壓縮存儲(chǔ)所有的Web訪(fǎng)問(wèn)序列和一種逐階增量更新方法來(lái)創(chuàng)建所有階的Markov模式樹(shù)。混合階算

7、法綜合考慮Markov模型各階對(duì)預(yù)取的影響，具有高覆蓋率和高精確率。利用離線(xiàn)產(chǎn)生的預(yù)取樹(shù)，HOMT在線(xiàn)使用快速預(yù)測(cè)算法進(jìn)行用戶(hù)訪(fǎng)問(wèn)預(yù)測(cè)，從而進(jìn)行高性能的預(yù)取。該算法有效提高了電子商務(wù)中Web預(yù)取等智能服務(wù)的質(zhì)量，減少用戶(hù)的延時(shí)感受?！　?4)提出了Web拓?fù)涓怕誓Ｐ秃陀腥りP(guān)聯(lián)規(guī)則算法IAR，結(jié)合商品目錄(網(wǎng)絡(luò)拓?fù)涞?，對(duì)挖掘出的關(guān)聯(lián)規(guī)則進(jìn)行有趣度評(píng)價(jià)，得出有趣度高的規(guī)則，即規(guī)則求精。進(jìn)一步改進(jìn)了IAR算法，提出了一種矩陣迭代的規(guī)則求精

8、算法WTPM，快速迭代求解任意兩個(gè)頁(yè)面間的關(guān)聯(lián)概率。規(guī)則求精能對(duì)知識(shí)庫(kù)進(jìn)行有效管理，提高了知識(shí)的利用率，進(jìn)而提高智能服務(wù)的質(zhì)量和性能?！　?5)充分結(jié)合多功能數(shù)據(jù)挖掘器(MFDM)，設(shè)計(jì)并實(shí)現(xiàn)多層體系架構(gòu)的智能商品信息分析決策網(wǎng)站的原型系統(tǒng)MyEShop，作為具有自主知識(shí)產(chǎn)權(quán)的Ego網(wǎng)絡(luò)購(gòu)物引擎系統(tǒng)的一部分。Ego系統(tǒng)采用搜索技術(shù)自動(dòng)在網(wǎng)上搜索商品信息，并自動(dòng)進(jìn)行信息提取，學(xué)習(xí)用戶(hù)興趣，進(jìn)行個(gè)性化、推薦、預(yù)取等智能服務(wù)。目前，國(guó)內(nèi)外極