ｗｅｂ挖掘在電子商務(wù)系統(tǒng)中的應(yīng)用

1、<p>　　Ｗｅｂ挖掘在電子商務(wù)系統(tǒng)中的應(yīng)用</p><p>　　[摘要] 本文闡述了在電子商務(wù)應(yīng)用中，利用Web挖掘技術(shù)，有效地將用戶訪問過程中的數(shù)據(jù)記錄到日志文件中，并對日志文件進(jìn)行有效地分析和挖掘；利用Apriori改進(jìn)算法FT－樹增長算法，找出對電子商務(wù)系統(tǒng)有指導(dǎo)作用的關(guān)聯(lián)規(guī)律。 </p><p>　　[關(guān)鍵詞] 電子商務(wù) 數(shù)據(jù)挖掘 日志挖掘 知識發(fā)現(xiàn) 人工智能 <

2、/p><p>　　隨著電子商務(wù)的發(fā)展，企業(yè)的數(shù)據(jù)越來越多，而當(dāng)其數(shù)據(jù)積累到一定程度時，必然會反映出一定規(guī)律性的東西，也就是說，企業(yè)的海量、分布、動態(tài)、復(fù)雜、非結(jié)構(gòu)化的數(shù)據(jù)中蘊含有可以為其利用的規(guī)律。因此，人們迫切希望使用一種技術(shù)，從中挖掘出具有價值的規(guī)律來，形成對企業(yè)的技術(shù)和經(jīng)營的指導(dǎo)。數(shù)據(jù)挖掘技術(shù)是可以用來挖掘這些規(guī)律的一種有效工具。 </p><p>　　Web中包含的豐富和動態(tài)的超鏈接信

3、息，以及Web頁面的訪問和使用信息，為數(shù)據(jù)挖掘提供了豐富的資源。如何對Web中的數(shù)據(jù)進(jìn)行有效的資源和知識發(fā)現(xiàn)，是Web挖掘需要解決的問題。 </p><p>　　一、Web信息數(shù)據(jù)的特征 </p><p>　　傳統(tǒng)數(shù)據(jù)挖掘的信息局限于數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，而Web信息數(shù)據(jù)是半結(jié)構(gòu)化或非結(jié)構(gòu)化的,具有如下特征: 一是大規(guī)模海量數(shù)據(jù)信息。二是信息分布廣泛。三是異質(zhì)、動態(tài)的信息源。Web及其數(shù)據(jù)

4、的更新、增長速度極快, Web上的信息幾乎都是隱藏的、未知的。四是信息具有豐富的內(nèi)涵。既有涉及各方面豐富的信息內(nèi)容,又蘊涵著訪問頁面、路徑、時間、用戶IP地址等這些潛在的訪問信息。 </p><p>　　二、數(shù)據(jù)挖掘及Web挖掘技術(shù) </p><p><b>　　1.數(shù)據(jù)挖掘 </b></p><p>　　數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，近幾

5、年來已被數(shù)據(jù)庫界所廣泛研究。它是在數(shù)據(jù)倉庫或大型數(shù)據(jù)庫的基礎(chǔ)上，從大量的、模糊的、隨機的數(shù)據(jù)中提取出數(shù)據(jù)間重要的但容易被人工分析忽略的知識和信息。數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫、人工智能、神經(jīng)網(wǎng)絡(luò)、預(yù)測理論、機器學(xué)習(xí)和統(tǒng)計學(xué)等多種相關(guān)技術(shù)。數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD）是從大量數(shù)據(jù)中提取出可信的、新穎的、有效的并能被人們理解的模式的高級處理過程。模式可以看作是我們所說的知識，它給出了數(shù)據(jù)的特性或數(shù)據(jù)之間的關(guān)系，是對數(shù)據(jù)包含的信息更抽象的描述。 &

6、lt;/p><p><b>　　2.Web挖掘 </b></p><p>　　Web挖掘是對數(shù)據(jù)挖掘的一種新的發(fā)展和應(yīng)用，但不同于傳統(tǒng)的數(shù)據(jù)挖掘，其主要區(qū)別在于傳統(tǒng)的數(shù)據(jù)挖掘的對象局限于數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，并利用關(guān)系表等存儲結(jié)構(gòu)來挖掘知識，而Web挖掘的對象是半結(jié)構(gòu)化或非結(jié)構(gòu)化特征。 </p><p>　　Web挖掘就是從大量的Web文檔和Web

7、活動中發(fā)現(xiàn)、抽取感興趣的、潛在的有用模式和隱含的、事先未知的、潛在的信息。它以數(shù)據(jù)挖掘、文本挖掘、多媒體挖掘為基礎(chǔ)，并綜合運用計算機網(wǎng)絡(luò)、數(shù)據(jù)庫與數(shù)據(jù)倉庫、人工智能、信息檢索、信息提取、機器學(xué)習(xí)、統(tǒng)計學(xué)、概率理論、可視化、計算機語言學(xué)、自然語言理解等多個領(lǐng)域的技術(shù)，并將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)與Web結(jié)合起來。Web挖掘分為：Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用記錄挖掘，如下圖所示。 </p><p>　　圖 W

8、eb挖掘的分類 </p><p>　　三、基于Web日志挖掘的算法 </p><p>　　Web日志記錄了用戶訪問的信息，包括用戶的訪問方式、訪問時間、訪問人數(shù)、用戶IP地址、被請求文件的URL HTTP版本號、傳輸字節(jié)數(shù)、引用頁的URL等。 </p><p><b>　　1.符號與定義 </b></p><p>　　W

9、eb日志文件是由一條記錄組成的，一條記錄實際上記錄的是用戶對Web頁面的一次訪問。 </p><p>　　定義1關(guān)聯(lián)規(guī)則：設(shè)I是Web日志的一條記錄，即I={i1,i2,…,im},其中ij(1≤j≤m)是某用戶訪問一種商品的數(shù)據(jù)，每次訪問一種商品都包含有如商品編號、訪問時間、訪問次數(shù)、客戶號、客戶IP地址等數(shù)據(jù)，稱此類數(shù)據(jù)為數(shù)據(jù)項。Ti∈I為I的一個子集。D={T1,T2,…,Tn}是關(guān)于Ti的集合，且X∈I，

10、Y∈I，X∩Y =Ф，則記錄X=&gt;Y為在集合D中X與Y相互關(guān)聯(lián)的規(guī)則。 </p><p>　　定義2支持度：如果X=&gt;Y在T中的S%成立，則稱X＝&gt;Y的支持度為S%，即 </p><p>　　S% =(|{t|t中含有X,Y}|/|T|)·100% </p><p>　　支持度S%表示X=&gt;Y中出現(xiàn)的

11、普遍程度。 </p><p><b>　　定義3置信度C% </b></p><p>　　C%=(|{t|t中含有X,Y}|/|{t|t中含有X}|)·100% </p><p>　　置信度表征的是規(guī)則的強度。 </p><p>　　定義4頻繁模式：大于給定的支持度的模式X=&gt;Y稱為頻繁模式，并將

12、它看成是T中一條有意義的關(guān)聯(lián)規(guī)則。 </p><p><b>　　2.算法描述 </b></p><p>　　根據(jù)FP－增長或頻繁模式增長（Frequent-pattern Growth）算法，將關(guān)聯(lián)規(guī)則的挖掘分為兩個步驟實施：根據(jù)所提供的最小支持度和最小置信度找出所有的頻繁項集；利用所產(chǎn)生的頻繁項集，產(chǎn)生合理的關(guān)聯(lián)規(guī)則。 </p><p>　

13、?。?）FP－增長算法的具體算法描述如下： </p><p>　　輸入事務(wù)數(shù)據(jù)庫D，最小支持度閾值min_sup </p><p>　　輸出D中的所有頻繁項集 </p><p>　　方法1按以下步驟掃描構(gòu)造FP－樹： </p><p>　　①掃描事務(wù)數(shù)據(jù)庫D一次。收集頻繁項的集合F和其支持度。對F按支持度降序排序，結(jié)果為頻繁項表L。 <

14、/p><p>　?、趧?chuàng)建FP－樹的根節(jié)點，以“null”標(biāo)記。對D中每個Trans,執(zhí)行： </p><p>　　選擇Trans中的頻繁項，按L中的次序排序。設(shè)排序后的頻繁項表為[p│P]，其中p是第一個元素，P是剩余的元素表。調(diào)用insert_tree([p│P] ,T)。即：如果T有子女N使得N.item－name = p.item－name，則N的記數(shù)增加1，否則創(chuàng)建一個新節(jié)點N，并將其

15、計數(shù)設(shè)置為1，鏈接到它的父節(jié)點T，并通過節(jié)點鏈接結(jié)構(gòu)將其鏈接到具有相同item–name的節(jié)點。如果P非空，遞歸調(diào)用insert_tree（P,N）。 </p><p>　　方法2procedure FT_growth(Tree,α) </p><p>　　if Tree含單個路徑P then </p><p>　　for P中節(jié)點的每個組合（記作β）產(chǎn)生模式β∪α

16、，其支持度support=β中節(jié)點最小支持度； </p><p>　　else for each αi在Tree的頭部{ </p><p>　　產(chǎn)生一個模式β=αi∪α，其支持度support =αi·support； </p><p>　　構(gòu)造β的條件模式基，然后構(gòu)造β的條件FP－樹Treeβ； </p><p>　　if Tre

17、eβ≠φthen </p><p>　　調(diào)用FP_growth(Treeβ,β)；} </p><p>　?。?）產(chǎn)生頻繁項集。本文主要介紹如何產(chǎn)生所有頻繁項集。假設(shè)有一個兩維的Web日志數(shù)據(jù)文件。一維是商品號，共有三種商品，分別標(biāo)志為T1，T2，T3；另一維包括商品的訪問次數(shù)，為簡化處理，分別標(biāo)志為Interview1，Interview2，Interview3，Interview4，I

18、nterview5。另假設(shè)Min_sup=0.3，Minconf =0.5,表1給出了兩維的事務(wù)數(shù)據(jù)庫，表2給出的是一維頻繁項集，表3給出的是二維頻繁項集。 </p><p><b>　　四、結(jié)束語 </b></p><p>　　本文提出了一種基于日志的Web數(shù)據(jù)挖掘方法，對電子商務(wù)系統(tǒng)具有較強的現(xiàn)實指導(dǎo)意義。Web日志挖掘所得到的結(jié)果既有利于提高網(wǎng)站的性能和安全性,