web挖掘及其應(yīng)用

1、Web挖掘及其應(yīng)用,張浩若審計13012013012294,在競爭日益激烈的網(wǎng)絡(luò)經(jīng)濟中，只有贏得用戶才能最終贏得競爭的優(yōu)勢。而作為一個網(wǎng)站，你知道用戶都在你的網(wǎng)站上干什么嗎？你知道你的網(wǎng)站哪些部分最為用戶喜愛？而哪些讓用戶感到厭煩？什么地方出了安全漏洞？什么樣的改動帶來了顯著的用戶滿意度提高？什么樣的改動反而丟失了用戶？你怎樣評價你的網(wǎng)站廣告條的效率？你知道什么樣的廣告條點擊率最高嗎？“知己知彼，方能百戰(zhàn)不殆”

2、，你真的了解自己嗎？,挑戰(zhàn)的背后機會仍存所有客戶行為的電子化（Click Stream）使得大量收集每個用戶的每一個行為數(shù)據(jù)并深入研究客戶行為成為可能如何利用這個機會從這些繁瑣數(shù)據(jù)中得到大家都看得懂的有價值的信息和知識是我們面臨的問題,基于WEB 使用的挖掘，也稱為WEB 日志挖掘（Web Log Mining）。與前兩種挖掘方式以網(wǎng)上的原始數(shù)據(jù)為挖掘?qū)ο蟛煌赪E

3、B 使用的挖掘，面對的是在用戶和網(wǎng)絡(luò)交互的過程中抽取出來的第二手?jǐn)?shù)據(jù)。這些數(shù)據(jù)包括：網(wǎng)絡(luò)服務(wù)器訪問記錄、代理服務(wù)器日志記錄、用戶注冊信息以及用戶訪問網(wǎng)站時的行為動作等等。WEB 使用挖掘?qū)⑦@些數(shù)據(jù)一一紀(jì)錄到日志文件中，然后對積累起來的日志文件進行挖掘，從而了解用戶的網(wǎng)絡(luò)行為數(shù)據(jù)所具有的意義。,基于WEB 內(nèi)容的挖掘,非結(jié)構(gòu)化半結(jié)構(gòu)化\文本文檔超文本文檔\Bag of 

4、 words n-grams 詞短語概念或?qū)嶓w關(guān)系型數(shù)據(jù)\TFIDF 變體機器學(xué)習(xí)統(tǒng)計學(xué)(包括自然語言處理)歸類聚類發(fā)掘抽取規(guī)則發(fā)掘文本模式建立模式,基于WEB 結(jié)構(gòu)的挖掘,半結(jié)構(gòu)化數(shù)據(jù)庫形式的網(wǎng)站鏈接結(jié)構(gòu)\超文本文檔鏈接\邊界標(biāo)志圖 OEM 關(guān)系型數(shù)據(jù)圖形\Proprietary 算法 ILP (修改后)的關(guān)聯(lián)規(guī)則\發(fā)

5、掘高頻的子結(jié)構(gòu)發(fā)掘網(wǎng)站體系結(jié)構(gòu)歸類聚類,基于WEB 使用的挖掘,交互形式\服務(wù)器日志記錄 瀏覽器日志記錄\關(guān)系型表圖形\Proprietary 算法 機器學(xué)習(xí) 統(tǒng)計學(xué)(修改后的）關(guān)聯(lián)規(guī)則\站點建設(shè)改進與管理 建立用戶模式,Web Mining 技術(shù)已經(jīng)應(yīng)用于解決多方面的問題比如基于WEB 內(nèi)容和結(jié)構(gòu)的挖掘幫我們從網(wǎng)絡(luò)中更

6、加快速準(zhǔn)確地獲取所需資料而基于使用的數(shù)據(jù)挖掘之威力更是在商業(yè)運作上發(fā)揮的淋漓盡致具體表現(xiàn)在：,1. 對網(wǎng)站的修改能有目的有依據(jù)穩(wěn)步的提高用戶滿意度,發(fā)現(xiàn)系統(tǒng)性能瓶頸，找到安全漏洞，查看網(wǎng)站流量模式，找到網(wǎng)站最重要的部分，發(fā)現(xiàn)用戶的需要和興趣，對需求強烈的地方提供優(yōu)化，根據(jù)用戶訪問模式修改網(wǎng)頁之間的連接，把用戶想要的東西以更快且有效的方式提供給用戶，在正確的地方正確的時間把正確的信息提供給正確的人。,2. 測定投資回報率,

7、測定廣告和促銷計劃的成功度找到最有價值的ISP和搜索引擎測定合作和結(jié)盟網(wǎng)站對自身的價值,3. 提供個性化網(wǎng)站,對大多數(shù)WEB 應(yīng)用來說，讓用戶感到這個網(wǎng)站是完全為他自己定制的個性化網(wǎng)站，是WEB 站點成功的秘訣。針對不同的用戶完全按照其個人的興趣和愛好（數(shù)據(jù)挖掘算法得到的用戶訪問模式）向用戶動態(tài)的提供要瀏覽的建議自動提供個性化的網(wǎng)站。,Web數(shù)據(jù)挖掘在電子商務(wù)方面的應(yīng)用,Web挖掘這方面的應(yīng)用可以為企

8、業(yè)更有效的確認目標(biāo)市場、改進決策獲得更大的競爭優(yōu)勢提供幫助，從中可得到商家用于特定消費群體或個體進行定向營銷的決策信息。電子商務(wù)方面的Web挖掘功能主要是如下幾個方面：首先，客戶分類和客戶聚類。對Web的客戶訪問信息進行挖掘。對客戶進行分類分析。應(yīng)用聚類分析對客戶進行分組，并且分析組中客戶的共同特征，這樣就可以讓商家更好了解自己的客戶，向客戶提供更有針對性的服務(wù)。其次是找到潛在的客戶。在對Web的客戶訪問信息的挖掘中，利用分類技術(shù)可在因

9、特網(wǎng)上找到未來的潛在客戶。最后保留客戶的駐留時間。對于客戶而言，在網(wǎng)上每個銷售商對于客戶來說都是樣的，如何盡量使客戶在自己的網(wǎng)上駐留更長的時間，這樣對于商家才能有更多客戶和更大的利潤空間。,Web數(shù)據(jù)挖掘在網(wǎng)絡(luò)教育中的應(yīng)用,教育網(wǎng)絡(luò)化的趨勢不僅為學(xué)生提供了便利的學(xué)習(xí)方式和廣泛的選擇，也為學(xué)校提供了更加深入了解學(xué)生需求信息和學(xué)生行為特征的可能性。由于受教育對象個體之間存在著極大的差異性，網(wǎng)絡(luò)教學(xué)也必須是一種適應(yīng)個別化學(xué)習(xí)需求的個性化教學(xué)。

10、這種個性化教學(xué)的提供。是通過將傳統(tǒng)的數(shù)據(jù)挖M Web結(jié)合起來。進行Web數(shù)據(jù)挖掘，即從Web文檔和Web活動中抽取學(xué)生感興趣的潛在的有用模式和隱藏的信息，作為對學(xué)生提供個性化教學(xué)服務(wù)的依據(jù)，協(xié)助管理者優(yōu)化站點結(jié)構(gòu)。提高站點效率，更好地為網(wǎng)絡(luò)教育服務(wù)。,Web數(shù)據(jù)挖掘在網(wǎng)站設(shè)計中的應(yīng)用,在網(wǎng)站設(shè)計方面中的應(yīng)用，主要是通過對網(wǎng)站內(nèi)容的挖掘。特別是對文本內(nèi)容的挖掘，可以有效地組織網(wǎng)站信息。如采用自動歸類技術(shù)實現(xiàn)網(wǎng)站信息的層次性組織