數(shù)據(jù)挖掘的新技術(shù)研究.pdf

1、隨著Internet的發(fā)展，網(wǎng)上購(gòu)物、電子政務(wù)、網(wǎng)上信息檢索等活動(dòng)日益頻繁，人們對(duì)網(wǎng)絡(luò)服務(wù)的需求成為網(wǎng)絡(luò)發(fā)展的巨大動(dòng)力。但面對(duì)網(wǎng)上巨大的數(shù)據(jù)量和眾多的網(wǎng)站，人們?cè)谶x擇網(wǎng)絡(luò)服務(wù)、檢索信息時(shí)往往感到無(wú)從下手，如何使網(wǎng)絡(luò)服務(wù)適應(yīng)不同用戶的個(gè)性化需求已成為網(wǎng)絡(luò)服務(wù)提供者急切關(guān)心的問題。要滿足用戶的個(gè)性化需求，關(guān)鍵的問題是如何發(fā)現(xiàn)用戶的訪問模式，對(duì)Web進(jìn)行數(shù)據(jù)挖掘的目標(biāo)之一就是要發(fā)現(xiàn)用戶的訪問模式。 Web數(shù)據(jù)挖掘可分為三種類型，即：W

2、eb使用挖掘、Web結(jié)構(gòu)挖掘和Web內(nèi)容挖掘，而挖掘用戶的頻繁訪問序列是發(fā)現(xiàn)用戶的訪問模式的主要方法，也是Web使用挖掘的一項(xiàng)重要任務(wù)。Web使用挖掘可以從Web日志或訪問者的行為中發(fā)現(xiàn)知識(shí)，并且可以從不同用戶的訪問中發(fā)現(xiàn)不同用戶的行為之間的內(nèi)在關(guān)系。挖掘的結(jié)果可以用于改進(jìn)Web站點(diǎn)的設(shè)計(jì)和向用戶提供服務(wù)的方式，以盡可能地滿足不同用戶的需求。本文在深入研究了OLTP、OLAP數(shù)據(jù)庫(kù)的設(shè)計(jì)特點(diǎn)和Web日志挖掘的已有算法及其相關(guān)知識(shí)的基礎(chǔ)上

3、，對(duì)原AprioriAll算法進(jìn)行了改進(jìn)。在Web日志挖掘過(guò)程中，通過(guò)對(duì)Web日志數(shù)據(jù)按“用戶維”進(jìn)行切片，不僅可以將所有用戶看作一個(gè)整體進(jìn)行挖掘，而且還實(shí)現(xiàn)了對(duì)不同的用戶個(gè)體的行為進(jìn)行獨(dú)立地挖掘，從而使挖掘出的結(jié)果能夠滿足對(duì)用戶個(gè)性化使用的需求。這一改進(jìn)同時(shí)實(shí)現(xiàn)了對(duì)Web日志的增量挖掘，使對(duì)Web日志的動(dòng)態(tài)挖掘成為可能。實(shí)驗(yàn)表明，改進(jìn)后的算法較原算法減少了挖掘過(guò)程中候選集的大小和對(duì)數(shù)據(jù)庫(kù)的掃描次數(shù)，使時(shí)空效率得以提高。 針對(duì)表

4、示和存儲(chǔ)Web事務(wù)要占用大量?jī)?nèi)存，以及Apriori類算法在挖掘過(guò)程中要產(chǎn)生大量候選集和對(duì)數(shù)據(jù)庫(kù)進(jìn)行頻繁掃描的缺點(diǎn)，本文提出了Web事務(wù)編碼技術(shù)和逆-Apriori算法。Web事務(wù)編碼技術(shù)使用一個(gè)數(shù)字表示一個(gè)Web事務(wù)，可以對(duì)Web事務(wù)數(shù)據(jù)庫(kù)進(jìn)行壓縮，減少內(nèi)存的占用；而逆-Apriori算法可以反向獲取用戶的最大頻繁訪問序列，并在此基礎(chǔ)上發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，避免了Apriori類算法逐次產(chǎn)生候選頻繁項(xiàng)集的煩瑣過(guò)程。 通過(guò)分析用戶瀏覽網(wǎng)

5、頁(yè)的行為和網(wǎng)站對(duì)用戶請(qǐng)求的反應(yīng)，本文還提出了利用用戶訪問網(wǎng)頁(yè)的駐留時(shí)間進(jìn)行Web日志挖掘的方法。駐留時(shí)間反映了用戶瀏覽網(wǎng)頁(yè)的行為，通過(guò)在挖掘前設(shè)定用戶訪問網(wǎng)頁(yè)的駐留時(shí)間的區(qū)間值，使挖掘者可以選擇和縮減挖掘的范圍，提高了挖掘算法與使用者之間的交互能力?；谶@一思想的新算法，首先通過(guò)對(duì)Web日志的預(yù)處理，產(chǎn)生帶有駐留時(shí)間的Web訪問記錄集，然后以駐留時(shí)間為限制條件，構(gòu)建駐留時(shí)間頻繁訪問序列樹，用以存儲(chǔ)和壓縮帶有駐留時(shí)間的數(shù)據(jù)庫(kù)，并記錄網(wǎng)頁(yè)的

6、支持?jǐn)?shù)量。最后以駐留時(shí)間頻繁訪問序列樹為挖掘?qū)ο?，在最小支持度的限制下，通過(guò)采用深度優(yōu)先的方法對(duì)駐留時(shí)間頻繁訪問序列樹進(jìn)行遍歷，發(fā)現(xiàn)用戶訪問網(wǎng)站的駐留時(shí)間最大頻繁訪問序列，對(duì)比實(shí)驗(yàn)表明該算法對(duì)Web日志挖掘有較高的效率。模糊神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘研究領(lǐng)域的又一大熱點(diǎn)問題。本文依據(jù)最大似然原則，推導(dǎo)出用于模糊神經(jīng)網(wǎng)絡(luò)分類算法的交叉熵函數(shù)準(zhǔn)則，同時(shí)構(gòu)建了新的激活函數(shù)?；诮徊骒販?zhǔn)則和新的激活函數(shù)的模糊神經(jīng)網(wǎng)絡(luò)分類算法與基于誤差平方和準(zhǔn)則的BP算

7、法相比，有更快的學(xué)習(xí)速率而又不致使學(xué)習(xí)過(guò)程失穩(wěn)，不易陷入局部極小點(diǎn)。新的激活函數(shù)的優(yōu)點(diǎn)在于不僅可以取到0、1值，而且還具有根據(jù)總誤差調(diào)節(jié)函數(shù)曲線斜率的能力，加快了算法的收斂速度，提高了算法的效率，改善了算法的動(dòng)態(tài)性能。 最后，本文提出了引入生物信息技術(shù)解決Web挖掘中的用戶識(shí)別問題的設(shè)想，并提出了基于隱馬爾科夫模型構(gòu)建虹膜識(shí)別系統(tǒng)的方法，該方法僅需要虹膜的方向域作為輸入?yún)?shù)，與需要許多虹膜細(xì)節(jié)的常規(guī)方法相比，它對(duì)虹膜圖像的噪聲與