基于點擊流的Web數(shù)據(jù)挖掘研究與應(yīng)用.pdf

1、安徽大學(xué)碩士學(xué)位論文基于點擊流的Web數(shù)據(jù)挖掘研究與應(yīng)用姓名：許艷丹申請學(xué)位級別：碩士專業(yè)：計算機科學(xué)與技術(shù)指導(dǎo)教師：李龍澍201104摘要并結(jié)合數(shù)據(jù)挖掘等技術(shù)，進而分析網(wǎng)站用戶的行為的潛在有效信息，從而為網(wǎng)站經(jīng)營者提供決策支持。SQLServer2005是微軟下一代的數(shù)據(jù)管理和商業(yè)智能平臺，在商業(yè)智能方面，SQLServer2005提供了三大服務(wù)，分別是集成服務(wù)(SQLServerIntegrationServices，SSIS)、分

2、析服務(wù)(SQLSewerAnalysisServices，SSAS)和報表服務(wù)(SQLServerReportingServices，SSRS)。ETL是指將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中抽取(Extraction)、轉(zhuǎn)換(Transformation)、裝載(Loading)的過程。ETL目的就是對企業(yè)的異構(gòu)數(shù)據(jù)源中的分散的、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換然后加載到數(shù)據(jù)倉庫中。本文基于點擊流的web日志挖掘研究與應(yīng)用是從Web日志挖掘技術(shù)的理

3、論與方法展開研究，研究對象是建立在安徽國防科技職業(yè)學(xué)院網(wǎng)站系統(tǒng)之上的web日志數(shù)據(jù)，結(jié)合招生網(wǎng)站的實際數(shù)據(jù)，并對這些數(shù)據(jù)進行預(yù)處理后建立一個實驗性點擊流數(shù)據(jù)倉庫，旨在實現(xiàn)以Web日志為數(shù)據(jù)源，獲取用戶潛在信息，為高校如何通過網(wǎng)絡(luò)高效的推廣宣傳自己、高校生源情況分析以及為網(wǎng)站管理者進行網(wǎng)站結(jié)構(gòu)優(yōu)化提供決策支持。本文主要研究的內(nèi)容如下：(1)使用NET語言對點擊流數(shù)據(jù)源進行各種預(yù)處理，為點擊流數(shù)據(jù)倉庫的建立提供可靠的數(shù)據(jù)準(zhǔn)備，如：日志過濾、

4、用戶識別、會話識別等。對于用戶識別，本文綜合考慮各種方法的優(yōu)缺點，采用基于Agent、Session和IP地址的方法。(2)數(shù)據(jù)挖掘技術(shù)的方法、工具有很多，SSIS(SQLServerIntegraUonServices)是SQLServer2005中的一個全新的組件，它提供了構(gòu)建企業(yè)級數(shù)據(jù)整合應(yīng)用程序所需的功能和性能且具有可視化調(diào)試等特點。本文選擇采用基于SSIS的數(shù)據(jù)倉庫ETL工具完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載工作，并將其應(yīng)用到了安徽國