中俄經(jīng)貿(mào)合作網(wǎng)個(gè)性化服務(wù)的數(shù)據(jù)預(yù)處理研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，Web中提供的信息越來(lái)越豐富，但是Web站點(diǎn)及信息數(shù)目的增多，導(dǎo)致用戶尋找信息困難，這就促進(jìn)了提供一對(duì)一服務(wù)的個(gè)性化服務(wù)系統(tǒng)的出現(xiàn)。個(gè)性化服務(wù)的實(shí)現(xiàn)需要借助Web數(shù)據(jù)挖掘技術(shù)。一般來(lái)說(shuō)，Web挖掘分為四個(gè)子任務(wù)：資源搜索、數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模式分析。預(yù)處理是Web挖掘任務(wù)的一個(gè)重要階段，也是工作量較大的一部分，數(shù)據(jù)預(yù)處理的質(zhì)量直接關(guān)系到數(shù)據(jù)挖掘結(jié)果的好壞。Web挖掘的針對(duì)性強(qiáng)，對(duì)于不同領(lǐng)域，數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模

2、式分析等過(guò)程的處理也不完全相同。 目前，具體到針對(duì)個(gè)性化服務(wù)的數(shù)據(jù)預(yù)處理研究方面，研究大都停留在對(duì)啟發(fā)式規(guī)則的簡(jiǎn)單應(yīng)用，而沒(méi)有結(jié)合相關(guān)的領(lǐng)域知識(shí)。尤其是在會(huì)話識(shí)別中，一般根據(jù)設(shè)定的閾值進(jìn)行“一刀切”式的處理，會(huì)話識(shí)別的精度不高，從而影響了后續(xù)對(duì)用戶訪問(wèn)習(xí)慣的挖掘。 本文著重對(duì)個(gè)性化服務(wù)所基于的Web數(shù)據(jù)挖掘技術(shù)中的數(shù)據(jù)預(yù)處理過(guò)程進(jìn)行研究。在研究過(guò)程中以中俄經(jīng)貿(mào)合作網(wǎng)個(gè)性化服務(wù)所需的Web挖掘數(shù)據(jù)形式為目標(biāo)，通過(guò)改進(jìn)現(xiàn)有的

3、啟發(fā)式規(guī)則，進(jìn)行系統(tǒng)建模、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、程序流程設(shè)計(jì)等，使用編程語(yǔ)言最終實(shí)現(xiàn)了一套Web日志數(shù)據(jù)預(yù)處理系統(tǒng)。該系統(tǒng)將數(shù)據(jù)預(yù)處理的過(guò)程一數(shù)據(jù)清洗、用戶識(shí)別、會(huì)話識(shí)別等功能封裝起來(lái)，增加了數(shù)據(jù)預(yù)處理過(guò)程的可重用性，使得在進(jìn)行進(jìn)一步個(gè)性化研究時(shí)更加快捷、方便。同時(shí)，在SQL SERVER形成了一個(gè)可供進(jìn)一步進(jìn)行個(gè)性化服務(wù)研究的數(shù)據(jù)挖掘庫(kù)。 在如何能高效地應(yīng)對(duì)更大數(shù)據(jù)量下的日志處理，如何在不影響效率的前提下更加精確地識(shí)別用戶和會(huì)話，以及