貝葉斯網(wǎng)絡(luò)在Web數(shù)據(jù)挖掘中的研究及應(yīng)用.pdf

1、隨著Internet的迅猛發(fā)展，如何在Web這個(gè)全球最大的數(shù)據(jù)集合中找到有價(jià)值的信息，并從中提取出知識(shí)內(nèi)容已經(jīng)成為目前數(shù)據(jù)挖掘、信息檢索和知識(shí)管理等研究領(lǐng)域的重要課題。Web挖掘是指對(duì)Web文檔的內(nèi)容、Web上可利用資源的使用情況以及資源之間的關(guān)系進(jìn)行分析，從中發(fā)現(xiàn)有效的、新穎的、潛在有用的、并且最終可理解的模式。作為機(jī)器學(xué)習(xí)主要技術(shù)之一的貝葉斯網(wǎng)絡(luò)表示了世界中客體間的因果聯(lián)系與條件概率分布，其所蘊(yùn)涵的不確定性知識(shí)及規(guī)則是進(jìn)行不精確推理

2、的主要工具。它的結(jié)構(gòu)就蘊(yùn)涵了規(guī)則，而伴隨各節(jié)點(diǎn)的條件概率則表達(dá)了某種知識(shí)。貝葉斯網(wǎng)絡(luò)在統(tǒng)計(jì)學(xué)、決策分析、人工智能等領(lǐng)域已有越來(lái)越多的應(yīng)用。 由于XML能夠使不同來(lái)源的結(jié)構(gòu)化的數(shù)據(jù)很容易地結(jié)合在一起，因此使搜索多樣的不兼容數(shù)據(jù)庫(kù)能夠成為可能，從而為解決Web數(shù)據(jù)挖掘難題帶來(lái)了希望。本文以股票數(shù)據(jù)的抽取為例介紹了一種運(yùn)用XML技術(shù)對(duì)Web上數(shù)據(jù)抽取與存儲(chǔ)的方法。該方法不需開(kāi)發(fā)人員掌握屬于特定系統(tǒng)的專(zhuān)門(mén)查詢(xún)語(yǔ)言，對(duì)目標(biāo)Web頁(yè)面的簡(jiǎn)單

3、更改有一定的處理能力，而且對(duì)于不同頁(yè)面的不同數(shù)據(jù)的抽取只需對(duì)XSL變換代碼進(jìn)行少許更改。 在對(duì)貝葉斯統(tǒng)計(jì)方法、基于KL距離和相互信息方法、基于最小描述長(zhǎng)度原理等評(píng)分函數(shù)方法進(jìn)行詳細(xì)的推導(dǎo)、分析后，本文提出了一種附加復(fù)雜度約束條件的最大信息熵評(píng)分函數(shù)，并設(shè)計(jì)了一種基于模擬退火的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法。通過(guò)此算法使用股票歷史數(shù)據(jù)分析訓(xùn)練出網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并學(xué)習(xí)得到網(wǎng)絡(luò)各節(jié)點(diǎn)的條件概率表，用得到的貝葉斯模型預(yù)測(cè)股票的價(jià)格走勢(shì)及股票價(jià)格