基于網(wǎng)頁內(nèi)容的海量數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，這些數(shù)據(jù)中蘊藏著許多有價值的信息，其中存在的巨大潛能不容小覷。目前國內(nèi)外都在關(guān)注大數(shù)據(jù)給我們帶來的潛在商機(jī)，各行各業(yè)都有自己潛在的商業(yè)數(shù)據(jù)，在市場中取得最大的商業(yè)利潤。大數(shù)據(jù)行業(yè)是一個垂直的行業(yè)，如何從業(yè)務(wù)角度，從大數(shù)據(jù)視角上，能夠挖掘出更利于企業(yè)發(fā)展的價值，而不是單純的從技術(shù)層面上說數(shù)據(jù)挖掘、數(shù)據(jù)分析，而是挖掘“我”需要的有用的信息，利于“我”企業(yè)發(fā)展的信息。
　　本文針對網(wǎng)絡(luò)數(shù)據(jù)的

2、潛在價值這一特征，設(shè)計并實現(xiàn)了基于網(wǎng)頁內(nèi)容的海量數(shù)據(jù)管理系統(tǒng)。該系統(tǒng)能夠有效的利用數(shù)據(jù)挖掘方法，從網(wǎng)絡(luò)中獲取海量信息并提取出有用的模式和規(guī)律利用它將數(shù)據(jù)轉(zhuǎn)化為商業(yè)智能，提高企業(yè)的核心競爭力。
　　本文首先闡述海量數(shù)據(jù)管理系統(tǒng)的項目背景，項目目的和意義;然后介紹本系統(tǒng)涉及到的相關(guān)技術(shù)，之后提出系統(tǒng)業(yè)務(wù)、功能性和非功能性的需求分析;隨著對系統(tǒng)的設(shè)計提出解決方案。其中數(shù)據(jù)抓取采用網(wǎng)絡(luò)爬蟲技術(shù)，數(shù)據(jù)分析階段采用聚類算法中的K均值算法和K中

3、心點算法，關(guān)聯(lián)分析中采用頻繁漸增模式樹(Frequent Pattern Growth，F(xiàn)P-growth)算法來實現(xiàn)的。在整個項目的開發(fā)工作中，作者獨立負(fù)責(zé)完成了網(wǎng)絡(luò)數(shù)據(jù)抓取模塊，部分?jǐn)?shù)據(jù)預(yù)處理模塊功能和數(shù)據(jù)挖掘分析模塊的設(shè)計與實現(xiàn)。作為主要參與者，作者參與完成了網(wǎng)絡(luò)數(shù)據(jù)抓取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析模塊的功能實現(xiàn)。最后論文對系統(tǒng)的測試結(jié)果進(jìn)行分析和指標(biāo)的評估總結(jié)。
　　該項目已通過內(nèi)測，目前已準(zhǔn)備進(jìn)入運行階段。本人參與設(shè)計與實現(xiàn)的