基于網頁內容的海量數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn).pdf

1、隨著網絡的迅速發(fā)展，萬維網成為大量信息的載體，這些數(shù)據(jù)中蘊藏著許多有價值的信息，其中存在的巨大潛能不容小覷。目前國內外都在關注大數(shù)據(jù)給我們帶來的潛在商機，各行各業(yè)都有自己潛在的商業(yè)數(shù)據(jù)，在市場中取得最大的商業(yè)利潤。大數(shù)據(jù)行業(yè)是一個垂直的行業(yè)，如何從業(yè)務角度，從大數(shù)據(jù)視角上，能夠挖掘出更利于企業(yè)發(fā)展的價值，而不是單純的從技術層面上說數(shù)據(jù)挖掘、數(shù)據(jù)分析，而是挖掘“我”需要的有用的信息，利于“我”企業(yè)發(fā)展的信息。
　　本文針對網絡數(shù)據(jù)的

2、潛在價值這一特征，設計并實現(xiàn)了基于網頁內容的海量數(shù)據(jù)管理系統(tǒng)。該系統(tǒng)能夠有效的利用數(shù)據(jù)挖掘方法，從網絡中獲取海量信息并提取出有用的模式和規(guī)律利用它將數(shù)據(jù)轉化為商業(yè)智能，提高企業(yè)的核心競爭力。
　　本文首先闡述海量數(shù)據(jù)管理系統(tǒng)的項目背景，項目目的和意義;然后介紹本系統(tǒng)涉及到的相關技術，之后提出系統(tǒng)業(yè)務、功能性和非功能性的需求分析;隨著對系統(tǒng)的設計提出解決方案。其中數(shù)據(jù)抓取采用網絡爬蟲技術，數(shù)據(jù)分析階段采用聚類算法中的K均值算法和K中

3、心點算法，關聯(lián)分析中采用頻繁漸增模式樹(Frequent Pattern Growth，F(xiàn)P-growth)算法來實現(xiàn)的。在整個項目的開發(fā)工作中，作者獨立負責完成了網絡數(shù)據(jù)抓取模塊，部分數(shù)據(jù)預處理模塊功能和數(shù)據(jù)挖掘分析模塊的設計與實現(xiàn)。作為主要參與者，作者參與完成了網絡數(shù)據(jù)抓取、數(shù)據(jù)預處理和數(shù)據(jù)分析模塊的功能實現(xiàn)。最后論文對系統(tǒng)的測試結果進行分析和指標的評估總結。
　　該項目已通過內測，目前已準備進入運行階段。本人參與設計與實現(xiàn)的