基于Web挖掘的交通出行方案生成系統(tǒng).pdf

1、隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)庫的應(yīng)用無論從規(guī)模、范圍和深度上都有了長足的進(jìn)步，從單臺(tái)機(jī)器、局域網(wǎng)發(fā)展到廣域網(wǎng)絡(luò)，甚至到Internet全球信息系統(tǒng)。另一方面，電子商務(wù)、企業(yè)信息化和政府事務(wù)的管理以及數(shù)據(jù)挖掘工具的發(fā)展，都提供了大規(guī)模的數(shù)據(jù)。因此，現(xiàn)在僅僅依靠數(shù)據(jù)庫管理系統(tǒng)的查詢檢索機(jī)制和統(tǒng)計(jì)學(xué)分析方法已遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)需要了，它迫切要求自動(dòng)和智能的將待處理的數(shù)據(jù)轉(zhuǎn)化成有用的信息和知識(shí)。于是，數(shù)據(jù)挖掘(Data Mining，DM)便應(yīng)運(yùn)

2、而生，成為近年來人工智能、數(shù)據(jù)庫應(yīng)用領(lǐng)域的研究熱點(diǎn)。Web上有海量的數(shù)據(jù)信息，利用現(xiàn)有的Web查詢技術(shù)并不能滿足人們的應(yīng)用需求。相對于Web的數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)為完全結(jié)構(gòu)化的數(shù)據(jù)，可以根據(jù)一定的數(shù)據(jù)模型來具體描述特定的數(shù)據(jù)，同時(shí)可以很好地定義和解釋相關(guān)的查詢語言。然而，Web上數(shù)據(jù)的最大特點(diǎn)是就是半結(jié)構(gòu)化：數(shù)據(jù)沒有嚴(yán)格的結(jié)構(gòu)模式、含有不同格式的數(shù)據(jù)(文本、聲音、圖像等)、面向顯示的HTML文本無法區(qū)分?jǐn)?shù)據(jù)類型等，Web挖掘的

3、對象是大量異質(zhì)、分布的Web文檔以及服務(wù)器上的日志、用戶信息等，挖掘所得到的模式可能是關(guān)于Web內(nèi)容的，也可能是關(guān)于Web結(jié)構(gòu)或使用的?？梢?，Web挖掘比傳統(tǒng)的數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)挖掘復(fù)雜得多。通過Web挖掘，不僅可以從大量多種多樣信息的Web頁面中提取出我們需要的有用的知識(shí)，還可以得到關(guān)于群體用戶訪問行為和方式的普遍知識(shí)，用以改進(jìn)Web服務(wù)方設(shè)計(jì)。
　　 Web數(shù)據(jù)挖掘技術(shù)首要解決半結(jié)構(gòu)化數(shù)據(jù)源模型和半結(jié)構(gòu)化數(shù)據(jù)模型的查詢

4、與集成問題。解決Web上的異構(gòu)數(shù)據(jù)的集成與查詢問題，就必須要有一個(gè)模型來清晰地描述Web上的數(shù)據(jù)。針對Web上的數(shù)據(jù)半結(jié)構(gòu)化的特點(diǎn)，尋找一個(gè)半結(jié)構(gòu)化的數(shù)據(jù)模型是解決問題的關(guān)鍵所在。近來興起的XML數(shù)據(jù)就是一種自描述的半結(jié)構(gòu)化數(shù)據(jù)，它支持用戶自定義文檔標(biāo)記，用有序的、嵌套的元素組織有一定結(jié)構(gòu)的數(shù)據(jù)，是面向數(shù)據(jù)的。本文正是利用XML的特點(diǎn)，首先采用一定方式的頁面下載，經(jīng)過數(shù)據(jù)清洗或頁面精簡，然后通過Java工具將HTML頁面轉(zhuǎn)換成XML進(jìn)行

5、保存。再對保存的數(shù)據(jù)進(jìn)行同義詞替換，數(shù)據(jù)整理等。最后將數(shù)據(jù)存入準(zhǔn)備好的數(shù)據(jù)庫中。本文主要以旅游相關(guān)知識(shí)領(lǐng)域?yàn)檠芯繉ο?，研究隱藏在半結(jié)構(gòu)化數(shù)據(jù)中的模式和數(shù)據(jù)實(shí)體、數(shù)據(jù)實(shí)體內(nèi)容之間的模式和聯(lián)系，通過頁面下載，數(shù)據(jù)預(yù)處理，數(shù)據(jù)挖掘來實(shí)現(xiàn)方便查詢火車、飛機(jī)、汽車等交通工具時(shí)刻表及各站點(diǎn)相關(guān)知識(shí)，提供出行方案查詢頁面，指定起止站點(diǎn)、組合交通工具、轉(zhuǎn)車方式等條件后，系統(tǒng)以所需時(shí)間、金額、轉(zhuǎn)車次數(shù)等為依據(jù)在線生成混合交通的最優(yōu)化方案。
　　

6、通過本次系統(tǒng)設(shè)計(jì)，通過頁面下載，對數(shù)據(jù)進(jìn)行挖掘，最終得到一個(gè)整齊的數(shù)據(jù)表。本次設(shè)計(jì)的主要特點(diǎn)在于如何從海量網(wǎng)頁(網(wǎng)站)獲取大量數(shù)據(jù)，并產(chǎn)生增量獲取的效果，在此基礎(chǔ)上提供完整的出行方案。本系統(tǒng)的難點(diǎn)也是WEB挖掘的難點(diǎn)在于如何從大量的異構(gòu)的數(shù)據(jù)庫中提取有用數(shù)據(jù)。
　　 本次設(shè)計(jì)的創(chuàng)新點(diǎn)在于：
　　 1)構(gòu)建了一個(gè)智能Web信息挖掘的原型系統(tǒng)，實(shí)現(xiàn)了知識(shí)獲取、知識(shí)組織及知識(shí)服務(wù)三大應(yīng)用體系建設(shè)；
　　 2)建立一系列