Web海洋數(shù)據抓取及存儲系統(tǒng)的研究與實現(xiàn).pdf

1、經過長年累月的信息調查和資料收集，各國的相關研究機構已經保存了大量的海洋科學數(shù)據及相關信息。隨著互聯(lián)網的普及，這些機構也已經把相關海洋數(shù)據信息發(fā)布在了Web上供用戶查詢下載。但目前還沒有針對此領域的信息檢索和數(shù)據抓取工具，因此難以自動、高效地大規(guī)模獲取Web海洋數(shù)據。另外，海洋數(shù)據通常以科學文本數(shù)據的形式發(fā)布，這種形式的數(shù)據是半結構化的，需要額外的格式說明等元數(shù)據信息才能理解其含意。這種形式的數(shù)據難以進行直接操作，只有將其存儲到關系數(shù)據

2、庫中才能得到有效的查詢和分析。
　　針對以上的背景情況，本文構建了一個面向Web海洋數(shù)據進行發(fā)現(xiàn)、抓取和存儲工作的系統(tǒng)框架。該框架將整個系統(tǒng)劃分成三大模塊，分別完成目標網站檢索、海洋數(shù)據抓取和數(shù)據存儲的相關工作。
　　對于目標網站的檢索，本文構建了海洋科學數(shù)據領域的關鍵詞庫，并在此基礎上提出了本領域的主題相關度評價算法，從而通過調用搜索引擎并對返回結果進行主題過濾的方式檢索到了滿足需求的站點地址。對于海洋科學數(shù)據文件的下載，

3、本文設計了一個專用的網頁文件抓取器并提出了海洋數(shù)據元數(shù)據文件的提取算法，從而能夠有效的抓取到海洋數(shù)據文件并進行正確的解析。對于海洋文本數(shù)據的存儲，本文設計并建立了科學文本數(shù)據到關系數(shù)據庫數(shù)據之間的映射模型，從而將存放在文本文件中的海洋數(shù)據正確的加載到了海洋關系數(shù)據庫中，讓這些數(shù)據得到了有效的利用。
　　實際應用表明，本文所設計并實現(xiàn)的系統(tǒng)取得了較好的效果，能夠滿足構建海洋數(shù)據倉庫的相關研究中對海量數(shù)據的獲取需求。同時本系統(tǒng)也有著良