專業(yè)信息定向采集與多維搜索系統(tǒng).pdf

1、決策依靠經驗、直覺和邏輯驅動，但大數(shù)據(jù)時代以來，特別對專業(yè)領域來講，決策越來越依靠數(shù)據(jù)驅動?；ヂ?lián)網(wǎng)上存在大量領域相關文本信息，這些信息多以新聞報道、博客、社區(qū)門戶等形式存在。多維搜索是一種基于排序與分類的搜索技術，如何將這些技術應用到互聯(lián)網(wǎng)專業(yè)領域數(shù)據(jù)是一個非常復雜的流程，涉及內容從如何從互聯(lián)網(wǎng)采集信息、保證HTML文本質量到自然語言處理與多維搜索技術等。本文結合分布式定向爬蟲、數(shù)據(jù)清洗、文本分析、多維搜索等技術，構建了一個面向專業(yè)領域

2、的互聯(lián)網(wǎng)定向數(shù)據(jù)采集與多維搜索系統(tǒng)。本文基于一個實際的應用例子，聚焦于實現(xiàn)一個簡單易用且可擴展的系統(tǒng)用于專業(yè)領域的互聯(lián)網(wǎng)文本分析。
　　本研究主要內容包括：⑴基于專業(yè)領域互聯(lián)網(wǎng)數(shù)據(jù)采集需求，構建了一個分布式定向爬蟲。與全文抓取不同，分布式定向爬蟲要求從互聯(lián)網(wǎng)快速抓取深層次、精確化的結構化數(shù)據(jù)；⑵構建信息抽取通道，用于清洗加工分布式爬蟲采集下來的數(shù)據(jù)。步驟主要包括去除網(wǎng)頁噪音、進行內容查重、丟棄無關專業(yè)領域數(shù)據(jù)、文本分詞與實體抽??；