面向企業(yè)信息的Web聚焦搜索的設(shè)計與實(shí)現(xiàn).pdf

1、TheDesignandImplementationofEnterpriseInformationOrientedWebFocusedSearchNanjingNormalUniversityFortheAcademicDegreeofMasterofEngineeringBYXinFanSupervisedbyAssociateProfJunshengZhouSchoolofComputerScienceandTechnoledgeN

2、anjingNormalUniversityMarch2013摘要摘要從海量網(wǎng)絡(luò)資源中獲取企業(yè)基本信息，為企業(yè)的客戶關(guān)系管理、潛在競爭對手發(fā)現(xiàn)等提供信息支持，對于企業(yè)的生存和發(fā)展壯大具有重要意義。鑒于通用搜索引擎處理這類問題時存在的局限性，本文設(shè)計實(shí)現(xiàn)了面向企業(yè)信息的聚焦搜索來滿足此類需求。Web中的企業(yè)信息頁面可以分為兩大類：企業(yè)信息以結(jié)構(gòu)化表格形式呈現(xiàn)的POI頁面、企業(yè)信息以非結(jié)構(gòu)化文本形式呈現(xiàn)的TOI頁面。兩類頁面結(jié)構(gòu)差異較大，聚

3、焦搜索過程需分開進(jìn)行。聚焦爬蟲和信息抽取是實(shí)現(xiàn)聚焦搜索的兩個核心任務(wù)，圍繞聚焦搜索的這兩個核心任務(wù)，且面向企業(yè)信息的兩種不同表現(xiàn)形式，本文主要展開了如下幾個方面的研究工作：1、面向POI的聚焦爬蟲?，F(xiàn)有聚焦爬蟲研究多是面向主題的，對于面向POI的用戶需求目前還較缺乏相關(guān)研究。本文利用樸素貝葉斯與支持向量機(jī)等分類器模型，通過設(shè)計有效的特征模板，實(shí)現(xiàn)了面向POI的聚焦爬蟲。實(shí)驗(yàn)結(jié)果表明利用爬蟲對面向POI的用戶需求進(jìn)行聚焦是可行的。2、面向

4、TOI的聚焦爬蟲?，F(xiàn)有聚焦爬蟲在處理文本頁面時，大多直接對頁面內(nèi)的所有文本進(jìn)行處理，這就引入了較多的噪音內(nèi)容。本文采用改進(jìn)的頁面相關(guān)性分析算法，僅獲取與主題最相關(guān)的五塊文本，對不同塊賦予相應(yīng)的權(quán)重，利用分類模型方法判斷整體的相關(guān)性，實(shí)現(xiàn)了面向TOI的聚焦爬蟲。實(shí)驗(yàn)也采用樸素貝葉斯和支持向量機(jī)分類模型，實(shí)驗(yàn)結(jié)果與基于頁面全部文本實(shí)現(xiàn)的聚焦爬蟲Baseline系統(tǒng)相比，收獲率平均高出20％左右，最高差值可達(dá)5135％，充分說明了改進(jìn)的頁面相

5、關(guān)性算法是非常有效的。3、企業(yè)信息抽取。以聚焦爬蟲獲取的相關(guān)網(wǎng)頁集為數(shù)據(jù)源，抽取POI域、TOI域內(nèi)的企業(yè)信息。POI域內(nèi)的企業(yè)信息布局規(guī)范，結(jié)構(gòu)規(guī)律性較強(qiáng)，因此僅采用包裝器方式對相對簡單的POI域進(jìn)行信息抽取。對于相對較復(fù)雜的TOI域內(nèi)的企業(yè)信息，本文采用統(tǒng)計學(xué)習(xí)模型將任務(wù)分解為兩步進(jìn)行抽取：先判斷一個句子是否包含槽信息，然后判斷句中短語所屬的槽類別，根據(jù)句子和短語的聯(lián)合概率確定最終的槽填充內(nèi)容。實(shí)驗(yàn)定義了8種企業(yè)屬性作為待填充槽，各