北大計算機科學技術研究所

1、ICST 參加SEWM2005評測報告,北京大學計算機科學技術研究所路 斌,內(nèi)容提綱,CWT100G數(shù)據(jù)預處理Web檢索文本檢索鏈接分析任務處理Web Page分類未來工作,CWT100G數(shù)據(jù)的預處理,URL消重提取552.6萬條可用數(shù)據(jù)提取內(nèi)容：網(wǎng)頁信息超鏈接關系,從原始網(wǎng)頁得到更多的信息,提取六個字段，賦予不同權重網(wǎng)頁正文、Title、Meta、正文標題、鏈出文字鏈入文字提取鏈接關系網(wǎng)頁間的指向關系,

2、內(nèi)容提綱,CWT100G數(shù)據(jù)預處理Web檢索文本檢索鏈接分析任務處理Web Page分類未來工作,文本檢索,自動分詞,正向最大匹配法逆向最大匹配法雙向匹配法聯(lián)想-回溯法...,索引技術,倒排索引,查詢處理,查詢處理流程查詢分詞短語查詢and查詢or查詢,相關度排序,向量空間模型初始檢索結果根據(jù)tf*idf排序文章長度TF/總詞數(shù),字段權重調(diào)整,提取內(nèi)容包括六個域：網(wǎng)頁正文、標簽、Meta、鏈出文字、正

3、文標題、鏈入文字各個字段分別建立索引權重計算線性搜索方法粗粒度－>細粒度,鏈接分析,HITSPageRank衰減因子值的選擇： 0.85衰減因子值越大，計算所需的迭代次數(shù)就越多PageRank值與IR系統(tǒng)結果值相乘,Web檢索任務,主頁/指定頁面查詢實施與主流搜索引擎所用技術基本相同主題提取任務當前主流搜索引擎并不能很好的完成這項任務，對檢索結果運用特別的算法進行再處理,主頁/指定頁面查詢,區(qū)分HomePa

4、ge和NamedPageHP對主頁加分線性搜索最佳系數(shù)NP/HP采用不同系數(shù),,主題提取任務,鏈接關系利用將查詢結果中同一網(wǎng)站的網(wǎng)頁聚集在一塊，尋找入口網(wǎng)頁（在較上層且指向較多的結果網(wǎng)頁）二次篩選處理使得前10/20個結果包含盡可能多的不同站點，允許一定程度的冗余（2/3),實驗結果分析,NP/HP任務區(qū)分針對任務采取不同策略HP任務相對于NP較難TD任務更難如何更好利用鏈接關系,內(nèi)容提綱,CWT100G數(shù)據(jù)預處理

5、Web檢索文本檢索鏈接分析任務處理Web Page分類未來工作,Web Page分類,分類算法SVM文檔模型向量空間模型網(wǎng)頁特征網(wǎng)頁正文、Title、Meta、正文標題、鏈出文字鏈入文字,實驗結果分析,各個字段權重計算,內(nèi)容提綱,CWT100G數(shù)據(jù)預處理Web檢索文本檢索鏈接分析任務處理Web Page分類未來工作,未來工作,文檔模型相似度計算模型自動分詞詞性標注、消除歧義、未登錄詞識別URL匹