基于非結(jié)構(gòu)化招聘信息的采集與清洗系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅猛發(fā)展打破了傳統(tǒng)地域的限制，企業(yè)招聘由線下轉(zhuǎn)移到了互聯(lián)網(wǎng)上來(lái)，涌現(xiàn)了一批大型的在線求職平臺(tái)，如智聯(lián)招聘、拉勾網(wǎng)、前程無(wú)憂等。但是由于非結(jié)構(gòu)化招聘信息不統(tǒng)一，缺乏一站式采集、提取和清洗方案，求職者難以在雜亂無(wú)章的招聘信息中找到合適的信息。對(duì)非結(jié)構(gòu)化招聘信息的采集、提取和清洗，形成統(tǒng)一結(jié)構(gòu)化的數(shù)據(jù)集，已成為一個(gè)亟需研究的課題。
　　本文是針對(duì)IT行業(yè)的非結(jié)構(gòu)化招聘信息，進(jìn)行數(shù)據(jù)的采集、提取和清洗。其主要安排如下:
　　

2、(1)非結(jié)構(gòu)化數(shù)據(jù)采集:簡(jiǎn)單介紹爬蟲(chóng)技術(shù)的發(fā)展以及Scrapy框架爬取數(shù)據(jù)的基本原理，然后利用Scrapy框架采集非結(jié)構(gòu)化招聘信息，并存儲(chǔ)到MongoDB數(shù)據(jù)庫(kù)。
　　(2)數(shù)據(jù)提取:利用AC算法對(duì)采集完成的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行關(guān)鍵字的提取，達(dá)到將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變成結(jié)構(gòu)化數(shù)據(jù)，并重新存儲(chǔ)到MongoDB數(shù)據(jù)庫(kù)。
　　(3)數(shù)據(jù)清洗:首先利用SQL語(yǔ)句對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理，接著進(jìn)行清洗。由于現(xiàn)有的基本Skyline算法清洗數(shù)據(jù)效