基于電商數(shù)據(jù)和用戶行為的信息抽取.pdf

1、隨著互聯(lián)網(wǎng)和電子商務(wù)在中國(guó)的爆炸式發(fā)展，以阿里巴巴為首的電子商務(wù)公司，正在產(chǎn)生海量的數(shù)據(jù)并吸引數(shù)以億計(jì)的用戶。換言之，大數(shù)據(jù)時(shí)代正在步步逼近，面對(duì)海量的數(shù)據(jù)，怎樣提高數(shù)據(jù)利用率，怎樣提取用戶最想要的，最有價(jià)值的信息是核心價(jià)值的問題。在電子商務(wù)這塊戰(zhàn)斗在互聯(lián)網(wǎng)產(chǎn)業(yè)最前沿的陣地上，尤其需要快速完成從數(shù)據(jù)到信息的轉(zhuǎn)化。這就是本文要研究的信息抽取（information extraction）問題，尤其專注于電子商務(wù)領(lǐng)域。
　　現(xiàn)有的信息

2、抽取技術(shù)主要包括命名實(shí)體識(shí)別（Named Entity Recognition）和關(guān)系抽取（Relation Extraction）。命名實(shí)體識(shí)別現(xiàn)在主要有以下技術(shù)方法：基于規(guī)則和詞典的方法、基于統(tǒng)計(jì)的方法、二者混合的方法等。其中基于規(guī)則和詞典的方法，在有針對(duì)性的優(yōu)化規(guī)則的基礎(chǔ)上，準(zhǔn)確率很高，但是人力成本較大，可復(fù)用和可擴(kuò)展性不強(qiáng)，往往只能解決某些特定的應(yīng)用場(chǎng)景。基于統(tǒng)計(jì)的方法準(zhǔn)確率和召回率往往不盡如人意，算法復(fù)雜度也較高，但是可擴(kuò)展性

3、強(qiáng)，進(jìn)步空間很大，大量學(xué)者致力于改進(jìn)數(shù)學(xué)統(tǒng)計(jì)模型，以達(dá)到更高的準(zhǔn)確率和召回率，從而真正實(shí)現(xiàn)機(jī)器智能識(shí)別。經(jīng)典的命名實(shí)體識(shí)別模型有HMM（隱馬爾科夫模型），ME-HMM（最大熵隱馬爾科夫模型），CRF（條件隨機(jī)場(chǎng)）等。關(guān)系抽取是從海量語料中分析抽取命名實(shí)體之間的關(guān)系，比如地名與機(jī)構(gòu)名之間的從屬關(guān)系，物品名之間的相似關(guān)系，各種簡(jiǎn)稱與全稱之間的同義關(guān)系等。
　　同時(shí)，信息抽取是一個(gè)應(yīng)用性很強(qiáng)的領(lǐng)域，理論算法必須要形成系統(tǒng)實(shí)現(xiàn)，才能準(zhǔn)確評(píng)

4、定算法模型的效果。但是，現(xiàn)在流行的信息抽取系統(tǒng)有華盛頓大學(xué)領(lǐng)導(dǎo)開發(fā)的 OPENIE系列軟件包，只能應(yīng)用于英文信息抽取。現(xiàn)在迫切需要一種高效使用的中心信息抽取系統(tǒng)。
　　本文的主要貢獻(xiàn)為：
　　1)介紹了經(jīng)典的信息抽取模型，分別是命名實(shí)體識(shí)別領(lǐng)域的HMM，ME-HMM，CRF等，近義詞關(guān)系抽取領(lǐng)域的詞向量模型。同時(shí)還介紹了信息抽取任務(wù)常用的評(píng)價(jià)指標(biāo)準(zhǔn)確率，召回率和F值。
　　2)基于經(jīng)典的命名實(shí)體識(shí)別模型——隱馬爾科夫模

5、型做了針對(duì)于電子商務(wù)數(shù)據(jù)的優(yōu)化，提出了一種基于詞匯的隱馬爾科夫模型（Lexical-HMM），提升了模型對(duì)于電商應(yīng)用場(chǎng)景下，對(duì)于命名實(shí)體識(shí)別的準(zhǔn)確率。對(duì)于近義詞關(guān)系抽取，則提出了一種基于用戶搜索和瀏覽行為的二部圖模型，可以高效準(zhǔn)確的抽取實(shí)體近義關(guān)系，并做了對(duì)比實(shí)驗(yàn)，證明了算法效果。
　　3)設(shè)計(jì)并驗(yàn)證了本文提出的信息抽取系統(tǒng)。基于Spark平臺(tái)和人工訓(xùn)練集，采用DAG的設(shè)計(jì)方式，可以高效準(zhǔn)確地從輸入數(shù)據(jù)從抽取命名實(shí)體庫(kù)和近義詞庫(kù)，