基于N元分析與詞頻統(tǒng)計(jì)的文本復(fù)合標(biāo)引研究.pdf

1、科學(xué)技術(shù)的發(fā)展已將人類帶入智能化的信息社會(huì)，使得信息成為重要的資源，但隨之也帶來了信息資源的爆炸性增長和無限擴(kuò)張。面對(duì)龐大的信息資源，信息處理成為信息利用的關(guān)鍵所在，而根據(jù)原文信息內(nèi)容產(chǎn)生簡明準(zhǔn)確的信息標(biāo)引，是信息處理的一項(xiàng)重要工作。自動(dòng)標(biāo)引質(zhì)量的好壞在一定程度上決定了信息處理效果的優(yōu)劣，也必然影響信息利用價(jià)值的大小。在這種背景下，改進(jìn)和提高自動(dòng)標(biāo)引方法，低成本高效率的實(shí)現(xiàn)信息標(biāo)引顯得至關(guān)重要。
　　 因此，本文圍繞自動(dòng)標(biāo)引技術(shù)

2、和方法，以文本信息的自動(dòng)標(biāo)引作為研究對(duì)象，采用比較分析法與實(shí)驗(yàn)分析法相結(jié)合，提出了基于N元分析與詞頻統(tǒng)計(jì)的文本復(fù)合標(biāo)引這一新型標(biāo)引方法，本文主體內(nèi)容如下：
　　 首先，本文從文本和自動(dòng)標(biāo)引切入，對(duì)自動(dòng)標(biāo)引進(jìn)行了系統(tǒng)的回顧與總結(jié)，重點(diǎn)從自動(dòng)標(biāo)引基本理論的宏觀劃分、自動(dòng)標(biāo)引發(fā)展過程中的代表性方法及自動(dòng)標(biāo)引研究路線圖三方面進(jìn)行論述，繼而指出自動(dòng)標(biāo)引發(fā)展中存在的問題和可能的解決途徑，引出復(fù)合標(biāo)引的這一研究主題。
　　 其次，從理

3、論、方法及實(shí)現(xiàn)過程對(duì)詞頻統(tǒng)汁標(biāo)引和N-gram標(biāo)引兩種方法進(jìn)行較為全面系統(tǒng)的分析與比較，闡述了兩種方法在本質(zhì)上的一致性和方法過程上的互補(bǔ)性，同時(shí)，通過引入統(tǒng)計(jì)學(xué)領(lǐng)域中的條件概率和信息論領(lǐng)域中的信息熵這兩個(gè)工具，將N元分析和詞頻統(tǒng)計(jì)有效的復(fù)合為一體，提出了兼具二者優(yōu)勢的基于N元分析與詞頻統(tǒng)計(jì)的文本復(fù)合標(biāo)引方法。
　　 最后，本文采用實(shí)驗(yàn)分析法，通過對(duì)比試驗(yàn)，從實(shí)踐的角度論證了本文提出的文本復(fù)合標(biāo)引方法在理論方面的正確性以及在標(biāo)引應(yīng)