面向英語(yǔ)學(xué)習(xí)的文本難度判定.pdf

1、英文文本難度判定是應(yīng)用語(yǔ)言學(xué)和信息處理領(lǐng)域的重要課題，正廣泛應(yīng)用于教學(xué)、出版和搜索引擎等領(lǐng)域?，F(xiàn)在的網(wǎng)絡(luò)資源非常豐富，如何高效準(zhǔn)確地為不同水平的英語(yǔ)學(xué)習(xí)者提供適合自身水平的閱讀材料，是文本難度判定面臨的最大挑戰(zhàn)。
　　本文首先介紹了一種在國(guó)際上廣泛使用的文本難度判定方法：基于易讀性公式判定文本的難度。通常易讀性公式使用文本的詞匯難度和句法難度來(lái)判定文本的難度，詞匯難度以詞頻和詞長(zhǎng)來(lái)衡量，句子的難度以句子的長(zhǎng)度來(lái)衡量。目前易讀性公式

2、已有上百個(gè)，本文選擇了三個(gè)典型的易讀性公式傅萊區(qū)易讀性公式（Flesch Reading Ease）、迷惑指數(shù)（Gunning Fog Index）和自動(dòng)易讀性指數(shù)（Automated Readability Index）在一定數(shù)量的文本上進(jìn)行了驗(yàn)證。盡管通過(guò)易讀性公式進(jìn)行文本難度判定比較容易施行，但是計(jì)算值過(guò)于集中，無(wú)法進(jìn)行等級(jí)劃分。
　　本文試圖建立一種有廣泛應(yīng)用價(jià)值的模型判定文本的難度，向量空間模型是一種典型的文本表示方法，

3、它不考慮詞匯之間的順序，把文本表示為向量空間中的一個(gè)向量，文本的相似度可以通過(guò)內(nèi)積或者夾角余弦值來(lái)計(jì)算，實(shí)現(xiàn)起來(lái)比較方便。本文基于向量空間模型進(jìn)行文本難度判定，把文本難度判定問(wèn)題當(dāng)成是一個(gè)分類問(wèn)題來(lái)解決。這種方法有很多的優(yōu)點(diǎn)，其中之一就是它的結(jié)果不是二元值，而是它的整個(gè)訓(xùn)練集上的概率值，第二就是提供額外的信息。本文對(duì)幾種常用的特征選擇方法如文檔頻率、信息增益、互信息、2X統(tǒng)計(jì)量、期望交叉熵、文本證據(jù)權(quán)、幾率比等進(jìn)行了分析，并進(jìn)行了實(shí)驗(yàn)驗(yàn)