中文文本體裁的自動(dòng)分類機(jī)制.pdf

1、二十世紀(jì)末以來(lái),計(jì)算語(yǔ)言學(xué)很多的文本分類研究者認(rèn)識(shí)到按照形式分類的重要性,并出現(xiàn)了一個(gè)重要的理論轉(zhuǎn)向,即由重視內(nèi)容的分類轉(zhuǎn)而重視內(nèi)容與形式并重的研究.體裁屬于形式的范疇,與寫(xiě)作風(fēng)格、句法分析聯(lián)系緊密,對(duì)文章的寫(xiě)作有著明顯的制約和規(guī)范作用.把體裁分類信息附加于信息搜索引擎的方案,可以顯著改善其效能.此外,體裁信息用于協(xié)助數(shù)字圖書(shū)館系統(tǒng)的可視化表示.因此,研究體裁自動(dòng)分類,有著極高的理論價(jià)值和深遠(yuǎn)的現(xiàn)實(shí)意義.然而,如何識(shí)別、描述、利用文本體

2、裁是一項(xiàng)復(fù)雜而具有挑戰(zhàn)性的工作.首先,體裁概念體系很大程度上是人類思維的抽象歸納,研究者認(rèn)知受限和體裁自身動(dòng)態(tài)演變等因素使得其概括和表述工作相當(dāng)困難.其次,這個(gè)課題交叉于傳統(tǒng)的漢語(yǔ)修辭學(xué)與計(jì)算語(yǔ)言學(xué)之間,需要有較深的語(yǔ)言學(xué)功底和計(jì)算語(yǔ)言學(xué)理論基礎(chǔ).因此,在其研究道路上還存在一些必須要克服的障礙.整體來(lái)看,體裁分類研究尚處于全面探索階段的初期,其技術(shù)還不夠成熟.而且,國(guó)內(nèi)漢語(yǔ)體裁自動(dòng)分類的研究工作也剛剛起步.本文參照英語(yǔ)體裁分類機(jī)制,提出

3、了一種基于淺層特征的中文體裁自動(dòng)分類機(jī)制.其中,利用樣本分類決策選出十三個(gè)中文特征項(xiàng),借鑒模糊隸屬度理論接合定性與定量指標(biāo),采用支撐向量機(jī)技術(shù)計(jì)算特征值.該分類機(jī)制已經(jīng)在科學(xué)體、政論體、詩(shī)歌體、公文體、新聞體共五類體裁的典型文本的語(yǔ)料上得到實(shí)現(xiàn),并獲得了較好的效果.系統(tǒng)的局限性是特征提取程序缺乏通用性,必須隨著體裁分類體系的每一項(xiàng)變化而做大幅度的調(diào)整.本課題盡管取得了一些進(jìn)展,但必竟只是體裁自動(dòng)分類研究的一個(gè)初步嘗試,更多后續(xù)理論及應(yīng)用