并行化最小最大模塊化支持向量機(jī)及其在專利分類中的應(yīng)用.pdf

1、超大規(guī)模機(jī)器學(xué)習(xí)問題往往是許多機(jī)器學(xué)習(xí)算法在實(shí)際應(yīng)用中的一大限制。這種大規(guī)模問題經(jīng)常會遇到，比如專利分類。即便是像支持向量機(jī)這樣高效率的學(xué)習(xí)算法，面對超大規(guī)模的數(shù)據(jù)，照樣會難以克服。在這種情況下，突破單機(jī)限制，利用豐富的并行計(jì)算資源，解決這些大規(guī)模學(xué)習(xí)問題往往是比較可行的辦法。最小最大模塊化支持向量機(jī)(M3-SVM)是基于“分而治之”的思想解決大規(guī)模問題的有效學(xué)習(xí)算法。它通過分解大規(guī)模問題，變成大量小規(guī)模問題進(jìn)行學(xué)習(xí)，并通過有效的分類器

2、組合算法將他們重新組合，成為大規(guī)模問題的原始解，該算法具有天生的并行特性。本研究主要探討在并行計(jì)算環(huán)境下，并行M3-SVM的實(shí)現(xiàn)和特點(diǎn)，分析其并行訓(xùn)練和測試時(shí)間復(fù)雜度。在原有的最小最大模塊化并行測試算法基礎(chǔ)上，提出了基于流水化作業(yè)的對稱分類器選擇(SCS)算法、非對稱分類器選擇(ACS)算法和決策樹分類器選擇(TCS)算法。實(shí)驗(yàn)證明利用流水化作業(yè)的分類器選擇算法大大提高了分類器測試的效率。在問題劃分環(huán)節(jié)上，我們提出了質(zhì)心連線劃分方法，在

3、不使用先驗(yàn)知識的情況下，該劃分方法有效提高了分類效果。 在應(yīng)用方面，本研究利用并行最小最大模塊化支持向量機(jī)解決超大規(guī)模的專利分類問題。我們主要在計(jì)算機(jī)集群環(huán)境下，對日文專利分類問題進(jìn)行比較深入的研究。對比M3-SVM與傳統(tǒng)SVM light，我們發(fā)現(xiàn)M3-SVM有更高的學(xué)習(xí)效率和更好的分類精度。此外，因?yàn)镸3-SVM通過任務(wù)分解可以把不平衡的大規(guī)模問題分解成許多平衡的子問題，所以它能有效解決不平衡的模式分類問題。本研究在三個(gè)不同