距離度量學(xué)習(xí)中的類別不平衡問題研究.pdf

1、距離度量學(xué)習(xí)學(xué)習(xí)樣本之間的距離度量，為估計(jì)樣本相似性提供更可靠的依據(jù)。很多經(jīng)典的分類算法如k近鄰、以及聚類算法如層次聚類等都非常依賴樣本之間的距離度量方式，因此，距離度量學(xué)習(xí)是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中一類很重要的學(xué)習(xí)問題。在現(xiàn)實(shí)世界中類別不平衡問題普遍存在，類別不平衡問題是指各個(gè)類別的樣本數(shù)差異明顯，某些類別樣本數(shù)遠(yuǎn)遠(yuǎn)小于其他類別，小類別是關(guān)注的重點(diǎn)，重要性大。距離度量學(xué)習(xí)也會(huì)遭遇到類別分布不平衡的情況。距離度量學(xué)習(xí)算法通常通過優(yōu)化某個(gè)距離

2、度量損失函數(shù)，得到新的距離度量方式。但是當(dāng)類別不平衡時(shí)，由于小類別的樣本數(shù)少，在已有的距離度量學(xué)習(xí)算法中對(duì)學(xué)習(xí)過程的影響較小，導(dǎo)致算法通常會(huì)關(guān)注大類樣本而忽略小類樣本距離度量的準(zhǔn)確性。然而，在類別不平衡問題中，小類樣本重要性更高，距離度量學(xué)習(xí)應(yīng)該更關(guān)注小類樣本距離度量學(xué)習(xí)的準(zhǔn)確性。目前尚無對(duì)距離度量學(xué)習(xí)中類別不平衡問題的研究。
　　本文針對(duì)距離度量學(xué)習(xí)中的類別不平衡問題進(jìn)行研究，主要取得了以下成果:
　　(1)以LMNN算法

3、為基礎(chǔ)，提出考慮類別不平衡性的距離度量學(xué)習(xí)算法IMLMNN算法。此方法是一種有監(jiān)督的距離度量學(xué)習(xí)算法，在距離度量學(xué)習(xí)算法LMNN的基礎(chǔ)上處理類別不平衡性帶來的問題，優(yōu)化加權(quán)的距離度量損失函數(shù)，樣本權(quán)重與其所在類別的樣本數(shù)成反比。因此IMLMNN使得小類具有更高的權(quán)重，小類樣本的距離度量帶來的損失在學(xué)習(xí)過程中的影響就更大，導(dǎo)致小類樣本距離度量的準(zhǔn)確性更高。
　　(2)由于在距離度量學(xué)習(xí)階段僅使得小類的距離度量更準(zhǔn)確，而沒有改變小類樣

4、本集的大小，所以在基于度量學(xué)習(xí)的分類任務(wù)中仍要考慮類別分布的不平衡性。因此，在分類階段使用考慮類別不平衡性的改進(jìn)的kNN算法IMKNN算法進(jìn)行分類。IMKNN是一種加權(quán)的kNN算法，近鄰樣本加權(quán)投票進(jìn)行決策，樣本權(quán)重與其所在類別的樣本數(shù)成反比。
　　此外IMLMNN算法在學(xué)習(xí)到距離度量的基礎(chǔ)上使用INNN方法進(jìn)行分類，也可以看做是一種新型的類別不平衡學(xué)習(xí)方法。此方法既適用于兩類問題，又適用于多類問題。
　　在多個(gè)兩類和多類數(shù)