一個針對日志流分析的獨立解壓縮算法.pdf

1、當今因特網(wǎng)和云服務(wù)每天都要產(chǎn)生數(shù)量驚人的日志流，存儲日志流消耗了大量的磁盤空間并產(chǎn)生巨額的開銷。人們通常在將日志存儲到磁盤前對其進行壓縮以減少數(shù)據(jù)的大小，但傳統(tǒng)的壓縮方法在日志分析的場景中存在一個問題，即它們在獲取相關(guān)的日志項時需要解壓縮很多大塊的數(shù)據(jù)，這使得解壓縮過程很慢而且會消耗大量的計算資源。
　　本論文提出一個針對具有良好格式的日志流的列式壓縮方法，這一方法使得每個日志條目在用于日志分析時能夠獨立解壓縮。針對日志的特點，將

2、每一個日志條目分成多個列，并對每個列采用不同的模型進行壓縮。此外，還做了許多其他的改進，如將經(jīng)常出現(xiàn)的模式視為短語，用輔助單詞列表來處理壓縮過程中遇到的新單詞。已經(jīng)將這一壓縮方法實現(xiàn)為一個庫并且將其向公眾發(fā)布。還將其整合到兩個不同的應(yīng)用中，一個是日志搜索系統(tǒng)，另一個是日志連接系統(tǒng)。
　　實驗結(jié)果表明我們的壓縮策略（Cowic）在解壓縮時間上勝于傳統(tǒng)的壓縮方法，同時有著與之相媲美的壓縮率。對于Apache訪問日志，Cowic壓縮算法