elk日志分析系統(tǒng)

1、ELK 日志分析系統(tǒng) 日志分析系統(tǒng)一、 一、ELK 日志分析系統(tǒng)介紹 日志分析系統(tǒng)介紹1.1 傳統(tǒng)的日志統(tǒng)計及分析方式 傳統(tǒng)的日志統(tǒng)計及分析方式日志主要包括系統(tǒng)日志、應用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。通常，日志被分散的儲存不同的設備上。如果你管理數(shù)十上百臺服務器，你還在使用依次登錄每臺機

2、器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的 syslog，將所有服務器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk 和 wc 等 Linux 命令能實現(xiàn)檢索和統(tǒng)計，但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。1.2 ELK 介紹 介紹開源實時日志分析 ELK 平臺能夠完美

3、的解決我們上述的問題，ELK 由 ElasticSearch、Logstash 和 Kiabana 三個開源工具組成。（1）、Elasticsearch 是個開源分布式搜索引擎 開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機制，restful 風格接口，多數(shù)據(jù)源，自動搜索負載等。（2）、Logstash 是一個完全開源的工具，可以對日志進行收集、過濾 收集、過濾，并將其存儲供以后使用（如：搜索）。（3

4、）、Kibana 也是一個開源和免費的可視化工具，可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。1.2.1 Elasticsearch 介紹 介紹Elasticsearch 是一個基于 Apache Lucene(TM)的開源搜索引擎，Lucene 是當前行業(yè)內(nèi)最先進、性能最好的、功能最全的搜索引擎庫。但 Lucene 只是一個庫。無法直接使用，必須使

5、用 Java 作為開發(fā)語言并將其直接集成到應用中才可以使用，而且 Lucene 非常復雜，需要提前深入了解檢索的相關(guān)知識才能理解它是如何工作的。Elasticsearch 也使用 Java 開發(fā)并使用 Lucene 作為其核心來實現(xiàn)所有索引和搜索的功能，但是它的目的是通過簡單的 RESTful API 來隱藏 Lucene 的復雜性，從而讓全文搜索變得簡單。但 Elasticsearch 不僅僅值是 Lucene 庫和全文搜索，它還有以

6、下用途：? 分布式的實時文件存儲，每個字段都被索引并可被搜索ES 索引 類型 文檔DB 庫 表 行在一個集群中，可以定義任意多的索引。（5）、類型（type）在一個索引中，可以定義一種或多種類型。類型是指索引的一個邏輯上的分類/分區(qū)，其語義可自定義。通常情況下，會為具有一組共同字段的文檔定義一個類型。比如說，我們假設運營一個博客平臺并且將所有的數(shù)據(jù)存儲到一個索引中。在這個索引中，可以為用戶數(shù)據(jù)定義一個類型，為博客數(shù)據(jù)定義另一個類型，當然

7、，也可以為評論數(shù)據(jù)定義另一個類型。（6）、文檔（document）文檔是指可被索引的基礎(chǔ)信息單元。比如，你可以擁有某一個客戶的文檔，某一個產(chǎn)品的一個文檔，當然，也可以擁有某個訂單的一個文檔。文檔以 JSON（Javascript Object Notation）格式來表示，而 JSON 是一個普遍存在的互聯(lián)網(wǎng)數(shù)據(jù)交互格式。在一個 index/type 里面，可以存儲任意多的文檔。注意，盡管一個文檔物理上存在于一個索引之中，但文檔必須被

8、賦予一個索引的 type。（7）、分片和復制（shards & replicas）一個索引可以存儲超出單個節(jié)點磁盤限制的大量數(shù)據(jù)。比如以下情況，一個具有 10 億文檔的索引占據(jù) 1TB 的磁盤空間，而集群中任一節(jié)點都沒有這樣大的磁盤空間；或者單個節(jié)點處理搜索請求，響應太慢。為了解決此問題，Elasticsearch 提供了將索引劃分成多份的能力，這些份就叫做分片。當創(chuàng)建一個索引的時候，可以指定想要的分片的數(shù)量。每個分片本身也是一

9、個功能完善并且獨立的“索引”，這個“索引”可以被放置到集群中的任何節(jié)點上。分片之所以重要，主要有兩方面的原因：A.允許水平分割/擴展內(nèi)容容量B.允許在分片（潛在地，位于多個節(jié)點上）之上進行分布式的、并行的操作，進而提高性能/吞吐量至于一個分片怎樣分布，它的文檔怎樣聚合搜索請求，是完全由 Elasticsearch 管理的，用戶對此是透明的。在一個網(wǎng)絡/云的環(huán)境里，失敗隨時都可能發(fā)生，在某個分片/節(jié)點無原因就處于離線狀態(tài)，或者由于任何原因