如何使用ELK和Grok正則過(guò)濾Linux系統(tǒng)登錄日志
我將介紹如何使用ELK（Elasticsearch、Logstash和Kibana）套件結(jié)合Grok正則表達(dá)式過(guò)濾器來(lái)處理Linux系統(tǒng)登錄日志文件。
- 本文目錄導(dǎo)讀：
- 1、安裝配置ELK套件
- 2、配置Logstash收集數(shù)據(jù)
- 3、配置Kibana可視化
在阿里地區(qū)等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、成都網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站策劃,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都全網(wǎng)營(yíng)銷(xiāo),成都外貿(mào)網(wǎng)站制作,阿里地區(qū)網(wǎng)站建設(shè)費(fèi)用合理。
作為一名系統(tǒng)管理員，我們需要時(shí)刻關(guān)注服務(wù)器的運(yùn)行狀態(tài)。其中最重要的就是記錄每個(gè)用戶登錄和退出操作以及對(duì)應(yīng)的IP地址。這些信息對(duì)于監(jiān)控安全性、追蹤故障等方面都非常有幫助。
然而，在大型企業(yè)中，往往會(huì)有數(shù)百甚至上千臺(tái)服務(wù)器需要管理，手動(dòng)分析這些日志文件幾乎是不可能完成的任務(wù)。因此，我們需要一樣工具來(lái)自動(dòng)化處理并提取出所需信息。
在本文中，我將介紹如何使用ELK（Elasticsearch、Logstash和Kibana）套件結(jié)合Grok正則表達(dá)式過(guò)濾器來(lái)處理Linux系統(tǒng)登錄日志文件。
1. 安裝配置ELK套件
首先，在CentOS或Ubuntu上安裝ELK套件，并確保三個(gè)組件都已啟動(dòng)運(yùn)行：
```
sudo systemctl start elasticsearch
sudo systemctl start logstash
sudo systemctl start kibana
接下來(lái)，請(qǐng)打開(kāi)瀏覽器并輸入訪問(wèn)kibana界面進(jìn)行驗(yàn)證是否成功安裝。
2. 配置Logstash收集數(shù)據(jù)
接下來(lái)請(qǐng)修改logstash.conf配置文件用于收集syslog格式的消息：
input {
file {
path => "/var/log/auth.log"
type => "syslog"
}
}
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:host} sshd(?:\[%{POSINT:pid}\])?: %{DATA:message}" }
}
date {
match => [ "timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
output {
elasticsearch { hosts => ["localhost:9200"] index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"}
在這個(gè)例子中，我們將使用input插件來(lái)讀取/var/log/auth.log文件作為輸入。然后，我們使用grok過(guò)濾器來(lái)匹配日志消息并提取出所需信息。最后，輸出到elasticsearch進(jìn)行存儲(chǔ)和索引。
3. 配置Kibana可視化
現(xiàn)在讓我們轉(zhuǎn)到Kibana界面，并創(chuàng)建一個(gè)新的Dashboard用于顯示登錄日志數(shù)據(jù)：
1. 在左側(cè)導(dǎo)航欄中選擇“Visualize”選項(xiàng)卡。
2. 點(diǎn)擊“Create a visualization”按鈕并選擇“Data Table”。
3. 在“Bucket”選項(xiàng)卡下，選擇X軸類型為Date Histogram，并設(shè)置時(shí)間間隔為1小時(shí)或更小的值。
4. 在右側(cè)Metric部分添加Count聚合函數(shù)以計(jì)算每個(gè)時(shí)間段內(nèi)登陸次數(shù)。
5. 點(diǎn)擊保存并返回主頁(yè)，在左側(cè)導(dǎo)航欄中選擇“Dashboard”，創(chuàng)建一個(gè)新的dashboard并將剛才創(chuàng)建的table添加到dashboard中。
現(xiàn)在，您可以在Kibana上查看Linux系統(tǒng)登錄日志數(shù)據(jù)的可視化圖表了！
本文介紹了如何使用ELK套件和Grok正則表達(dá)式過(guò)濾器來(lái)處理Linux系統(tǒng)登錄日志文件。通過(guò)這種方式，我們可以自動(dòng)分析、提取和存儲(chǔ)所需信息，并將其可視化呈現(xiàn)。這對(duì)于大型企業(yè)而言是一個(gè)非常有用的工具，也使得系統(tǒng)管理員能夠更加輕松地監(jiān)控服務(wù)器運(yùn)行狀態(tài)并追蹤故障。
分享文章：如何使用ELK和Grok正則過(guò)濾Linux系統(tǒng)登錄日志
當(dāng)前地址：http://www.jiaotiyi.com/article/djpohip.html