搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(四) logstash codec和filter 配置

2017-09-13 20:47:57来源:CSDN作者:qq_24879495人点击

分享

这一节来介绍codec插件和filter插件,然后关于logstash的常见配置就介绍完毕了。下一节介绍通过redis扩展logsatsh。


1、logsatsh codec (编码插件)插件

Codec 来自 Coder/decoder 两个单词的首字母缩写,Logstash 不只是一个input | filter | output 的数据流,而是一个input | decode | filter | encode | output 的数据流,codec 就是用来 decode、encode 事件的。简单说,就是在logstash读入的时候,通过codec编码解析日志为相应格式,从logstash输出的时候,通过codec解码成相应格式。rubydebug 就是一种 codec!虽然它一般只会用在 stdout 插件中,作为配置测试或者调试的工具。下面介绍几种常见的格式。

1)JSON 格式

如果事件数据是JSON格式,就可以通过 codec=>json 来解析输入的日志,配置示例:

  1. input {  
  2.     file {  
  3.         path => "/home/husen/test.log"  
  4.         codec => "json" ## 以JSON格式读取日志  
  5.     }  
  6. }  


2)Multiline 格式

有些日志事件在打印的时候,可能会有多行,比如java 错误日志。而logstash默认是一行一行读取的,这个时候就要用到multiline格式了。Multiline通过正则来匹配多行日志,常见是只匹配开头的符号。比如

<2017-08-31 10:26:56,699> hello world

<2017-08-31 10:26:56,699>hello world

这两行日志都是以 < 开头的,那么久用正则匹配 /<就可以了。配置示例如下:

  1. intput{  
  2.     file {  
  3.     path =>[  
  4.         "/home/husen/log.log"  
  5.     ]  
  6.       
  7.     type => "portal"  
  8.     start_position => "beginning"  
  9.     sincedb_path => "/dev/null" #从头读  
  10.     codec => multiline {  
  11.     pattern => "^/<"  ##匹配每行的开头  
  12.     negate => true    ## 是否开启正则匹配  
  13.     what => "previous" ##未匹配的内容向前合并 如果为next,则向后合并  
  14.     }  
  15. }  


2)plain 格式

主要用于事件之间没有分隔的纯文本,可自定义格式,匹配实例:

  1. output {  
  2.     stdout {  
  3.        codec => plain {  
  4.             format => "%{@timestamp} %{message} %{type}" ## format可不写,不写为空,写了就定义格式  
  5.         }  
  6.     }  
  7. }  


2、logstash filter (过滤器)插件

过滤器扩展了进入过滤器的原始数据,可以进行复杂的逻辑处理,如匹配正则、增删改字段等,这里介绍常见的几个

1)date - 时间过滤器

可以用来转换时间的格式,并应用到@timestamp 字段上,配置示例
  1. filter {  
  2.     grok {  
  3.         match => ["message""%{HTTPDATE:logdate}"##匹配日志中的时间  
  4.     }  
  5.   
  6.     date {  
  7.     match => [ "logdate""yyyy-MM-dd HH:mm:ss,SSS" ] ##转换格式  
  8.     locale => "cn" ##确定本地时区  
  9.     target => "@timestamp" ##重写到@timestamp字段  
  10.     }  
  11. }  

2)grok - 正则过滤器

Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式,然后匹配日志中的内容,并以JSON格式展现。

配置示例:

  1. filter {  
  2.     grok {  
  3.         match => [ ## 可以定义多个正则  
  4.             "message""%{IP:logIp} .* %{USERNAME:username}",   ## 匹配具有ip地址和用户名的日志  
  5.             "message""%{MAC:logMac}"  ##匹配具有mac地址的日志  
  6.         ]  
  7.     }  
  8. }  

3)geoip - IP 过滤器

GeoIP 是最常见的免费 IP 地址归类查询库。GeoIP 库可以根据 IP 地址提供对应的地域信息,包括国别,省市,经纬度等,

对于可视化地图和区域统计非常有用。配置示例:

  1. filter {  
  2.     geoip {  
  3.         source => "message" #匹配message  
  4.     }  
  5. }  
  6.   
  7. ## 结果  
  8.  "message" => "183.60.92.253",  
  9.       "@version" => "1",  
  10.     "@timestamp" => "2014-08-07T10:32:55.610Z",  
  11.           "host" => "raochenlindeMacBook-Air.local",  
  12.          "geoip" => {  
  13.                       "ip" => "183.60.92.253",  
  14.            "country_code2" => "CN",  
  15.            "country_code3" => "CHN",  
  16.             "country_name" => "China",  
  17.           "continent_code" => "AS",  
  18.              "region_name" => "30",  
  19.                "city_name" => "Guangzhou",  
  20.                 "latitude" => 23.11670000000001,  
  21.                "longitude" => 113.25,  
  22.                 "timezone" => "Asia/Chongqing",  
  23.         "real_region_name" => "Guangdong",  
  24.                 "location" => [  
  25.             [0] 113.25,  
  26.             [1] 23.11670000000001  
  27.         ]  
  28.     }  
  29. }  

4)json - JSON过滤器

直接解析日志中的具有JSON格式的数据,配置示例

  1. filter {  
  2.     json {  
  3.         source => "message" ##数据来源  
  4.         target => "json_result" ##匹配后的命名 如果不打算使用多层结构的话,删掉 target 配置即可  
  5.     }  
  6. }  
  7.   
  8. ##输出结果  
  9. {  
  10.     "@version""1",  
  11.     "@timestamp""2017-09-13T08:11:33.000Z",  
  12.     "host""192.168.1.1",  
  13.     "message""{/"username/":husen,/"password/":/"123456/"}",  
  14.     "json_result": {  
  15.         "username": husen,  
  16.         "password""123456"  
  17.     }  
  18. }  


5)kv - KV过滤器

  1. kv {  
  2.        prefix => "url_"  
  3.        source => "url_args"  
  4.        field_split => "&"  
  5.        include_keys => [ "uid""cip" ]  
  6.        remove_field => [ "url_args""uri""request" ]  
  7.    }  
  8. # 上例即表示,除了 url_uid 和 url_cip 两个字段以外,其他的 url_* 都不保留。  


6)mutate -  数据修改过滤器

mutate提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。配置示例

a. 类型转换
  1. ## 类型转换 可以设置的转换类型包括:"integer","float" 和 "string"  
  2. filter {  
  3.     mutate {  
  4.         convert => ["request_time""float"]  
  5.     }  
  6. }


b. 字符串处理 - split 切割
  1. filter {  
  2.     mutate {  
  3.         split => ["message""|"]  
  4.     }  
  5. }  
  6.   
  7. ##随意输入一串以|分割的字符,比如 "123|321|adfd|dfjld*=123",可以看到如下输出:  
  8.   
  9. "message" => [  
  10.     [0] "123",  
  11.     [1] "321",  
  12.     [2] "adfd",  
  13.     [3] "dfjld*=123"  
  14. ]  

c. 字符串处理 - join 加入
  1. filter {  
  2.     mutate {  
  3.         split => ["message""|"]  
  4.     }  
  5.   
  6.     mutate {  
  7.         join => ["message"","]  
  8.     }  
  9. }  
  10.   
  11. ##我们在之前已经用 split 割切的基础再 join 回去  
  12.   
  13. "message" => "123,321,adfd,dfjld*=123",  
d.  字符串处理 - merge 合并
  1. filter {  
  2.     mutate {  
  3.         split => ["message""|"]  
  4.     }  
  5.   
  6.     mutate {  
  7.         merge => ["message""message"]  
  8.     }  
  9. }  
  10.   
  11. ##我们在之前已经用 split 割切的基础再合并,会复制一份  
  12.   
  13.  "message" => [  
  14.         [0] "123",  
  15.         [1] "321",  
  16.         [2] "adfd",  
  17.         [3] "dfjld*=123",  
  18.         [4] "123",  
  19.         [5] "321",  
  20.         [6] "adfd",  
  21.         [7] "dfjld*=123"  
  22.     ],  

e. 字符串处理 - strip 去掉空格
  1. mutate {  
  2.         strip => ["type"## 去掉字符串前后空格,如果有的话  
  3.     }  

f.  字段处理 

rename 重命名 
  update  更新某个字段的内容。如果字段不存在,不会新建
 replace 作用和 update 类似,但是当字段不存在的时候,它会起到 add_field 参数一样的效果,自动添加新的字段

  1. filter {  
  2.     mutate {  
  3.         rename => ["syslog_host""host"]  
  4.     }  
  5. }  

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台