ELK 3 – 扩展、问题、应用、技巧

2016-11-19 12:16:26来源:oschina作者:datadev_sh人点击


扩展
logstash插件

1、中文:手把手教你编写Logstash插件


2、官方:How to write a Logstash filter plugin

问题

1、插件装不上:把plugin的源地址换成淘宝的:https://ruby.taobao.org(未测试)


2、不能实时收集日志:没设置start_position ,默认是end,没有新日志进来。


3、搜索:要整个string一起搜索,比如,java.lang.NullPointerException


4、kibana页面出错:index名称不对。也有可能是ls和es之间不能相互通信。


5、无法创建field:正则不匹配,不能识别出字段。


6、像某些项目,一天生成一个新文件的日志,logstash会知道文件发生了变化,会对新生成的文件,从头开始读取。即指定的文件,一旦发生改变(对文件内容进行了删减),会从头开始读取(前提是设置了beginning)。


7、用multiline 进行多行过滤时,如果不写negate => true,那么multiline { }不会生效。


8、改了my.conf 不起作用


① 在notepad++里面改的文本已经保存,但是并没有同步到虚拟机,打开虚拟机里面的文件,还是那样


②用-e方式运行有效,用my.conf无效:没有找到配置文件,执行命令少了一个 -f


9、BUG? 设置了时间分割,但是还会断成两节。


10、no cached mapping for this field. Refresh field list from the Settings >Indices page


解决方案:Refresh field list from the Settings >Indices page


11、


A plugin had an unrecoverable error. Will restart this plugin./n Plugin: /"stdin/", codec=>/"UTF-8/", delimiter=>/"//n/">>/n Error: Unknown error - /x{B4ED}/x{CEF3}/x{B5C4}/x{CEC4}/x{BCFE}/x{C3E8}/x{CAF6}/x{B7FB}", :level=>:error}


解决方案:删除原有的LogStash软件,重新安装。


应用

1、监控catlinla.out这个文件。


2、监控服务间调用耗时。

技巧

1、自定义@timestamp时间格式:在Settings里面,找到@timestamp Fields,编辑。

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台