ELK 5.4.3 替换更新——上线计划

2017-08-16 13:46:18来源:oschina作者:perofu人点击

分享

0、事先在测试环境,搭建一套ELK 5.4.3,提前配置好ELK相关的参数及kibana的visualization模板


1、logstash agent提前配置好,尤其是filter部分(我的日志分隔符(左右都有空格):【 | 】)



filter {

if [type] == "jx-app-nginx-tp" {ruby {init => "@kname = ['remote_addr','time_local','host','url','status','body_bytes_sent','http_referer','http_user_agent','http_x_forwarded_for','upstream_addr','upstream_status','upstream_response_time','server_addr','request_time','waf_flag']" code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(' | '))])new_event.remove('@timestamp')event.append(new_event) "}

geoip {source => "remote_addr"target => "geoip"database => "/usr/local/logstash-5.4/conf/Geoip_data/GeoLite2-City.mmdb"add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]}

mutate { remove_field => "message"convert => ["[geoip][coordinates]", "float","body_bytes_sent" , "integer","upstream_response_time", "float"]}

}

}



注:新版本的logstash agent和kibana可以提前安装好,elasticsearch是使用rpm安装的,可以晚点操作


3、上线操作(早上上班开始)


①、停掉已有所有的logstash agent/etc/init.d/logstash stop ②、再停掉旧版本的logstash server、kibana和elasticsearch ③、清空redis内容 ④、安装新版本rpm的elasticsearch,并配置


⑤、启动所有新版本的logstash agent ⑥、启动新版本的logstash server ⑦、启动新版本的elasticsearch ⑧、启动新版本的kibana


4、kibana操作部分:


①、新建索引,最好和测试的时候一样的名称,方便或许操作


②、导入kibana的visualization模板,先把测试环境的模板导出,再导入


1)、导出其他已经做好的visualization模板的json文件2)、批量修改_id最后一段的值,例如3ef60-7c00-11e7-98c7-b51710743741,【b5171074374A】 3)、导入


注:发现一个问题,kibana的visualization,只能支持100个的显示,超过的,看不到了,多余的,会在总数量减少之后出现,但还是只能100个,不知道是不是bug



附完整图:



最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台