使用filebeat读取nginx日志，传给logstash，在logstash中通过配置message的正则匹配规则，将nginx分割出我们想要的字段。整个过程容易理解，不过初次调试grok里面的匹配规则，真是有点抓狂，logstash重启一次挺麻烦，每次修改都去重启logstash也不方便啊，好在有一个现成的grokdebug在线调试工具：https://grokdebug.herokuapp.com/ ，这个链接里也有一些规则参考：https://grokdebug.herokuapp.com/patterns#    不过即便如此，还是不太方便，因为在grokdebug中调...[>>…]

进入filebeat目录，增加nginxlog.yml配置文件，配置如下，主要修改paths下的log目录地址以及设置output为logstash的IP端口地址。 user@u007:/opt/filebeat/filebeat-7.7.1-linux-x86_64$catnginxlog.yml filebeat.inputs: -type:log enabled:true paths: -/opt/nginxlog/*.log filebeat.config.modules: path:${path.config}/modules.d/*.yml reload.enabled:true setup.template.settings: index.number_of_shards:6 output.logstash: hosts:["10.21.45.25:5044"] #启动filebeat同时使用public输出日志 user@u007:/o...[>>…]

    vim中的g指令功能很强大啊，之前进行替换操作的时候用g来表示全局操作，原来除此外g还是一个末行命令，而且功能强大。g命令的使用方法：g/pattern/cmd    上述命令会在文中查找pattern（可以是正则表达式），然后对找到的这些行执行cmd命令；可以执行的cmd命令有很多，比如d删除命令；s替换命令。例如:g/hello/s/abcd/1234/在全文中查找包含hello的行，并对这些行中的abcd替换成1234，如果把abcd省略，g/hello/s//1234/,这时就会把hello替换成1234。和:%s/hello/1234/g...[>>…]

    Beats是数据采集的得力工具，Beats能够将数据转发至Logstash进行转换和解析。Filebeat是Beats中的一种，Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tailfile），并将它们转发给Elasticsearch或Logstatsh进行索引等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。    服务器少的时候，登录服务器查看日志还算方便，但是如果服务器、虚拟机和容器生成日志多了的话，使用S...[>>…]

    Logstash是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。Logstash建议使用java1.8有些版本是不支持的，比如java1.9。logstash的下载地址：https://www.elastic.co/cn/downloads/logstash目前最新是7.7.1版，和Elasticsearch版本号一致。 user@u007:/opt/$mkdir/opt/logstash;cd/opt/logstash; user@u007:/opt/logstash$wgethttps://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz user@u007:/opt/...[>>…]

    Kibana官网地址：https://www.elastic.co/cn/downloads/past-releases#kibana每一个版本的es都有一个对应的Kibana版本，建议和es相同版本，和ES一样，Kibana也是开箱即用。 user@u007:/opt/kibana/$wgethttps://artifacts.elastic.co/downloads/kibana/kibana-7.7.1-linux-x86_64.tar.gz user@u007:/opt/kibana/$tarzxvfkibana-7.7.1-linux-x86_64.tar.gz;cdkibana-7.7.1-linux-x86_64 #将配置文件修改如下： user@u007:/opt/kibana/kibana-7.7.1/$grep^[^#]config/kibana.yml #kibina服务的...[>>…]

    analysis-ik中文分词插件的GITHUB地址：https://github.com/medcl/elasticsearch-analysis-ik/tree/master在页面中列出了IKversion与ESversion的相对应版本，即你所需要下载的IK版本一定要与ES版本相适应，否则就不能用了。比如给Elasticsearch7.7.1安装IK7.4.0版本的话在启动ES时就会报错如下：org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)~[elasticsearch-7.7.1.jar:7.7.1]Causedby:java.lang.IllegalArgumentException:Plugin[analysis-ik]wasbuiltforElastic...[>>…]

    在使用elasticsearch7.7.1搭建集群，使用了3台服务器作为节点，但在搭建的过程中发现每台服务器的elasticsearch服务都正常，但是不能相互发现，期间进行了一些配置的修改偶尔出现了相互发现，但没过多久又断了联系。蛋疼了一阵子。今天全力排查这方面的问题，目前看集群已经稳定。主要原因还是elasticsearch7.*版本有些不一样，网上的资料各个版本都有，但都比较老，好多配置项在7版本中已经废弃了，而到网上一找到处都充斥着这些老版本的使用教程，新的太少。下面是我使用elasticsearch7.7....[>>…]

    elasticsearch-head：AwebfrontendforanElasticsearchcluster。能提供一个很友好的管理和查看elasticsearch数据的WEB界面。GITHUB地址：https://github.com/mobz/elasticsearch-headelasticsearch-head的安装方法有很多，不过对最新的7.*版本作为插件安装好像不行。forElasticsearch5.x,6.x,and7.x:sitepluginsarenotsupported.Runasastandaloneserver(RunningasapluginofElasticsearch(deprecated))。执行如下： user@u04007:/usr/share$sudo./elasticsearch/bin/elasticsearch-plugininsta...[>>…]

cluster.name:elasticsearch集群名称，es服务会通过广播方式自动连接在同一网段下的es服务，通过多播方式进行通信，同一网段下可以有多个集群，通过集群名称这个属性来区分不同的集群。node.name:"test"当前配置所在机器的节点名，你不设置就默认随机指定一个name列表中名字，该name列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master:true指定该节点是否有资格被选举成为node（注意这里只是设置成有资格，不代表该node一定就是master），默认是true，es是默认集群中的第一...[>>…]

    使用的是最新的Elasticsearch7.7版本，启动后默认是绑到127.0.0.1上的，这肯定不是我们需要的，所以修改配置文件将network.host配置选改成我们的服务器局域网IP地址。Elasticsearch7.7版本安装后配置文件elasticsearch.yml在目录/etc/lasticsearch中，这个目录只允许root权限进行查看和修改。不过修改后再启动es时报错： user@u04007:/$sudo/etc/init.d/elasticsearchstart [....]Startingelasticsearch(viasystemctl):elasticsearch.serviceJobforelasticsearch.servicefailedbecausethecon...[>>…]

    之前试着装过一次ElasticSearch，印象深刻的是当时还不能使用root用户来启动ES。今天再来安装一下ElasticSearch，ES是一个基于Lucene的搜索服务器，是当前流行的企业级搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎，并提供了基于RESTfulweb接口，非常方便系统之间对接。    ElasticSearch可以有多种安装方式，官网上有详细的文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.0/install-elasticsearch.html这里示例用两种安装方式，一是使用a...[>>…]