【ELK 7】Elasticsearch 7.3 + Logstash 7.3 + Kibana 7.3部署流程

tanglu 6338 2019-09-24

截止到2019年9月ELK线上稳定版是7.3.x,7.x版本主要的修改就是Lucene版本升级以及默认分片数修改为1个(之前版本是5个)。本文将一步一步进行配置,形成一个初步的ELK STACK。请先在ELK官网下载好各个二进制安装包。

一、准备工作

1、为ELK创建一个普通用户,因为root是不能启动服务的

useradd es


2、将ELK所有包的所有者修改为新用户

chown -R es.es /usr/local/{elasticsearch,kibana,logstash,filebeat}


3、配置JAVA环境,Elasticsearch 5需要Java 8或以上的版本,而从6.5开始支持JAVA11,到Elasticsearch 7内置了OpenJDK,所以不需要再单独下载JDK的包了,只需要配置好相关环境变量即可

vi /etc/profile
PATH=$PATH:/usr/local/elasticsearch-7.3.2/jdk/bin/


二、Elasticsearch 7.3安装与部署

1、将下载好的安装包解压,修改主配置文件,只需要以下信息即可,其他配置项非必写

vi config/elasticsearch.yml
cluster.name: testes  #集群名字,拥有相同名字的节点才能加入集群
node.name: node-1  #每个节点的名字,不能重复
path.data: /data/es  #数据保存目录
path.logs: /data/log/es   #日志保存目录
bootstrap.memory_lock: true  #禁止使用交换分区影响效率
network.host: 192.168.94.128  #节点IP
http.port: 9200  #ES端口
discovery.seed_hosts: ["192.168.94.128"]  #集群中可能成为master的节点,可以写多台
cluster.initial_master_nodes: ["node-1"]  #初始master节点


2、为ES修改系统环境

#创建数据和日志目录并修改属组
mkdir /data/log/es 
mkdir /data/es
chown -R es.es /data/es
chown -R es.es /data/log/es

#/etc/sysctl.conf 
echo vm.max_map_count= 262144 >> /etc/sysctl.conf 
sysctl -p
#/etc/security/limits.conf
vi /etc/security/limits.conf
*                soft   memlock        unlimited
*                hard   memlock        unlimited

*                soft   nproc          65536
*                hard   nproc          65536
*                soft   nofile         65536
*                hard   nofile         65536


3、以es用户身份在后台方式启动服务

/usr/local/elasticsearch/bin/elasticsearch -d


4、访问9200端口测试服务是否正常


二、Logstash 7.3安装与部署

1、创建Logstash配置文件,这里为了先跑通ELK三个组件,故使用本地日志文件作为数据源,后面引入Filebeat时再做修改

vi config/logstash.conf
input {
  file {  #这里数据源是采集的本地日志文件
    path => [ "/var/log/messages", "/var/log/*.log" ]  #数组形式,支持通配符
  }
}
output {
    elasticsearch {
        hosts => [ "192.168.94.128:9200" ]  #ES服务的地址
        index => "system-%{+YYYY.MM.dd}"  #建立索引的格式
    }
}



2、修改日志文件权限,让es用户也可以读

chmod a+r /var/log/*



3、以es用户身份启动服务

/usr/local/logstash/bin/logstash --path.config /usr/local/logstash-7.3.2/config/logstash.conf



三、Kibana 7.3安装与部署

1、修改Kibana配置文件

vi config/kibana.yml 
server.port: 5601
server.host: "192.168.94.128"  #kibana服务的ip
elasticsearch.hosts: ["http://192.168.94.128:9200"]  #es服务的信息



2、以es用户身份启动服务,服务监听在5601端口

/usr/local/kibana-7.3.2-linux-x86_64/bin/kibana



3、登录Kibana Web界面,配置索引,配置正常的话是可以看到索引名字的,只需要照着写就可以了

360截图20190924220524731.jpg


4、在Discover页查看数据是否已经采集过来,至此ELK三个组件的基本配置已经完成

220190924220524731.jpg


版权声明
本站所有文章均为原创,转载请注明出处!小站维护不易,如果对您有所帮助,希望能点击一下站内广告,谢谢!
上一篇:OpenLDAP 2.4 创建只读用户
下一篇:KVM教程(4)克隆KVM虚拟机
相关文章

 发表评论

暂时没有评论,来抢沙发吧~

微信二维码