出现的问题:

学校项目巡检过程中检查发现网站分析应用页面数据中断

分析排查

网站分析应用数据是

通过logstash组件采集日志数据到ES集群中，存储格式为一月一索引；然后再通过open_api服务提供es访问接口供应用调用展示

检查ES集群后发现集群状态red，磁盘空间不足，已经无法写入站群日志数据。

命令

查看集群运行状态

curl -X GET '166.111.6.51:9200/_cat/health?pretty'

查看集群各节点剩余磁盘空间

curl -X GET '166.111.6.51:9200/_cat/nodes?v&h=ip,node.role,name,disk.avail'

解决办法ES集群数据清理调整

1、 查看集群索引列表

命令curl -X GET '166.111.6.51:9200/_cat/indices?v'

2、 清理索引

curl -XDELETE 'tsinghua001:9200/access_logs_201704/?pretty'

清理名称为access_logs_201704的索引

扩充ES集群存储空间

两种方式，LVM扩充现有数据目录或增加数据磁盘目录

1、 LVM扩充（ES服务不用停）

创建磁盘pv

pvcreat /dev/sdb1

将pv添加到vg_centos组

vgextend vg_centos /dev/sdb1

lv在线扩充

lvextend -L +100%FREE /dev/vg_centos/lv_root

扩充文件系统（xfs）

xfs_growfs /dev/vg_centos/lv_root

扩充文件系统（ext4）

resize2fs /dev/vg_centos/lv_root

2、磁盘目录添加方式（需要停ES服务）

添加目录需修改ES配置文件elasticsearch.yml

添加已经分区挂载好的磁盘目录到配置文件，具体位置如下图，如有多块磁盘，按图上格式依次排开

启动es集群节点服务，ES存储空间调整完成