监控目标

明白监控的重要性以及使用监控要实现的业务目标

通常包括以下三点：

对目标系统进行实时监控监控可以实时反馈目标系统的当前状态 目标系统硬件、软件、业务是否正常、目前处于何种状态保证目标系统可靠性，业务可以持续稳定运行 有问题第一时间反馈出来，便于运维人员处理监控方法了解监控对象 例如：CPU如何工作？性能基准指标 例如: CPU使用率、负载、用户态、内核态、上下文切换报警阈值定义 例如: CPU负载高的定义，内核态、用户态多少算高故障处理流程 如何更高效处理故障的流程监控核心发现问题定位问题解决问题总结问题，对故障原因及问题防范进行归纳总结，避免以后重复出现监控工具老牌监控CactiNagiossmokeping流行监控ZabbixOpenFalconPrometheus+Grafana滴滴开源夜莺Nightingalesmartping(专用于网络监控)LEPUS天兔(专用于监控数据库)自研第三方监控监控宝听云newrelic监控流程采集

通过SNMP、Agent、ICMP、SSH、IPMI等对系统进行数据采集

存储

各类数据库服务，MySQL、PostgreSQL

分析

提供图形及时间线情况信息，方便我们定位故障所在

展示

指标信息、指标趋势展示

报警

电话、邮件、微信、短信、报警升级机制

处理

故障级别判定，找响应人员进行快速处理

监控指标硬件监控机器硬件:CPU温度、物理磁盘、虚拟磁盘、主板温度、磁盘阵列

IPMI工具无法获取到硬件的状态，可以借助MegaCli工具探测Raid磁盘队列状态

系统监控主机存活CPU、内存、硬盘、使用率inode负载网卡出入带宽TCP连接数磁盘读写、只读应用监控

MySQL

服务可用性内存使用率磁盘使用主从不同步及延迟备份情况连接数

Redis、Redis Cluster

负载内存使用率连接数量qps

Nginx

状态码连接状态信息RabbitMQPHP-FPMOpenLDAP接入IP调用次数ZimbraOpenVPN版本信息、当前在线用户、分配IP、客户端连接IP、通过IP获取地址位置、接收发送流量 连接时间 时长 连接IDELKGraylogGitLabJenkinsMongoDBHAproxy网络监控网络质量公网出口专线带宽网络设备流量分析日志监控安全监控URL、API监控自研阿里云方案性能监控(APM)java|php|go|nodejs|分布式链路追踪PinPointZipkinSkyWalkingCAT、Jaeger业务监控

电商业务为例：

每分钟产生多少订单每分钟注册多少用户每分钟多少活跃用户每天有多少推广活动推广活动引入多少用户推广活动引入多少流量推广活动引入多少利润其他SSL证书监控存活性 进程是否还在，端口监听、Log滚动健康指标 MQ消息堆积量接口监控 API成功率，延迟情况，QPS等等监控报警邮件短信钉钉、微信、企业微信等其他即时通信软件电话报警处理

故障自愈: 服务器宕机自动启动。利用软件机制supervisor，systemd或者自定义脚本实现

综合监控硬件监控

通过SNMP来进行路由器交换机的监控、其他内容使用IPMI实现。如果都是公有云，可以忽略这部分内容。案例:Open-Falcon监控H3C-ER3260G2路由器

系统监控服务监控服务自带Nginx自带status模块PHP相应status模块MySQL利用percona官方工具进行监控通过自定义方法获取数据MySQL show global status xxx;Redis info指令信息网络监控(混合云架构)smokepingsmartping安全监控云服务直接用云安全组即可，或者补充本机iptables硬件防火墙Web服务使用Nginx+Lua实现Web层面的防火墙，或者Openresty日志监控

ELK、Graylog实现异常日志，错误日志关键字的监控业务监控

确定监控指标，监控起来，业务不同各不相同流量分析

建议使用百度统计，google统计，商业，研发嵌入代码实现。或者使用piwik可视化

dashboard自动化监控

通过API，批量操作监控总结

完整的监控系统，需要对业务有详尽的了解，软件只是手段。