简介

flume提供了一个度量框架，可以通过http的方式进行展现，当启动agent的时候通过传递参数 -Dflume.monitoring.type=http参数给flume agent:

bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=6666 -Dflume.root.logger=INFO,console

这样flume会在6666端口上启动一个HTTP服务器，访问如下地址，将返回JSON格式的flume相关指标参数。

curl IP:6666/metrics

指标参数及注解

{

"SINK.k2": {

"ConnectionCreatedCount": "0", //下一个阶段或存储系统创建的连接数量（如HDFS创建一个新文件）

"BatchCompleteCount": "0", //与最大批量尺寸相等的批量的数量

"EventDrainAttemptCount": "0", //sink尝试写出到存储的事件总数量

"BatchEmptyCount": "0", //空的批量的数量，如果数量很大表示souce写数据比sink清理数据慢速度慢很多

"StartTime": "1511140384263",

"BatchUnderflowCount": "0", //比sink配置使用的最大批量尺寸更小的批量的数量，如果该值很高也表示sink比souce更快

"ConnectionFailedCount": "0", //下一阶段或存储系统由于错误关闭的连接数量（如HDFS上一个新创建的文件因为超时而关闭）

"ConnectionClosedCount": "0", //下一阶段或存储系统关闭的连接数量(如在HDFS中关闭一个文件)

"Type": "SINK",

"RollbackCount": "45",

"EventDrainSuccessCount": "4403509000", //sink成功写出到存储的事件总数量

"KafkaEventSendTimer": "3241483501",

"StopTime": "0"

},

"CHANNEL.c2": {

"ChannelCapacity": "1000000", //channel的容量

"ChannelFillPercentage": "0.0468", //channel满时的百分比

"Type": "CHANNEL",

"ChannelSize": "468", //目前channel中事件的总数量

"EventTakeSuccessCount": "4403509000", //sink成功读取的事件的总数量

"EventTakeAttemptCount": "4403554469", //sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据

"StartTime": "1511140384257", //channel启动时自Epoch以来的毫秒值时间

"EventPutAttemptCount": "4403508486", //Source尝试写入Channe的事件总数量

"EventPutSuccessCount": "4403508486", //成功写入channel且提交的事件总数量

"StopTime": "0" //channel停止时自Epoch以来的毫秒值时间

},

"SOURCE.r2": {

"EventReceivedCount": "4403508788", //目前为止source已经接收到的事件总数量

"AppendBatchAcceptedCount": "0", //接收到事件批次的总数量

"Type": "SOURCE",

"EventAcceptedCount": "4403508486", /成功写出到channel的事件总数量，且source返回success给创建事件的sink或RPC客户端系统

"AppendReceivedCount": "0", //每批只有一个事件的事件总数量(与RPC调用中的一个append调用相等) /

"StartTime": "1511140384258", //source启动时自Epoch以来的毫秒值时间

"OpenConnectionCount": "0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)

"AppendAcceptedCount": "10", //单独传入的事件到Channel且成功返回的事件总数量

"AppendBatchReceivedCount": "10", //成功提交到channel的批次的总数量

"StopTime": "0" //source停止时自Epoch以来的毫秒值时间

}

}