龙空技术网

项目实践:基于华为CCE环境下Tomcat的关键性能指标及监控方法

Atstudy网校 173

前言:

眼前各位老铁们对“tomcat keepalivetimeout参数”都比较关切,姐妹们都需要知道一些“tomcat keepalivetimeout参数”的相关内容。那么小编在网络上网罗了一些关于“tomcat keepalivetimeout参数””的相关资讯,希望姐妹们能喜欢,同学们快快来学习一下吧!

CCE是华为公司提供的高度可扩展的、高性能的企业级Kubernetes集群,并能支持Docker容器生态。

CCE可以轻松创建和管理多样化的容器工作负载,并提供容器故障自愈、监控日志采集、自动弹性扩容等高效运维能力。

Tomcat是一个免费的、开源的、轻量级的Web应用服务器,支持JavaEE的Servlet和JSP规范以及HTML、JS等静态资源的处理,既可作为应用服务器运行Java Web应用,也可作为轻量级Web服务器使用。

目前Tomcat是云上Java应用的主流中间件,典型应用如下图所示。

本文通过梳理CCE下Tomcat的关键性能指标及监控方法,并总结了典型性能问题的调优思路,希望对云上应用的调优有所帮助。

调优总体思路

性能调优应从应用整体来分析问题,在排除数据库端性能问题的前提下,CCE上应用端的调优思路如下:

1、分析应用端架构,从F5、Ingress、pod、Tomcat来逐个排查;

2、F5需关注cpu负载、转发流量均衡情况及转发模式,F5 cpu负载过高会影响转发性能,转发流量不均衡会导致Ingress流量不均衡,进而导致pod负载不均衡;

3、Ingress需关注 cpu和内存使用情况及Ingress转发流量均衡情况,Ingress

cpu和内存异常均可导致应用性能下降,Ingress转发流量不均衡会导致pod负载不均衡,进而影响流经该交易的响应时间;

4、应用pod需关注cpu、内存使用情况及pod的重启次数,分析pod资源使用的异常情况,利用jstack工具定位CPU利用率高的线程堆栈信息,利用jmap生成的内存dump文件定位会用内存大的模块;

5、Tomcat需检查线程池、连接池和JVM堆相关参数的配置和使用情况、GC的频率和次数,合理设置相关参数。

除此之外,还可以借助APM工具、全链路监控及应用中添加时间戳等方式定位响应时间长的方法。

关键性能指标

典型性能问题

pod cpu利用率偏高

问题:性能测试过程中,发现pod cpu利用率偏高,不符合预期。

调优思路:CPU利用率高,需要查看CPU消耗在User、Sys、Wait的情况。如果CPU User非常高,可以通过top命令查看哪个线程消耗资源高,Java应用可以用jstack看出此线程正在执行的堆栈,看资源消耗在哪个方法上。

如果CPU Sys非常高,可以用strace(Linux)看系统调用的资源消耗及时间;如果CPU Wait非常高,需考虑磁盘读写。

定位Tomcat线程堆栈信息的步骤如下:

1、先通过ps -ef|grep Tomcat查看进程id;

2、再通过top -Hp 进程id 命令查看cpu使用率高的线程id;

3、将线程id转换为16进制数据;

4、使用jsack命令查看cpu使用率高的线程堆栈信息。

JVM堆内存使用率较高

问题:某系统性能测试过程中JVM堆内存使用率持续升高,超过了阈值。

调优思路:一般若CPU资源消耗正常但监控发现JVM堆内存过高一般从几个角度分析:

一是堆内存大小配置过小,未能发挥资源优势;

二是应用存在死循环;

三是应用阻塞,等待队列不断增大。

具体排查步骤如下:

1、检查JVM的Xmx、MaxMetaspaceSize等参数配置;

2、观察JVM内存曲线是否匀速上升,确认应用是否存在死循环逻辑;

3、分析故障时点dump内存快照。

(1)使用jmap工具生成dump内存快照,在堆内存使用率较低和较高时分别两次dump内存,对比快照中的内存使用情况;

(2)将dump文件导出本地,使用jvisualvm等工具分析,或使用JDK自带的jhat分析,查看应回收但未回收的内存,分析其引用链,查看内存未及时回收的原因。

HTTP 502错误

问题:某交易在性能测试过程中,出现少量失败交易,性能测试工具获取响应报错为502 Bad Gateway。

调优思路:502表示ingress从后端服务接收到无效的响应,需要检查ingress的配置和tomcat配置中关于超时的配置项。

检查ingress超时参数upstream keepalive_timeout和tomcat配置连接超时时间 connectionTimeout,若connectionTimeout<upstream keepalive_timeout,则tomcat的连接会先于ingress断开,此时ingress转发http请求到tomcat,tomcat会拒绝,报502错误,部分应用调整ingress超时参数值小于tomcat的连接超时参数值,可解决502错误。

最后:

1)关注+私信回复:“测试”,可以免费领取一份10G软件测试工程师面试宝典文档资料。以及相对应的视频学习教程免费分享!,其中包括了有基础知识、Linux必备、Mysql数据库、抓包工具、接口测试工具、测试进阶-Python编程、Web自动化测试、APP自动化测试、接口自动化测试、测试高级持续集成、测试架构开发测试框架、性能测试等。

2)关注+私信回复:"入群" 就可以邀请你进入软件测试群学习交流~~

标签: #tomcat keepalivetimeout参数