admin管理员组文章数量:1641910
一 jvm导致的
原文:https://blog.csdn/zenglingmin8/article/details/117963136
问题描述:某个服务重启频率非常高,监控告警里产生了大量的“jvm内存超过limit 85%”和服务503告警
jvm内存超警戒告警
排查思路:
1 刚开始粗浅的认为是服务压力太大,于是增加pod数量,然而问题依旧
2 查看服务运行状态,发现服务频繁重启
服务频繁重启
3 查看该服务的pod资源配额配置
服务资源配额
4 进入容器,查看该服务的的jvm启动参数,发现最大堆内存设置竟然超过了pod资源配额的limit值
jvm堆内存
5 调整jvm最大堆内存(Xmx)的值不超过pod资源配额limit的85%,问题解决
jvm最大堆内存
总结:jvm参数设置的时候,要综合考虑pod资源配额limit的值和告警触发值,否则容器很容易因为不合理的jvm参数设置达到pod资源配额的上限而被kill掉,导致频繁的触发告警。
k8s集群环境下,docker容器中运行镜像方式启动springboot项目。由于制作的镜像未对JVM的内存进行配置,那么 JVM 会默认设置堆栈的大小,这个大小是根据物理机的内存进行分配的。 那么物理机的内存越大,默认分配的内存就越大(最大堆栈=1/4 * 物理机内存,初始堆栈=1/64 * 物理机内存)。
JVM 是不知道自己在Docker容器中运行的,jvm识别的是物理主机的内存,而不是k8s给pod分配的内存或docker容器的内存。
因此在没有给jvm指定内存大小的情况下,机器物理内存很大时,jvm默认占用的内存Xms超出了k8s分配给pod的内存,导致pod内存溢出,从而k8s不断重启pod。也可能是运行过程中,jvm不断申请内存直到最大堆内存Xmx,Xmx超出了k8s分配给pod的内存,从而k8s自动重启pod。
注意,jdk版本不同,配置参数可能也会不同。
————————————————
版权声明:本文为CSDN博主「zenglingmin8」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn/zenglingmin8/article/details/117963136
二 Kubernetes Pod不断自动重启–Exit Code = 0 没有pid=1 的进程导致
原文:https://blog.csdn/ibless/article/details/107630150
#获取pod信息
kubectl get pods -o wide -n <namespace-name>
#查看pod log
kubectl logs <pod-name>
#查看pod详细信息
kubectl describe <pod-name>
通过上述指令,我发现Pod是正常退出(即Exit code = 0)的,也就是说Pod是正常启动的,然后就运行结束了。由于k8s中Pod的默认restartPolicy为Always,也就是说Pod会不断进行重启。最后,通过执行一些脚本,我发现Pod不断自动重启的原因是没有Pid=1的进程,或者说Pod启动时执行的脚本是1号进程,但脚本执行完之后就没有1号进程了,所以Pod相当于运行结束了。可以查看如下链接:https://segmentfault/a/1190000009583997。
————————————————
版权声明:本文为CSDN博主「ibless」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn/ibless/article/details/107630150
版权声明:本文标题:k8s pod频繁自动重启 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1729330067a1196276.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论