日常环境莫名宕机的处理

爱被打了一巴掌 2022-01-13 10:53 178阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

## 背景 ##

11.21 早上 pd 给讲法务评审的时候，操作日常环境，莫名就 down 机了，而且 pd 反馈经常会这样。（ps : pd 反馈系统请求时间过长，性能很差，后续也会排查解决）  
于是排查了一下系统 down 机的原因

## 原因 ##

查看内存 setenv.sh 设置  
if \[ ![006D.png?V=2.7.2][006D.png_V_2.7.2]![0065.png?V=2.7.2][0065.png_V_2.7.2]![006D.png?V=2.7.2][006D.png_V_2.7.2]![0054.png?V=2.7.2][0054.png_V_2.7.2]![006F.png?V=2.7.2][006F.png_V_2.7.2]![0074.png?V=2.7.2][0074.png_V_2.7.2]![0061.png?V=2.7.2][0061.png_V_2.7.2]![006C.png?V=2.7.2][006C.png_V_2.7.2]![2212.png?V=2.7.2][2212.png_V_2.7.2]![006C.png?V=2.7.2][006C.png_V_2.7.2]![0065.png?V=2.7.2][0065.png_V_2.7.2]![0032.png?V=2.7.2][0032.png_V_2.7.2]![0030.png?V=2.7.2][0030.png_V_2.7.2]![0034.png?V=2.7.2][0034.png_V_2.7.2]![0038.png?V=2.7.2][0038.png_V_2.7.2]![005D.png?V=2.7.2][005D.png_V_2.7.2]![003B.png?V=2.7.2][003B.png_V_2.7.2]![0074.png?V=2.7.2][0074.png_V_2.7.2]![0068.png?V=2.7.2][0068.png_V_2.7.2]![0065.png?V=2.7.2][0065.png_V_2.7.2]![006E.png?V=2.7.2][006E.png_V_2.7.2]![0053.png?V=2.7.2][0053.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![0052.png?V=2.7.2][0052.png_V_2.7.2]![0056.png?V=2.7.2][0056.png_V_2.7.2]![0049.png?V=2.7.2][0049.png_V_2.7.2]![0043.png?V=2.7.2][0043.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![004F.png?V=2.7.2][004F.png_V_2.7.2]![0050.png?V=2.7.2][0050.png_V_2.7.2]![0054.png?V=2.7.2][0054.png_V_2.7.2]![0053.png?V=2.7.2][0053.png_V_2.7.2]![003D.png?V=2.7.2][003D.png_V_2.7.2]![0022.png?V=2.7.2][0022.png_V_2.7.2]memTotal−le2048\];thenSERVICEOPTS="\{SERVICE\_OPTS\} -Xms1536m -Xmx1536m"  
SERVICE\_OPTS="![0053.png?V=2.7.2][0053.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![0052.png?V=2.7.2][0052.png_V_2.7.2]![0056.png?V=2.7.2][0056.png_V_2.7.2]![0049.png?V=2.7.2][0049.png_V_2.7.2]![0043.png?V=2.7.2][0043.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![004F.png?V=2.7.2][004F.png_V_2.7.2]![0050.png?V=2.7.2][0050.png_V_2.7.2]![0054.png?V=2.7.2][0054.png_V_2.7.2]![0053.png?V=2.7.2][0053.png_V_2.7.2]![2212.png?V=2.7.2][2212.png_V_2.7.2]![0058.png?V=2.7.2][0058.png_V_2.7.2]![006D.png?V=2.7.2][006D.png_V_2.7.2]![006E.png?V=2.7.2][006E.png_V_2.7.2]![0037.png?V=2.7.2][0037.png_V_2.7.2]![0036.png?V=2.7.2][0036.png_V_2.7.2]![0038.png?V=2.7.2][0038.png_V_2.7.2]![006D.png?V=2.7.2][006D.png_V_2.7.2]![0022.png?V=2.7.2][0022.png_V_2.7.2]![0065.png?V=2.7.2][0065.png_V_2.7.2]![006C.png?V=2.7.2][006C.png_V_2.7.2]![0073.png?V=2.7.2][0073.png_V_2.7.2]![0065.png?V=2.7.2][0065.png_V_2.7.2]![0053.png?V=2.7.2][0053.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![0052.png?V=2.7.2][0052.png_V_2.7.2]![0056.png?V=2.7.2][0056.png_V_2.7.2]![0049.png?V=2.7.2][0049.png_V_2.7.2]![0043.png?V=2.7.2][0043.png_V_2.7.2]![0045.png?V=2.7.2][0045.png_V_2.7.2]![004F.png?V=2.7.2][004F.png_V_2.7.2]![0050.png?V=2.7.2][0050.png_V_2.7.2]![0054.png?V=2.7.2][0054.png_V_2.7.2]![0053.png?V=2.7.2][0053.png_V_2.7.2]![003D.png?V=2.7.2][003D.png_V_2.7.2]![0022.png?V=2.7.2][0022.png_V_2.7.2]SERVICEOPTS−Xmn768m"elseSERVICEOPTS="\{SERVICE\_OPTS\} -Xms4g -Xmx4g"  
SERVICE\_OPTS="$\{SERVICE\_OPTS\} -Xmn2g"  
fi

查看日常机器内存  
$cat /proc/meminfo | grep MemTotal  
MemTotal: 4194304 kB  
![image.png][]

看出问题了吧，我们设置的最大内存是4G，而我们的linux 机器是不会把4G 内存全部分配给应用的。应用在运行过程中，一直会消耗内存，当快达到4G 的时候，应用认为还有可用内存，并不一定会及时 GC。导致内存不足，内存被撑满了，我们的应用也就 down 机了

## 处理方法 ##

### 两种方法： ###

#### 1. 设置jvm 参数为自适应 ####

#### 2. 申请8G 机器 ####

这里我选择方法一

1.拉取新的分支，修改 setenv.sh

Plain Text

# if os memory <= 4G
    if [ $memTotal -le 4195 ]; then
      SERVICE_OPTS="${SERVICE_OPTS} -Xms3536m -Xmx3536m"
      SERVICE_OPTS="${SERVICE_OPTS} -Xmn1536m"
    else
      SERVICE_OPTS="${SERVICE_OPTS} -Xms4g -Xmx4g"
      SERVICE_OPTS="${SERVICE_OPTS} -Xmn2g"
    fi

这里根据我们的环境设置，因为日常其实是4G，线上机器是8G，所以修改只会修改日常环境。

转载于:https://my.oschina.net/u/3611008/blog/3019613

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/eecb4de56f344a62a78f0c27510c40ce.png
[006D.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/006D.png?V=2.7.2
[0065.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0065.png?V=2.7.2
[0054.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0054.png?V=2.7.2
[006F.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/006F.png?V=2.7.2
[0074.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0074.png?V=2.7.2
[0061.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0061.png?V=2.7.2
[006C.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/006C.png?V=2.7.2
[2212.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/2212.png?V=2.7.2
[0032.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0032.png?V=2.7.2
[0030.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0030.png?V=2.7.2
[0034.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0034.png?V=2.7.2
[0038.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0038.png?V=2.7.2
[005D.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/005D.png?V=2.7.2
[003B.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/003B.png?V=2.7.2
[0068.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0068.png?V=2.7.2
[006E.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/006E.png?V=2.7.2
[0053.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0053.png?V=2.7.2
[0045.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0045.png?V=2.7.2
[0052.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0052.png?V=2.7.2
[0056.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0056.png?V=2.7.2
[0049.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0049.png?V=2.7.2
[0043.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0043.png?V=2.7.2
[004F.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/283/004F.png?V=2.7.2
[0050.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0050.png?V=2.7.2
[003D.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/003D.png?V=2.7.2
[0022.png_V_2.7.2]: /images/20220113/144355e6c5dd4558b3f23aeed29fddd7.png
[0058.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0058.png?V=2.7.2
[0037.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0037.png?V=2.7.2
[0036.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Main/Regular/400/0036.png?V=2.7.2
[0073.png_V_2.7.2]: https://yqfile.alicdn.com/mathjax/2.7.2/fonts/HTML-CSS/TeX/png/Math/Italic/400/0073.png?V=2.7.2
[image.png]: /images/20220113/54a788f7996940288539e3626958c7f7.png