使用linux内存HugePages优化oracle内存区

短命女 2022-08-05 08:55 277阅读 0赞

HugePages是在Linux2.6内核被引入的，主要提供4k的page和比较大的page的选择。

<table> 
 <tbody> 
  <tr> 
   <td> <p><strong>概念</strong></p> </td> 
   <td> <p><strong>概念说明</strong></p> </td> 
  </tr> 
  <tr> 
   <td> <p>page table</p> </td> 
   <td> <p><span style="color:#FF0000">page table是操作系统上的虚拟内存系统的数据结构模型，用于存储虚拟地址与物理地址的对应关系。</span></p> <p><span style="color:#FF0000">当我们访问内存时，首先访问page table，然后Linux在通过page table的mapping来访问真实物理内存（ram+swap）</span></p> </td> 
  </tr> 
  <tr> 
   <td> <p>TLB</p> </td> 
   <td> <p>A Translation Lookaside Buffer (TLB)</p> <p>TLB是在cpu中分配的一个固定大小的buffer(or cache)，用于保存page table的部分内容，使CPU更快的访问并进行地址转换。</p> </td> 
  </tr> 
  <tr> 
   <td> <p>hugetlb</p> </td> 
   <td> <p>hugetlb 是记录在TLB 中的条目并指向Hugepages。</p> </td> 
  </tr> 
  <tr> 
   <td> <p>hugetlbfs</p> </td> 
   <td> <p>这是一个新的基于2.6 kernel之上的内存文件系统，如同tmpfs。</p> <p>在TLB中通过hugetlb来指向hugepage。这些被分配的hugepage作为内存文件系统hugetlbfs(类似tmpfs)提供给进程使用。</p> </td> 
  </tr> 
 </tbody> 
</table>

huggepages可以看作系统内存的特殊区域，因为它有如下特点，可以把这块分配给SGA（HugePages和oracle AMM（自动内存管理）是互斥的，所以使用HugePages必须设置内存参数MEMORY\_TARGET / MEMORY\_MAX\_TARGET 为0）

1.系统启动时，直接分配并保留对应大小的内存区域。

2. HugePages 在开机之后，如果没有管理员的介入，是不会释放和改变的。

3. 没有swap。

由于huggepages以上特点，好处如下

1. 大大提高了CPU cache中存放的page table所覆盖的内存大小，从而提高了TLB命中率。

进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系，然后再访问物理内存。

CPU cache中有一部分TLB用来存放部分page table以提高这种转换的速度。因为page size变大了，所以同样大小的TLB，所覆盖的内存大小也变大了。提高了TLB命中率，也提高了地址转换的速度。

2. 减轻page table的负载。

进行XXX系统性能测试时，如果没有使用HugePages，数据库服务器上的pagetable大小大约为5G（这应该也是导致性能测试时数据库服务器内存不足的主要原因）：

node74:/home/[Oracle][] \# cat /proc/meminfo

MemTotal:      16323732 kB

PageTables:       5442384kB

配置了HugePages后，pagetable大小仅为124M（性能测试时内存使用率稳定在80%左右）：

node74:/home/oracle \# cat /proc/meminfo

MemTotal:      16323732 kB

PageTables:       127384 kB

**Eliminated page tablelookup overhead:** 因为hugepage是不swappable的，所有就没有page table lookups。

**Faster overall memory performance: ** 由于虚拟内存需要两步操作才能实际对应到物理内存地址，因此更少的pages，减轻了page table访问热度，避免了page table热点瓶颈问题。

SGA的每个会话都要pte，hugepages可以大大减少page开销

3. 提高内存的性能，降低CPU负载，原理同上

4.SGA固定在hugepages，不会使用swap

cat /proc/meminfo

**HugePages\_Total**为所分配的页面数目，和Hugepagesize相乘后得到所分配的内存大小。4611\*2/1024大约为9GB

**HugePages\_Free**为从来没有被使用过的Hugepages数目。即使oraclesga已经分配了这部分内存，但是如果没有实际写入，那么看到的还是Free的。这是很容易误解的地方。

**HugePages\_Rsvd**为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时，大部分内存应该都是Reserved并且Free的，随着oracle SGA的使用，Reserved和Free都会不断的降低。

**HugePages\_Free-HugePages\_Rsvd** 这部分是没有被使用到的内存，如果没有其他的oracle instance，这部分内存也许永远都不会被使用到，也就是被浪费了。

可以手工计算：

nr\_hugepages>=SGA\_Target/Hugepagesize

=9G\*1024M/2M

=4608

取一个比4608稍大的值即可

## Huge pages sizes ##

<table> 
 <tbody> 
  <tr> 
   <td><strong>Architecture </strong></td> 
   <td><strong>huge page size</strong></td> 
  </tr> 
  <tr> 
   <td>arm64</td> 
   <td> 4K, 2M and 1G (or 64K and 512M if one builds their own kernel with CONFIG_ARM64_64K_PAGES=y)</td> 
  </tr> 
  <tr> 
   <td>i386</td> 
   <td>4K and 4M (2M in PAE mode)</td> 
  </tr> 
  <tr> 
   <td>ia64</td> 
   <td>4K, 8K, 64K, 256K, 1M, 4M, 16M, 256M</td> 
  </tr> 
  <tr> 
   <td>ppc64</td> 
   <td>4K and 16M</td> 
  </tr> 
 </tbody> 
</table>

总结

需要设置hugepages的数据库特征如下

前台响应缓慢或者新连接无法建立时，CPU占用率并不高，但是奇怪的是有一个系统进程kswapd0占据了单核CPU的100%，其它进程的CPU占用率都控制在单核的各位数； 通过free命令来查看剩余内存，发现所剩的内存已经不多，通过sar -B和vmstat查看发现有较为严重的page in和page out。 问题发生时刻，连接数有一定程度的增加，但是基本都是呈缓慢线性的方式增加，没有剧增的情况。从oracle进程来看，每个连接占的CPU和内存资源都差不多； 从/proc/meminfo来看，页表占用了内存的绝大部分； 操作系统重启的时候，在/var/logs/message中有类似的信息：

设置步骤：1先调整好SGA，PGA

2/etc/security/limits.conf

加入

oracle hard memlock lock_value
    
    oracle soft memlock lock_value

lock\_value略大于SGA

3计算vm.nr\_hugepages,加入到/etc/sysctl.conf

什么时候需要使用pugepages？太小的SGA没有必要，一般是SGA超过30G时做调整,pagesize默认2M

[Oracle]: http://www.linuxidc.com/topicnews.aspx?tid=12