云服务器租用Linux内存的分配与释放原理

发布时间:2018-05-14

  Linux是服务器常用的系统。通常情况下云服务器租用用户也会选择Linux系统而内存的分配与释放是Linux系统的运维人员经常做的事,那么用户应该怎么做呢?

  通过 pmap 命令,可以获取用户进程逻辑地址空间中映射的内存信息:

  pmap -x $pid

  其中 -x 表示获取详细信息。

  下面是一个例子:

  pmap -x $(pidof emacs) |head -20

  其中,“Address(地址)”指的进程的逻辑地址空间。

  “Kbytes”列表示的是对应逻辑地址的容量,以Kb为单位

  “RSS”列表示的是实际使用的物理内存容量,由于分页机制的存在,这个值一般要比”Kbytes”的值要少。

  “Mapping”列为逻辑内存的映射方式,其中”[annon]“表示通过malloc函数来分配的堆空间(匿名内存),”[stack]“为进程的栈空间,这两种映射都是将物理内存映射到进程的逻辑内存上去。 而”emacs-25.3″,”libpixbufloader-svg.so”等文件名则表示它们执行的是文件映射,他们对应的是磁盘上的文件。当这些文件被读入高速缓存后,相应的内存空间被映射成进程的逻辑内存。

  当出现多个程序共同使用相同的文件映射(共享库)时,它们可以共享磁盘高速缓存中的同一空间,从而节省物理内存的使用量,这种技术就是”共享映射”技术。

  除了共享库外,进程的fork也使用了共享映射技术。 当父进程fork子进程时,Linux内核并不对内存中的内容进行实际上的复制,而是将映射到父进程逻辑地址空间内的那部分内容原封不动地共享映射到子进程的逻辑地址空间内。 但为了防止父进程和子进程的内存操作相互影响,Linux内核在进行共享映射时,相应的内存区域会暂时设置为写保护。 当某一方进程试图操作内存时,会引发只读异常。内核检测到这个异常后,会复制操作的这个内存页,从而使两个进程都可进行独立写入。 这种在写入时复制的机制叫做“写时复制(copy-on-write)”

  另一方面,进程将可执行文件或共享库文件内容读入内存并映射到进程逻辑地址空间上时,并不会读入全部的文件内容,而是先标记”该文件的内容已经被映射到逻辑地址空间内”. 当进程访问逻辑地址空间时,由于不存在对应的物理内存,会引发换页错误的异常。内容检测到该异常后会将所需部分以内存页为单位读入内存中。 这种只读入所需内容的机制,叫做请求分页。

  了解内存释放机制

  当其他进程需要新的物理内存时,就涉及到如何将尚有数据残余的物理内存释放或换出来的问题了。

  当需要新物理内存时,会优先释放Inactive(file)和Active(file)中记录的内存页,只需要将脏数据写入文件中再释放内存页即可。

  而Inactive(anon)和Active(anon)内存页则需要将内容交换到物理磁盘上的swap中后再释放。 具体来说,Linux会在进程页表上做一个标记,标记出换出内存所对应的逻辑地址。 当进程访问该逻辑地址时,会产生相应物理内存不存在的异常,Linux内核检测到这个异常后,会再次将数据从swap中加载入空闲内存,并重新配置页表信息。

  Linux内核使用两种机制来加快换出处理速度:

  一种是预读。

  当某一个内存页需要换入时,Linux内核会将其后的几个内存页一起换入。因为进程连续访问多个内存页的可能性很大。预读的页数为内核参数 vm.page-cluster 决定为 2^vm.page-cluster.

  另一种是交换缓存。

  即在换入某个内存页后,物理磁盘上交换空间中仍然保留原数据,这种状态的内存会记录在“交换缓存”的列表上。这样当需要再次换出记录在“交换缓存”上的内存页的数据时,就无需再次换入了。

  每个进程的内存使用情况可以通过查看 /proc/进程ID/status 来查看

  cat /proc/$(pidof emacs)/status

  Name: emacs

  Umask:  0022

  State:  S (sleeping)

  Tgid: 6769

  Ngid: 0

  Pid:  6769

  PPid: 1

  TracerPid:  0

  Uid:  1000  1000  1000  1000

  Gid:  1000  1000  1000  1000

  FDSize: 64

  Groups: 986 998 1000

  NStgid: 6769

  NSpid:  6769

  NSpgid: 6769

  NSsid:  6769

  VmPeak:   567040 kB

  VmSize:   567040 kB

  VmLck:         0 kB

  VmPin:         0 kB

  VmHWM:    241176 kB

  VmRSS:    241176 kB

  RssAnon:    204544 kB

  RssFile:     36604 kB

  RssShmem:       28 kB

  VmData:   231712 kB

  VmStk:      1596 kB

  VmExe:      2332 kB

  VmLib:     47832 kB

  VmPTE:      1008 kB

  VmSwap:        0 kB

  HugetlbPages:        0 kB

  CoreDumping:  0

  Threads:  4

  SigQ: 1/15456

  SigPnd: 0000000000000000

  ShdPnd: 0000000000000000

  SigBlk: 0000000000000000

  SigIgn: 0000000004381000

  SigCgt: 00000001db816eff

  CapInh: 0000000000000000

  CapPrm: 0000000000000000

  CapEff: 0000000000000000

  CapBnd: 0000003fffffffff

  CapAmb: 0000000000000000

  NoNewPrivs: 0

  Seccomp:  0

  Cpus_allowed: 3

  Cpus_allowed_list:  0-1

  Mems_allowed: 1

  Mems_allowed_list:  0

  voluntary_ctxt_switches:  12951

  nonvoluntary_ctxt_switches: 21641

  其中比较有用的项有:

  VmData

  data段的大小

  VmExe

  text段的大小

  VmHWM

  当前物理内存使用量的最大值

  WmLck

  用mlock锁定的内存大小

  VmLib

  共享库的使用量

  VmPTE

  页面表的大小

  VmPeak

  当前物理内存的最大值

  VmRSS

  物理内存的实际使用量

  VmSize

  逻辑地址的大小

  VmStk

  堆栈的大小

  VmSwap

  交换空间的使用量

  浦东数据中心14年专业云主机租用服务商,为用户提供专业IDC服务,24小时技术确保主机稳定。