- 主题:能用 mmap 来省点内存吗？
我有个程序往内存里面加载了大量的数据 (8G+)，以供外部服务器使用。
每一段数据都有差不多的概率被访问到。访问的频率中等，不是特别热的数据。既有读取与有写入，但写入相对比较少。
如果每次都从文件中加载的话，反序列化很占用 CPU 时间。放在内存里面又太占用 VPS 内存，云服务器的内存很贵。
是不是可以用 mmap 优化一下？我创建一个 32G 大小的文件，然后用 mmap() 映射到内存里面，把这些数据放在映射内存里面？
这样做的话，操作系统会在物理内存不足的时候自动地把映射的页扔掉吧？等需要读取到的时候再重新从磁盘加载？减少 OOM 的机会？
--
FROM 117.24.95.*
memory overcommit 现在各发行版都是默认开启的吧？
【 在 JulyClyde 的大作中提到: 】
: 你这样需要开启memory overcommit吧？
--
FROM 117.24.95.*
用 read/write 需要序列化，而且有内存复制。用 mmap() 效率比 read/write 更高。
【 在 zylthinking2 的大作中提到: 】
: open/read/write 的干净内存页也会自动 drop 掉啊
--
FROM 117.24.95.*
我想折衷一下，read/write 需要序列化和多次内存复制，内存池也不太可能是顺序读写，所以性能肯定比 mmap() 更慢。虽然能够减少很多内存占用。但我还是希望用 mmap() 达到内存占用和性能之间的平衡。毕竟我这个应用场景，并不是完全不考虑性能。
【 在 zylthinking2 的大作中提到: 】
: 这是另一个问题， 你说的能不能省内存， 而不是性能高低；
: 事实上, 对于顺序读写, mmap 性能并比 read/write 高
--
FROM 117.24.95.*
8G 到 16g 大小，本来就是另外一大组数据集的 cache，难道要搞 cache 之 cache 哈哈?
之前统计过，确实是几乎平均的。
之前一直是直接扔在物理内存里面，我们服务器都是不开 swap 的，现在觉得费钱，看看能不能少一点。
【 在 chunhui 的大作中提到: 】
: 提前把文件都序列化之后放到另一个文件里。按需读取。然后自己在内存里弄一小块作cache。
: 数据被访问的概率不太可能完全平均吧。
--
FROM 47.243.39.*
不止一台呢。。算一百台，有的占用 2g，有的占用 8g 16g，算算几百 G 内存，能省点就省点吧。
【 在 chunhui 的大作中提到: 】
: 那没治了。我觉着折腾的这个功夫，比16G的内存更花钱。
--
FROM 47.243.39.*
那有什么办法让操作系统扔掉这些映射的页吗？
需要的时候再自动从文件加载回来？
【 在 Knightmare 的大作中提到: 】
: 操作系统不会自动把映射的页扔掉。
: 你这个做法没有任何的优化啊，用过的内存超过物理+swap就会被oom kill
: 你还不如创建一个32GB的kv数据库呢，让数据库自己管缓存。
: ...................
--
FROM 117.24.95.*
但是不会自动加载回来。略麻烦。
【 在 Knightmare 的大作中提到: 】
: 有办法啊
: mummap
--
FROM 117.24.95.*