1万个小文件,每个大概1M,文件内就是key,value对。
现在要将这些文件全load到redis中,就是字符串形式存着。
电脑是6核12线程电脑,64G内存,文件放到了RAMDISK上。
我的方法就是读文件到数组,然后用redis的python包先mset再execute。开了64个进程,multiprocess来跑。
观察到加载初段CPU占满,但跑到后面越来越慢,CPU占用率在10+,我猜测只有一个核(1/6)在跑,整体几乎处于空载。另外内存也不存在快满的情况。
想问下瓶颈大概会在哪,应该怎么优化。谢谢。
--
修改:ackerx FROM 222.68.18.*
FROM 222.68.18.*