问个python操作redis的优化问题

水木社区手机版

主题:问个python操作redis的优化问题
3楼|GoGoRoger|2021-04-26 14:03:58|展开
可以先压缩一下吧？
【在 ackerx 的大作中提到: 】
: 1万个小文件，每个大概1M，文件内就是key,value对。
: 现在要将这些文件全load到redis中，就是字符串形式存着。
:
: ...................
--
FROM 106.121.137.*
5楼|GoGoRoger|2021-04-26 14:26:04|展开
我猜是内存用完了，redis dump到硬盘，瓶颈是io？
【在 ackerx 的大作中提到: 】
: 我感觉不至于吧，这点量算大吗，我感觉是python多进程会不会有什么锁导致的。但是PIL是线程级的，已用上多进程了。又或者有什么硬件资源隐含地变成锁了，但不知道怎么分析。
:
: 另外我用的是py2.7
: ...................
--
FROM 106.121.137.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版