水木社区手机版
首页
|版面-编程技术(Programming)|
新版wap站已上线
返回
1/1
|
转到
主题:使用map reduce时,是不是会先把文件读进内存?
楼主
|
GoGoRoger
|
2021-09-26 16:20:29
|
只看此ID
一不留神每文件200G+,然后后面的任务死活成功不了。。。
刚开始死活报什么读文件越界,后来改大了几个参数,发现每个文件只处理了一小部分数据。
发自「今日水木 on M2007J17C」
--
FROM 106.121.137.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版