水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
展开
|
楼主
|
同主题展开
|
溯源
|
返回
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
主题:Re: spark较为简单的计算,是不是比数据库慢很多?
dyingsun
|
2024-04-28 10:01:55
|
可以做个简单实验,蒙特卡洛法算pi,spark大概有20s的调度时间,剩下的才是按照分片数并行的时间。比如单机100s,
spark 2分片:70s = 20 + 100/2
spark 3分片:55s = 20 + 100/3
【 在 saynothing 的大作中提到: 】
: 自己建一个dataframe,100条记录,4个字段。 都是整数。
: 执行较简单的查询。
: 重复的动作做50次,慢的不行。。
: ...................
--
FROM 58.135.83.*
上一篇
|
下一篇
|
同主题上篇
|
同主题下篇
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版