水木社区手机版
首页
|版面-Python的自由天空(Python)|
新版wap站已上线
返回
1/1
|
转到
主题:spark较为简单的计算,是不是比数据库慢很多?
5楼
|
dyingsun
|
2024-04-28 10:01:55
|
展开
可以做个简单实验,蒙特卡洛法算pi,spark大概有20s的调度时间,剩下的才是按照分片数并行的时间。比如单机100s,
spark 2分片:70s = 20 + 100/2
spark 3分片:55s = 20 + 100/3
【 在 saynothing 的大作中提到: 】
: 自己建一个dataframe,100条记录,4个字段。 都是整数。
: 执行较简单的查询。
: 重复的动作做50次,慢的不行。。
: ...................
--
FROM 58.135.83.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版