- 主题:dask的成功是不是说明spark设计的远超必要的复杂了？
不一样的场景啊。spark 跟存储结合，而 dask 是纯粹的计算。
【 在 Erlang (拿起笔做刀枪) 的大作中提到: 】
: 相比起来dask轻量简单的多，但是除了只支持Python之外，似乎dask并没有哪比spark弱。
--
FROM 110.81.40.*
互联网后端很多时候并没有什么计算，而是分布式地合并大量数据。这时候 spark 就有用了。
dask 虽然可以从多种存储后端去拿数据。但它在派发计算任务的时候，不会把任务派发到离计算近的地方——这是我以前了解到的，不知道现在能不能实现？
【 在 Erlang (拿起笔做刀枪) 的大作中提到: 】
: 就说跟存储结合这个需求本来就是虚假的吧，dask也不妨碍你用任何storage layer去scale
--
FROM 110.81.40.*
那用 dask 就很合适了。celery/dask 都是 python 后端的神器。
【 在 Erlang (拿起笔做刀枪) 的大作中提到: 】
: 可能对自建Hadoop这种情况有点卵用，现在都是云原生搞到对象存储上，没啥离得近离得远了
--
修改:hgoldfish FROM 110.81.40.*
FROM 110.81.40.*