- 主题:Thrudb - faster, cheaper than SimpleDB
有了海量分布式存储 还需要并行计算来提升单位时间数据吞吐量
【 在 shucho (milo) 的大作中提到: 】
: 有点不理解，hadoop的mapreduce那部分有什么用？是不是有hdfs那部分就够了？
--
修改:Leo84zm FROM 220.181.38.*
FROM 220.181.38.*
我感觉用分布式文件系统保存图片意义不大 因为我们能用一些切分策略很方便地将图片分布开来
hadoop GoogleFS这样的东西主要是要解决一些不能切分开来存储的问题 比如一些需要进行统计计算的日志文件
【 在 shucho (milo) 的大作中提到: 】
: 像flickr那样的图片能用hadoop来存储？
--
FROM 220.181.38.*
GFS/MapReduce这样的东西解决的问题是
1）用廉价PC机提供海量存储，存储总量应该用1024TB作单位，好像叫PB
2）单位时间极高的数据吞吐量，这个是用并行运算来实现，用PC服务器群提供类似大型计算机的运算能力
3）在这种需求下，需要管理的PC数量将十分巨大，每天都会有磁盘坏掉、有机器宕掉，GFS需要监控这些情况，并且自动地进行服务器上下线，同时保证不影响正常服务
【 在 shucho (milo) 的大作中提到: 】
: 那用NFS就够了吧？
--
FROM 220.181.38.*