- 主题:Thrudb - faster, cheaper than SimpleDB
那用NFS就够了吧？
【 在 Leo84zm (Leo) 的大作中提到: 】
: 我感觉用分布式文件系统保存图片意义不大 因为我们能用一些切分策略很方便地将图片分布开来
: hadoop GoogleFS这样的东西主要是要解决一些不能切分开来存储的问题 比如一些需要进行统计计算的日志文件
--
FROM 58.240.75.*
GFS/MapReduce这样的东西解决的问题是
1）用廉价PC机提供海量存储，存储总量应该用1024TB作单位，好像叫PB
2）单位时间极高的数据吞吐量，这个是用并行运算来实现，用PC服务器群提供类似大型计算机的运算能力
3）在这种需求下，需要管理的PC数量将十分巨大，每天都会有磁盘坏掉、有机器宕掉，GFS需要监控这些情况，并且自动地进行服务器上下线，同时保证不影响正常服务
【 在 shucho (milo) 的大作中提到: 】
: 那用NFS就够了吧？
--
FROM 220.181.38.*
【 在 dev (Love eVonne) 的大作中提到: 】
: ec2只是一堆vm on demand，跟map reduce没啥关系也..
: hadoop更像s3些
只re这个
--
FROM 125.33.183.*
那就没意义了
【 在 shucho (milo) 的大作中提到: 】
: 有点不理解，hadoop的mapreduce那部分有什么用？是不是有hdfs那部分就够了？
--
FROM 125.33.183.*
图片还是有使用分布式文件系统的必要的
传统的水平分割无法做自动的冗余备份
无法进行负载均衡，以提高整体的io吞吐率（这个我觉得只是理论上的，因为我不觉得图片能造成那么大的io）
最关键：传统模式下，水平分割经常采用固定的散列法，一旦需要增容就会很麻烦。这又回到了第一个问题
【 在 Leo84zm (Leo) 的大作中提到: 】
: 我感觉用分布式文件系统保存图片意义不大 因为我们能用一些切分策略很方便地将图片分布开来
: hadoop GoogleFS这样的东西主要是要解决一些不能切分开来存储的问题 比如一些需要进行统计计算的日志文件
--
FROM 125.33.183.*
试试 MogileFS ,满足你的需求
【 在 kabbesy (Arthas) 的大作中提到: 】
: 图片还是有使用分布式文件系统的必要的
: 传统的水平分割无法做自动的冗余备份
: 无法进行负载均衡，以提高整体的io吞吐率（这个我觉得只是理论上的，因为我不觉得图片能造成那么大的io）
: ...................
--
FROM 125.119.189.*
一定程度之后，NFS sucks in a major way
【 在 shucho (milo) 的大作中提到: 】
: 那用NFS就够了吧？
--
FROM 123.112.79.*