Thrudb - faster, cheaper than SimpleDB

水木社区手机版

主题:Thrudb - faster, cheaper than SimpleDB
楼主|jjgod|2007-12-29 16:12:32|只看此ID
http://www.igvita.com/2007/12/28/thrudb-faster-and-cheaper-than-simpledb/
--
FROM 221.216.157.*
1楼|shucho|2008-01-03 17:22:42|只看此ID
不知道有没有类似Amazon S3的开源实现。或者这么说，有没有比较好的伺服媒体文件（图片和视频）的开源方案？
【在 jjgod (jjgod) 的大作中提到: 】
: http://www.igvita.com/2007/12/28/thrudb-faster-and-cheaper-than-simpledb/
--
FROM 58.240.75.*
2楼|shucho|2008-01-03 17:34:59|只看此ID
hadoop是类似map reduce的实现吧，感觉和amazon的cloud差不多
couchdb感觉和amazon simpledb差不多

有没有类似amazon s3的？
【在 dev (Love eVonne) 的大作中提到: 】
: 据说有人在用hadoop,处理size 10Mb以上的块文件效果不错。
: S3用的Erlang，可以看看CouchDB,目前还太初级.
--
FROM 58.240.75.*
3楼|jjgod|2008-01-03 17:39:02|只看此ID
【在 dev (Love eVonne) 的大作中提到: 】
: 据说有人在用hadoop,处理size 10Mb以上的块文件效果不错。
: S3用的Erlang，可以看看CouchDB,目前还太初级.

只听说 SimpleDB 用 Erlang, S3 难道也一样？
--
FROM 221.219.7.*
4楼|shucho|2008-01-03 17:43:35|只看此ID
像flickr那样的图片能用hadoop来存储？
【在 dev (Love eVonne) 的大作中提到: 】
: ec2只是一堆vm on demand，跟map reduce没啥关系也..
: hadoop更像s3些
--
FROM 58.240.75.*
5楼|jjgod|2008-01-03 17:46:35|只看此ID
flickr 不就是静态文件么
【在 shucho (milo) 的大作中提到: 】
: 像flickr那样的图片能用hadoop来存储？
--
FROM 221.219.7.*
6楼|shucho|2008-01-03 17:47:11|只看此ID
有点不理解，hadoop的mapreduce那部分有什么用？是不是有hdfs那部分就够了？
【在 jjgod (jjgod) 的大作中提到: 】
: flickr 不就是静态文件么
--
FROM 58.240.75.*
7楼|shucho|2008-01-03 17:52:18|只看此ID
http://wiki.apache.org/lucene-hadoop/Hbase

Hbase是不是更合适？
【在 dev (Love eVonne) 的大作中提到: 】
: 据说有人在用hadoop,处理size 10Mb以上的块文件效果不错。
: S3用的Erlang，可以看看CouchDB,目前还太初级.
--
FROM 58.240.75.*
8楼|Leo84zm|2008-01-03 17:54:49|只看此ID
有了海量分布式存储还需要并行计算来提升单位时间数据吞吐量

【在 shucho (milo) 的大作中提到: 】
: 有点不理解，hadoop的mapreduce那部分有什么用？是不是有hdfs那部分就够了？
--
修改:Leo84zm FROM 220.181.38.*
FROM 220.181.38.*
9楼|Leo84zm|2008-01-03 17:57:23|只看此ID
我感觉用分布式文件系统保存图片意义不大因为我们能用一些切分策略很方便地将图片分布开来

hadoop GoogleFS这样的东西主要是要解决一些不能切分开来存储的问题比如一些需要进行统计计算的日志文件

【在 shucho (milo) 的大作中提到: 】
: 像flickr那样的图片能用hadoop来存储？
--
FROM 220.181.38.*