== 系统问题，暂停聊天功能。==
【征集】西西河的经济学，及清流措施，需要主动参与者，『稷下学宫』新认证方式，24年网站打算和努力目标

主题：从曾经的Android组成员的角度来说说Android吧 -- zllwy

共:💬137 🌺380 新:

老大河待整

分页树展主题 · 全看首页上页下页末页

- - 复作为MS的内部人士回一句
    家园 能不能讲几句Cosmos?
    - 复能不能讲几句Cosmos?
      家园 非常简要的说两句
      Cosmos在存储上基本上还是对应着GFS，是在无结构（对应着database那种强结构化）的文件系统上的一套map/reduce的分布式系统，比较有特色的是搜索组在这之上做了一层类似于sql的封装，不用像Hadoop那样还得自己如何分解任务效率才比较高。这套东西叫做Scope，有兴趣的可以看去年VLDB上研究院的牛们发的文章。我记得好像HBase是不是也是做类似的事情？
      在微软内部，Cosmos被广泛用于搜索和广告内部的分布式计算以及大文件存储/处理，比如日志处理，另外不少机器学习的算法也被分布式化了。其实跟其他公司使用Hadoop的方式差不多。
      至于再往前一步，佛曰，不可说，呵呵。
      - 复非常简要的说两句
        家园 和HBase好像不一样
        HBase是个key-value store，不过支持column family之类的。这个SCOPE我大致看了一下paper，还没仔细看，感觉是类似于map/reduce，但提供了更高一层的abstraction，也就是一个类SQL的script language。从功能上来说，跟Google的dremel很像。但dremel是建立在bigtable上面的。Google bigquery已经出来了，基本上就是dremel，也是可以用类SQL语言来对大容量的数据进行查询。
        复和HBase好像不一样
        家园 Scope
        Scope 是建立在Dryad上的。Dryad和Map/Reduce很像，但是是基于图论的。个人感觉还是Map/Reduce更简洁些。
        Dryad 还有Linq的运用，DryadLinq，如果感兴趣可以去看看。
        复和HBase好像不一样
        家园 哦，那就是我搞错了
        不是特别了解HBase，:)
        至于Scope这一层，确实是更抽象的一层，可以架构在map/reduce基础上，也可以架构在bigtable基础上。
    - 复能不能讲几句Cosmos?
      家园 a very brief intro
      http://www.cs.washington.edu/mssi/2010/JingrenZhou.pdf
      - 复 a very brief intro
        家园 谢谢链接。有个问题
        Cosmos Storage System
        。Append-only distributed file system for storing petabytesof data
        。Optimized for sequential I/O
        PDF中提到COSMOS的两个特点，append-only和顺序读写优化，看起来象是传统的磁带系统。一般理解，文件系统是以随机读取为主的。
        COSMOS这样设计，有什么原因吗？
        复谢谢链接。有个问题
        家园 这个GFS也是一样的
        这些系统都是针对大容量顺序的写操作优化。最初GFS的设计是为了存储web crawl的数据，基本上只有append。在这基础上，实现bigtable之类的存储系统，都是采用log + snapshot。所以也是适应的。
        复这个GFS也是一样的
        家园 “大容量顺序写”这个理解，不过读呢？
        复 “大容量顺序写”这个理解，不过读呢？
        家园 Random read也没问题
        就是效率高低的问题了。
        复 “大容量顺序写”这个理解，不过读呢？
        家园 Random read应该没问题
        看一下GFS的paper吧。
        复 Random read应该没问题
        家园 RandomRead
        如果没有Index的话，Random Read 的效率就太差了。相当于一个FullTableScan，TB级别的
        复 Random read应该没问题
        家园 哈哈。这不懒吗，等着你的大作呢。
    - 复能不能讲几句Cosmos?
      家园 对，我也有兴趣
      - 复对，我也有兴趣
        家园 cosmos
        http://www.goland.org/whatiscosmos/
        此人两年前在COSMOS工作过

分页树展主题 · 全看首页上页下页末页

有趣有益，互惠互利；开阔视野，博采众长。
虚拟的网络，真实的人。天南地北客，相逢皆朋友

版面群落趣味社区帮助常见问题网站简介基本河规隐私条款使用条款广告说明