西西河

主题:【讨论】米帝一给力,中国的超级计算机前十都排不进去了! -- 菜菜西红柿

共:💬40 🌺138 新:
全看分页树展 · 主题 跟帖
家园 计算和存储的结合是Google Cluster一大特色

传统超级计算机和以Google为代表的DISC体系结构一个重大区别在于计算和存储是否分离. HPC通常有专用的storage cluster, 以专用IO设备或者以太网相连. 而Google(以及起山寨Hadoop)的一大特点是运算和存储的紧密结合. Server既当运算server又是storage server. 其应运而生的MapReduce运算framework紧紧利用这一特性, 并尽量把work分配到拥有本地数据的server上, 使得整个cluster的IO带宽可以达到惊人的程度,非常适合Google的workload (比如计算Page Index就需要读取已经所有抓下来的互联网webpage内容)

通宝推:唐家山,
全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河