西西河

主题:【原创】云里雾里的云计算 [1] -- 邓侃

共:💬620 🌺1262 新:
分页树展主题 · 全看
/ 42
下页 末页
  • 家园 【原创】云里雾里的云计算 [1]

    有一次去开会,台上的人在讲云计算。我问身边的听众,“听懂了吗?感觉如何?”

    听众答,“云里雾里,感觉特神秘。”

    我说,“这说明讲员讲得好。有没有注意到寺庙里的气氛也很神秘?不神秘,就没有崇拜。不崇拜,你怎么肯掏钱买香火?”

    【1】云计算要解决什么问题?

    1997年,Google的两位创始人,Larry Page和Sergey Brin,找Andy Bechtolsheim募集投资。

    Andy问,“你们打算做什么?”

    Larry和Sergey答,“打算把互联网上所有网页都下载,然后建一个搜索引擎。”

    Andy说,"把互联网上所有网页统统下载?!需要多大空间?几个Giga不行吧,几个Tera也不行吧,几个Peta,几个Zetta?。。。嗯,我看几个Googol也许才能撑得住。知道Googol吗?就是10的100次方,就是一个1后面拖100个0!"

    估计是Andy觉得这个项目不太靠谱,所以给的钱不多,只有1百万美元。只有这么一点钱,如果去买高端的存储系统,显然是不够的。走投无路的情况下,Larry和Sergey决定用PC之类便宜的机器,组建一个机器集群。先凑合着用,等以后数据量增加以后,再购买更多的PCs,扩大集群的容量。

    这个故事的真实性,有待考证。但是从中可以看到Google集群,也就是Google云计算的核心,要解决的四个问题。

    1. 大规模的存储空间,用于存储海量的数据。

    2. 随着业务的发展,新的数据源源不断地增加,存储空间需要相应扩大。用术语讲,这叫可扩展性,scalability。

    3. 系统的硬件设备必须便宜,通常使用大宗产品(commodity),譬如PC,或者价格便宜,中等性能的Dell server。

    4. 便宜的硬件设备,经常死机。所以在设计这个集群的时候,必须保证不能因为个别机器死机,导致整个系统的崩溃。也就是系统的稳定性要好,reliability。

    【2】从Google集群到云计算,云计算的商业模式

    起初Google集群是供内部使用的系统。Google为什么要开放这个系统,包装成云计算平台,给外界使用呢?

    这要从Google的商业模式说起。Google的绝大多数收入来自于广告,其它产品和服务的收入十分有限。其它产品包括Google盒子,这是给企业内部网用的搜索引擎。把Google盒子安装到企业内部网,企业员工就可以搜索企业内部的文档,包括可以公开的文档,也包括仅供企业内部查阅的资料。虽然技术很新颖,但是卖得并不好。据ZDNet的报道 ,2008年度,Google盒子的收益,占Google总利润的份额,不到2%。

    点看全图

    外链图片需谨慎,可能会被源头改

    Google search appliance, 俗称Google盒子。

    Courtesy http://mytwentyfive.com/blog/wp-content/uploads/byme/Google%20Search%20Appliances.jpg

    单一的收入来源,抗风险的能力差。譬如经济危机一来,各个企业的广告预算缩减,势必影响到Google的利润。怎么办?挖掘自身的优势,发现更多卖点,搞多种经营。

    Google的技术优势在哪里?有人说,Google的搜索结果精确,所以PageRanking算法是其精髓。其实,算法容易模仿复制,即使几年前PageRanking是Google的独家秘籍,但是今日各大搜索引擎,都有类似算法。

    让Google独步天下的是它的集群。2006年,Google集群的规模 是45万台机器。两年过去了,有人推测现在的规模又翻了一番。由于Google从不公布准确数字,所以大家只能靠Google给硬件厂商下的订单推测。

    推测虽然不准确,但是即便是10万台机器的规模,在历史上也是从无古人的,在当代也是独一无二的。而且,更重要的,是这个超大规模的集群系统经历了10年的实际运行,被实践证明是可靠的,是可扩展的,每台机器的价格也是低廉的。完全符合上一节列举的四个要求。

    但是如何依靠这个独门神器挣钱呢?思路有两条。

    1. 做hosting,数据托管。其它企业不用建自己的数据中心了,把数据存在Google的集群里得了,每个月交点托管费。

    2. 不少Google的应用服务很有人气,譬如Gmail,Gtalk,Reader,Online docs,Picasa,Google earth还有YouTube等等。这些服务对于个人用户而言,完全是免费的。但是Google从来没有说给企业用户使用,也是免费的。譬如某家商店,开了一个网站,网站上需要贴很多照片,还要给个地图给顾客引路。这个商店不需要自己动手建照片存储中心,也不需要开发技术难度更高的地图软件,只要调用 Google提供的相关服务就好。对于这种服务,Google当然是要收钱的。

    第二个思路还有个副产品,那就是给Google创造更高的流量。流量越大,说明观众越多。对于广告商来说,哪里观众多,就愿意在哪里投放广告。所以,如果第二个思路能给Google带来更高流量,那么会吸引更多的广告,给Google带来更多的广告收入。

    Google的高管们一合计,觉得有钱途。于是乎,大张旗鼓地开始制造舆论,educate the market。

    造舆论,讲究的是措辞的简练,气势的磅礴。这个新的服务叫什么? 用工程师的语言,准确地定义,应当是“超大规模的,可扩展的,低成本但是高可靠性的服务器集群系统”。Google市场部的人一听,头摇得像拨浪鼓。不行不行,既不简练,又没有气势。

    研究来研究去。于是乎,“云计算cloud computing” 这个概念粉墨登场了。

    关键词(Tags): #云计算(修身齐家)#硅谷评论元宝推荐:爱莲,不爱吱声,晨枫, 通宝推:捣蛋鬼狐狸,朝雨,

    本帖一共被 8 帖 引用 (帖内工具实现)
    • 家园 看了好几天了,信息量太大,不花不行呀

      而且邓太也令人印象深刻,赞一下。

    • 家园 这个好玩。花!
    • 家园 原来云计算就是康熙字典啊!名字怪蒙人的。

      在股市大家都看云计算概念股上上下下的,原来就是康熙字典。有趣,就这闹腾得云里雾里。

    • 家园 Google Apps首席安全官解读Apps的安全性

      文章太长,我总结一下吧,Feigenbaum关于google 云是安全的观点有:

      1. 在和Google类似的环境里,这些发现和杀毒的工作都是自动的,你什么也不用做。这真正地改变了我们思考安全问题的方式。

      2. Google已经把数据分割成许多片,分布到很多位置,这些都有超冗余和可靠性的保障,这些甚至是我们最大的客户也做不到的。我们可以实时地通过复制得到数据的本地备份。

      3. 我相信(这家)银行,因为银行有中心控制;银行是一个正规的商业组织;银行和我们正在做的一样,有独立的保障。

      4. 你仍然是数据的主人。它们不属于Google,我们仅仅在为你服务的情况下才使用数据

      5. 每年都有一个独立的审核机构来审查我们的 Apps的保密性、完整性和有效控制。他们会在充分调研的基础上用SAS70 报告的形式提交一份意见书。而我们自己做的还要更严格,我们已经宣布我们在进行FISMA的认证,而且已经拿到中级水平的认证。

      6. 我们掌控着产品所有的技术层面。第一,我们有自己的服务器;我们自己设计芯片;我们写自己的操作系统;我们写自己的应用程序等。这使得我们获得了巨大的安全优势。第二,我们的架构模式和传统模式相比是颠覆性的!我用Email做例子,Apps处理它的方法是把邮件分成大量的小块分布到整个云环境中去,所以想把这些碎片拼回原状来得到一个用户的信息比中彩票还要难得多。

      从这篇谈话来看,Google的观点是:从技术上,你不用担心Google云的安全性;从制度上,你应该象相信银行一样相信Google是正规公司不会滥用客户的资产。

      Google Apps首席安全官解读Apps的安全性

      Google Apps的安全经理Eran Feigenbaum说,Google采取了多项措施来保证公司云应用的安全,包括Google的强大规模,基于分布架构和独立的审计,对于数据中心的 SAS70复审。

        而Google之外的人士并不这么认为。在各公司意识到隐私和安全的重要性之后,耶鲁大学最近使用Google Apps的计划被搁置了。中国户的Gmail账户被诱骗攻击(这是Google无法控制的),Google的名誉受到了重创,而且中国骇客可能已经攻破了 Google的系统。

        但是Feigenbaum表示,Google正在努力Google Apps部署获取联邦信息安全管理法案的认证,而且Google Apps现在也已被纳入欧盟的安全港范围(数据可以国际化存储)。Feigenbaum还说,俗语说:“真金不怕火炼。”Google Apps的成功证明云是安全的,至少由Google来运营时是这样。

      为什么人们认为对数据的控制权会直接关系到数据安全?企业怎样才能从放弃控制权中获益?

        Eran Feigenbaum:这部分地来自观念的转变。一百年前,我的奶奶感觉把钱放到床垫里是安全的,可以时不时地看看是不是还在那里。我们这一代觉得放到银行里会更方便,银行有武装保卫,安全系统和全天候的监控,等等。

        我们大部分组织没有的巨大的经济规模,但是可以说我们是最大的之一。其他人不能负担一个像我们这么庞大的安全团队。他们也无力负担探索消除最新威胁方法的成本。他们非常依赖供应链上给他们提供这些信息的其他供应商。

        在我们这个规模的级别上,例如说病毒吧,我们经常比杀毒厂商还提前几个小时发现病毒侵害我们的用户,更不用说发布病毒特征码的时间了。如果我是一家传统的IT企业,我就不得不从杀毒商那里得到特征码的更新,并安装到我的机器上。而在和Google类似的环境里,这些发现和杀毒的工作都是自动的,你什么也不用做。这真正地改变了我们思考安全问题的方式。

        像我奶奶放钱那样,人们基本上都有一种惯性思维。因为他们确定了存储数据的服务器位置后,他们会觉得更安全。

        但是Google已经把数据分割成许多片,分布到很多位置,这些都有超冗余和可靠性的保障,这些甚至是我们最大的客户也做不到的。我们可以实时地通过复制得到数据的本地备份。

        不妨想想我们的银行账户,我们没有每天都看到我们的钱,但这并不意味着它是不安全的。

        但是钱是有固定单位的,一美元和其他的一美元都一样。而敏感邮件和文档并不是这样的,每一份都有独一无二的价值。你无法用一个文件大小一样的文档去补偿一份公司被盗的文档。

        同样的道理,拿我太太的珠宝来说吧,我把我太太的钻石耳坠放在银行的保险柜里,因为我相信那里比家里安全。尽管我不知道银行的董事长会不会趁我不在时,爬起来带一下我的耳坠。但是我相信这家银行,因为银行有中心控制;银行是一个正规的商业组织;银行和我们正在做的一样,有独立的保障。

        当然,请不要误解我这个比喻,不是所有的银行都一样,同理也不是所有的云计算供应商都一样。云计算越来越普遍,处在大爆发的时期,我们看到许多不是真正做云计算的人也给自己贴上云计算的标签。其实很多小型的供应商提供不了我们这样的安全控制。

      怎样确保信息安全官员(CISO)可以审计和控制基础设施,而且从细枝末节到系统日志的方方面面都能管理到呢?

        Eran Feigenbaum:你确实放弃了一些控制权,但这不意味着你不安全了,恰恰相反,你会更安全了。我们有2千5百万用户在用这个系统。有多少家IT企业能有这样的规模?我们在保管数据、存储数据和处理数据时都非常明确表示:你仍然是数据的主人。它们不属于Google,我们仅仅在为你服务的情况下才使用数据,即使是Edu或Apps Premier用户,我们也不会投递针对数据的广告。

        这里还要补充一句,不要觉得我就是坐在这,自卖自夸地告诉你我们做的多好。其实每年都有一个独立的审核机构来审查我们的Apps的保密性、完整性和有效控制。他们会在充分调研的基础上用SAS70 报告的形式提交一份意见书。而我们自己做的还要更严格,我们已经宣布我们在进行FISMA的认证,而且已经拿到中级水平的认证。这里面包括了我们自己在 NIST会议上提出的250个关键控制点。

        如果没有得到安全港的认证,一些数据只能存在欧盟国家。而Google已经纳入了安全港,而且在实现安全港的通知和前向传递条例上很有经验,我们运行着一个非常的良好私有数据中心,在那里围绕着我们的每一款产品都有详细特定的控制。

      如何让你的潜在客户相信Google Apps是安全的?

        Eran Feigenbaum:我认为我们的工作是提供足够的细节让客户在充分了解信息的基础上做出有技术含量的决定。几个月前,我和US intelligence的代表聊了一天半,那次以后,他们说,“Google Apps确实比我们提供的服务更安全,我们希望能做得像你一样好。”

        我们处于一个非常独特的地位,我们掌控着产品所有的技术层面。第一,我们有自己的服务器;我们自己设计芯片;我们写自己的操作系统;我们写自己的应用程序等。这使得我们获得了巨大的安全优势。第二,我们的架构模式和传统模式相比是颠覆性的!我用Email做例子,Apps处理它的方法是把邮件分成大量的小块分布到整个云环境中去,所以想把这些碎片拼回原状来得到一个用户的信息比中彩票还要难得多。

        需要提及一点,小规模的组织机构真的很难做好基于角色的安全和最小特权存取之类的工作。

        大家可以想想,3年前我放弃了金融服务机构首席安全官的位置,来到了Google。我完全理解客户的出发点,对吗?他们的数据如果出了纰漏,是会造成严重后果的。他们有责任了解数据是如何被保护的,而我们有责任提供信息来让他们做出远离风险的判断。

      关键词(Tags): #云安全 Google Apps
    • 家园 看看CIO们对云计算的心得体会

      贴个连接,看看那些IT掌门人是怎样评价cloud computing:

      Early Cloud Adopters Ride Out Hype Cycle

      • 家园 安全问题仍然是最大障碍

        Google, for one, has heard this criticism before. Its response is that customers can feel comfortable with Google Apps because its systems and processes have passed a SAS 70 Type II audit of controls in place to protect data. Google has also published on its enterprise blog some of the ways it manages customer information.

        That helps a little, Tracy says, but it's far from enough when he worries about exporting sensitive data. "That requires us to understand where the data is hosted and who has access, [even] the nationality of everyone who is a system administrator," he explains. "That's not feasible in cloud computing, where processing could be in any data center around the country at any given moment."

    • 家园 老邓,看这个云计算的另类:PS3 remote play

      http://www.engadget.com/2009/05/20/orp-beta-released-brings-ps3-remote-play-experience-to-your-pc/

      仔细说起来,就是PS3主机现在提供一个功能叫remote play。PS3主机做运算单元,画面和声音传给remote的机器显示。

      然后PSP 破解大牛把通信协议破解,可以在mac和pc上面获得PS3的运行网络数据并且显示出来。

      好吧,特别像前不久哪位老兄帖的远程游戏计算对把。

      可是,现在的游戏完完全全是cpu&gpu intensive的大游戏。在有限的未来,cpu和gpu对游戏只能说远远不够,而不是那种休闲游戏。所以现实的做法是,我自己有个PS3,好吧,我在房间里面懒得去客厅玩Kill zone II,于是我在我的macbook上面通过wifi,连上我的PS3,让PS3充当我家里的“计算云”,我的pc做终端,这样我可以在床上玩我的游戏了。但是如果我朋友想共享我的PS3,没问题,只要网络够快(这个在有限的将来能看到)就可以。但是按照这种heavy game对cpu&gpu的要求,估计也只能支撑一个人玩。同时开两个process来server两个用户比较难。注意了这是建立在PS3有一块超强的CPU和GPU的基础上的云,那些server rack上面的1U的机器有没用这么强可不好说(内存比PS3大是肯定的)

      恩,一家一户一个云,对应大负荷的计算,就自己个儿用,足矣。对大存储小负荷计算,一干人等一个云。

      云,永远不止一种。

      • 家园 有个疑问

        把PS3和显示终端分离,其实质是CPU和GPU分离。PS3基本上以CPU为主,显示终端以GPU为主。

        不是不能做,但是如果不仅仅是小打小闹,而是玩很heavy graphical的游戏,前提是CPU和GPU能切割得很干净。对于CPU-GPU是否能完全切割,我是有疑问的。

        你的意见呢?

        • 家园 我没有仔细看这个remote play如何实现

          但是按照我的猜想,应该不是CPU和GPU分离。GPU做的事情主要是做各种matrix计算的。而这个remote play其实只是PS3计算好所有的画面,通过网络传送到其他机器而已。而不是把matricx的参数送给remote机器让他们自己算各种模型。远程的机器还只是一个显示设备而已,不用计算。CPU和GPU的计算都在PS3端

    • 家园 果真如此,则IT服务业也就“云”了

      好像现在提供IT外包服务的公司CSC,TCS之类的,大约也会被收购或兼并吧。

      另外我朋友的公司(Fortune 500)好像正在用MS Livemeeting 取代自己的“Exchange Netmeeting"作conference tool.听起来有点"云"的意思。

分页树展主题 · 全看
/ 42
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河