西西河

主题:【原创】闲话Google集群 [1] 引子 -- 邓侃

共:💬33 🌺147 新:
全看分页树展 · 主题
家园 【原创】闲话Google集群 [1] 引子

[1] 引子 链接出处

[2] 存在的理由 链接出处

[1] 引子

奥运会是一个快乐的大party,party快结束了,我们也该收收心,补补功课了。补什么功课呢?

7月份以来,新员工陆续上岗,领导指示,"塑造锐意进取,开拓创新的企业文化"。塑造企业文化的任务不太好办。组织学习七个好习惯之类的书籍,大家觉得有说教甚至洗脑的嫌疑。组织郊游,大家事后惦记着的,是下一次什么时候郊游,去哪里,但是很少有人想着如何改进工作。

最近几个月,公司的用户数量大涨,这是好事。但是欣喜之余,后台服务器的吞吐量和稳定性面临严峻考验。总部领导垂询,有没有办法强化后台服务器集群,力争趋近5个9的指标?所谓5个9,就是绝大多数(99.99999%)的时间内,服务器集群稳定工作。即便5个9的指标一时达不到,那么能达到2个9也比现状强。

和大家商量商量,干脆,把两个任务合而为一,读论文吧。

读论文的目的有二,1. 扩大视野,强化专业知识,2. 唤起大家对专业对工作的兴趣。

认识一位美女的妈妈。女儿如花,做妈妈的很得意,但是也有烦恼。漂亮女儿的学习不好,先学会计,觉得繁琐,后转学护士,又记不住大量的医学名词。于是让我找美女谈谈。美女说,"我对会计和护士没兴趣,没兴趣就读不好"。问,"哪你对什么事情感兴趣呢?" 答,"和人打交道的事情。"

我的看法,兴趣和投入是密切相关的。投入越大,相关知识和技能就越强。能力越强,就越有自信。越有自信,就越有兴趣。

想成为世界顶级选手,的确需要天赋。但是入门并不需要强调天赋,主要还是多花时间。但是正襟危坐,悬梁刺股,是不是好方法,值得商榷。美女的问题是,有没有办法把学习,变得像谈恋爱那样有趣?这的确是一个值得思考的问题。

和一位初三的小同学去外地旅游。路上问小同学三个问题,1. "平均而言,坐火车的旅客有钱,还是乘飞机的旅客有钱?" 2. "火车站里的小偷多,还是飞机场里的小偷多?" 3. "为什么多数小偷不去飞机场行窃,而是选择火车站?" 一路上你问我答,辩论热烈。

最后,小同学问,"我们讨论这些问题有什么意义?为什么不谈谈数理化?" 思辨的快乐,无所不在。小同学言下之意,如果能像辩论小偷的经济模式那样,辩论数理化问题,功课就不是负担而是快乐了。

刘翔退出比赛,网上热议。1. 比赛是娱乐还是提振国家尊严?2. 留得青山在不怕没柴烧,还是明知其不可为而为之,哪一个是真英雄?3. 国家集训式的计划体制,还是商业推动,哪一个体制更适合中国体育国情?有了辩论,大家就有兴趣,讨论也就更深入。

为什么讨论技术问题,很少出现热烈的辩论?不是问题本身无趣,而是进入壁垒比较高。要参与辩论,首先必须明白论战双方在讲什么。进入壁垒高,参与者就少。人数少了,自然就不热烈。

如何挑起技术辩论?或许横向比较是一个招儿。集群技术有几个学派?这些学派的差异在哪里?为什么Google不沿用现成的技术,而是另起炉灶?都说Google的集群做的好,是不是其它集群技术就没有前途?

有记者问李开复,Google的技术优势在哪里?开复答,1. PageRanking的排序算法,2. 超大规模集群。 Google的集群,2000年初的时候由一千多台服务器组成。到了2006年初,根据Google给Dell的订单推算,估计是40万到50万台服务器的规模。两年多过去了,目前Google的集群有多大?有论者猜测,估计已经超过1千万台机器了,这个猜测是否准确,待考。

PageRanking的算法相对比较容易跟风,但是想效仿Google的集群就不是那么容易了。Google的集群里到底藏了什么药?我们这个系列就谈谈这个问题。之所以是闲聊,1. 节奏和篇幅比较随意,2. 强调横向比较,背景解释比较多, 3. 掺杂个人观点(当然会明确标注),欢迎大家拍砖。

关键词(Tags): #Google#集群#互联网#操作系统#网络元宝推荐:铁手,老马丁,

本帖一共被 7 帖 引用 (帖内工具实现)
全看分页树展 · 主题


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河