揭秘 Google 两大超级工程师:AI 领域绝无仅有的黄金搭档
原标题:揭秘 Google 两大超级工程师:AI 领域绝无仅有的黄金搭档
雷锋网按,在 Google 从创业公司成长为一代巨头的过程中,有数不清的工程师参与,其中 Jeff Dean 和 Sanjay Ghemawat 是仅有的两位达到 Google Senior Fellow 级别(Level 11)的超级工程师,而且他们二人还是相交甚厚的好朋友。由此,《纽约客》杂志通过一篇长文对二人的传奇故事进行了描述,雷锋网对这篇文章进行了不改变原意的编译。
2000 年 3 月的一天,6 位 Google 最强工程师在公司的临时“战情室”集结,当时的搜索巨头遇到了史无前例的大麻烦。新千年来临前的那个 10 月,Google 的核心系统(即抓取 Web 网页构建索引的系统)突然瘫痪了。虽然用户还是能在 Google 搜索,但他们看到的其实都是 5 个月前的过时数据。
临时战情室的双子星
事实上,当时的情况比 Google 工程师们意识到的还要糟糕。Google 联合创始人 Larry Page 和 Sergey Brin 都开始求爷爷告奶奶,要从雅虎借搜索引擎了。而且此前他们还向用户夸过口,要让 Google 的索引比此前大上 10 倍并与互联网完全同步。如果当年他们失败了,后果可想而知。
这个临时“战情室”相当简陋,为了尽快开展工作,Google 工程师们直接将门架起来当作桌子办公了。当时,27 岁的 Craig Silverstein 也搬到了“战情室”,作为 Google 第一名员工,他在 Brin 创业初期就加入了,而且还着手改写了大量代码。
经历了四天四夜的奋战,他和一位名叫 Bogdan Cocosel 的罗马尼亚工程师却毫无收获。“当时我们做的分析都毫无意义。”Silverstein 回忆道。“哪点都看着不对劲,但我们却找不到原因。”
战情室里可不止以上两位,才加入 Google 没几个月的 Sanjay Ghemawat 也在埋头奋战,当然这里还有引荐他进入搜索巨头的老同事 Jeff Dean。这两位程序员是超级铁哥们,他们甚至爱上了一同写代码。在“战情室”里,Jeff 直接把工位搬到了 Sanjay 身边。后者敲着键盘,前者则在一旁纠正。
在对索引进行一番研究后,他们发现搜索时一些关键词直接消失了。比如你去搜索“邮箱”,就什么结果都搜不出来。有时,搜索结果还是混乱无序的状态。不过,即使经过几天的“排雷”,两人还是没能发现那个致命 Bug。
程序员有自己的工作逻辑,他们有时会将软件概念化为不同层级组成的架构,而冒险进入架构底层,就意味着要和电力与硅元素打交道了。转眼间,在“战情室”工作的第五天到了,Jeff 和 Sanjay 开始怀疑问题并非出在软件逻辑上,而是源于物理层面。于是他们将混乱的索引文件转换为最原始的形式:二进制代码。他们想看看这些机器在搞什么鬼。
这一试还真是出现了奇迹,Sanjay 发现,原来该用 0 表示的数字却用了 1。Jeff 和 Sanjay 把所有串行的命令整合在一起后,它们发现每个命令都有问题,机器的内存就是这样被搞垮的。
几个月以来,Google 的硬件错误越来越多,而这几个月正值它们计算设施的高速扩张期。一般来说,计算机硬件崩溃的可能性很小,不过基数大了之后,事情就没那么简单了。主板过热、连接线松脱或硬盘坏道都会让硬件崩溃。同时,机房里有些设备可能从来就没转起来过,而另一些则毫无征兆的卡了起来。当然,我们还得考虑到多变的环境因素,一次超新星爆发释放的宇宙射线可能就会损毁大量计算机芯片,让 0 和 1 对调。
其实类似 NASA 和金融机构等特殊单位的计算机系统都能扛住这些问题,但当时的 Google 还是新创公司,它们购买的便宜计算机可没这些附加功能。此外,随着计算集的不断扩大,那些本不该诞生的硬件问题也成了不可避免的麻烦。
找到根由后,Jeff 和 Sanjay 赶紧开始着手修复。不久之后,新的索引就完成了,临时“战情室”也宣告解散。此役之后,Google 一号员工 Silverstein 变得异常困惑,他是个出色的 Bug 猎人,但这次却没有自己同事挖的深。
Jeff 和 Sanjay 再担重任
2000 年 3 月份的那次索引崩溃发生前,Google 系统的源代码一直都是联合创始人在斯坦福写出来那一套。事实上,Page 和 Brin 并非专业程序员,他们是学术界里搞搜索技术实验的人。一旦他们的网络爬虫崩溃,屏幕上并不会显示什么有用的诊断信息。一些早期的 Google 员工会参考 Page 和 Brin 写的 BigFiles 软件,不过他们花几天时间搭建起来的索引代码一旦出了问题,一切就得重头再来。
用硅谷的话术来说就是,Google 搜索引擎根本无法规模化。
版权保护: 本文由 沃派博客-沃派网 编辑,转载请保留链接: http://www.bdice.cn/html/10129.html