大量的数据符合这些特性,比如:数据分析程序扫描的超大的数据集;正在运行的应用程序生成的连续的数据流;存档的数据;由一台机器生成、另外一台机器处理的中间数据,这些中间数据的处理可能是同时进行的、也可能是后续才处理的。
对于这种针对海量文件的访问模式,客户端对数据块缓存是没有意义的,数据的追加操作是性能优化和原子性保证的主要考量因素。
第四,应用程序和文件系统api的协同设计提高了整个系统的灵活性。比如,我们放松了对bfs一致性模型的要求,这样就减轻了文件系统对应用程序的苛刻要求,大大简化了bfs的设计。
bfs还引入了原子性的记录追加操作,从而保证多个客户端能够同时进行追加操作,不需要额外的同步操作来保证数据的一致性。”
端起咖啡又喝了一口,宁子默已经习惯了身边这四人目瞪狗呆的状态。
放下杯子,宁子默再也懒得去解释那些技术细节,但还是提点到:
“bfs一早就规划了四大核心技术体,其中涵盖了第一个部分的分布式基础设施,包含的模块有文件系统(file),分布式锁服务(chubby)和数据化序列协议(protocolbuffer)。
而第二部分是分布式大规模数据处理模块,其中包含分布式运算程序的编程框架和对应的数据查询语言。他们或许和sql和类似,但实际上它应该被称之为dsl(domain-specificlanguage)。
第三部分则是分布式数据库技术,它包含的模块就有分布式数据存储系统(bigtable)和数据库分区系统(sharding)。
最后一部分当然包含数据中心优化技术,这些技术中包括综合考虑的数据中心高温化,还有电池与服务器相应整合技术等。”
撇了撇嘴,宁子默皱着眉头说,“搜索引擎是一个全盘技术的考虑,但我仅仅只举了一个很简单的例子,并且其应用范围还只是在网页搜索结果当中,并没有提及一整个生态的整体考虑。
但我所说技术方面的内容,远比我现在讲给你们听的内容要复杂的多。每一个单项里都会包含大量工作人员相应的工作成果,确实不是短期内可以去实现的。
但好在我们【bing】团队的目标明确啊。”
“梦想还是要有的,万一实现了呢?”宁子默撇着嘴挑了挑眉毛。
这个轻挑的动作,在kaltix三人组的眼里却郑重如斯。
办公室里鸦雀无声,除了必要的眨眼,好半天都没有一个人有多余的动作。
大概是忍受不住这种沉重的气氛,霍夫曼赶忙站起身来,去门口招呼人帮忙添上几杯咖啡。
霍夫曼也算看出来了,宁子默今天多少都带点“火气”,所以平日里一沾即过的风格变得凌厉无比。接连的前瞻和技术开诚布公地公示出来,定然让他斯坦福大学的三位学弟有些承接不住。
待人送来新的咖啡,霍夫曼才赶忙招呼道,“来,先喝点东西消化消化。宁原来在倍宝带团队的时候就是这样的风格,每一次他有一个新的方向时,总是向着那个方向勇往直前。
这么两年来,我从未见他失败过。但为什么不会失败,相信你们刚刚也都看到了。那是因为他在每一个细节的把控方面都已经做到了极致,这才有我们步步为营的每一次胜利。”
赛普明显是三人里边拿主意的那一位,霍夫曼话音刚落,赛普就点了点头。
虽然一直都是那位年轻的宁在说话,但是赛普总是觉得自己的嗓子有些痒。
咳嗽一声看了看身边的同伴,见他们都轻轻地点了点头,赛普清了清嗓子说到,“宁,我们已经清楚地看到你描绘的未来,也如同霍夫曼学长说的那样,明白你在计划的每一个细节都十分重视。
我想,经过你这一番讲述后,我们就只剩下一个问题。那就是,如果我们加入【bing】,那么在前期这段时间,我们能为【bing】做些什么?”
成了!
没有多余的感叹。
宁子默在做之前就笃定会是这样的结果,降维打击不仅仅是让人屈服,其实还可以是用能力去征服别人。
要不然人马星的舰队开到地球的时候,为什么总有人类想要成为三体人呢?
当然,赛普他们并不是这样的心思,而是他们被自己说的有些找不到自己的方向了。
既然别人都已经愿意加入团队,宁子默的态度自然温和不少:
“对于整个bing来讲,从哑虎搜索引擎部门跳槽而来的陆奇先生有足够的能力去掌控大局。但在细枝末节方面,我们需要足够多的专家来实现技术。
和峰语一样,bing也有自己的pagerank算法。但目前搜索引擎的优化方面,我们需要专家。这就是我让霍夫曼帮我物色人选的主要目的,而你们就是霍夫曼为我们【bing】物色的技术专家。所以,我想要听听你们在搜索领域有哪些特长。”
尽管知道kaltix的技术核心是一套包含三个技术的算法,就算知道这三个技术是二次外推,blockrank和自适应pagerank。宁子默依旧要做出足够的姿态。
赛普点了点头,笑着说,“好的,宁,那么由我来向你详细的介绍一下我们的kaltix。”
搜索引擎并不是宁子墨擅长的范围,但前世对峰语的崇拜驱使宁子默对峰语的技术有过相当的研究,这些积累的搜索知识让宁子默在和赛普的沟通中并不吃力。
kaltix是赛普三人基于峰语核心pagerank技术的新兴搜索排序技术,它基于个人兴趣的搜索结果排序方式,可以讲搜索引擎速度提升到原有速度的五倍。
它有三项核心技术……
就算知道这些,宁子默细细听完就觉得自己淡定不起来了。
也难怪前世里的峰语在2004年会有飞速的发展,完全是因为收购并消化了kaltix的核心技术,而kaltix对峰语搜索的提升是显而易见的。
赛普的讲解,让宁子默觉得自己捡到宝了,不由地夸赞到,“你们的技术核心思想是基于用户体验的搜索排序方式,这与我重视旗下产品的“交互体验”几乎是一样的要求。你们技术的核心其实也是‘交互体验’,不仅是技术的提升更是站在用户角度的‘交互体验’的提升。
这样的技术应用非常有理由客户的便捷实用,从此搜索不再是机器式的反馈结果,而是个性化的反馈用户的真正需求。你们做了一件了不起的事情。”
“那你觉得,以我们的能力和技术,我们是否可以加入【bing】呢?”
看着赛普天真地望着自己,宁子默突然很想笑。
无论如何,这句话都昭示着一个结果。
自己又一次坑了峰语,
kaltix小组归心了!