第907章 刀尖上跳舞
时间一分一秒地过去。
陌陌集团总部的核心数据大厅,已经完全成了一个气氛高度紧张的指挥室。
大厅正中央那块占据了一整面墙的巨型数据屏上,华夏地图被无数流动的光点覆盖。
每一条光带,都代表著当地的网络压力数据。
此刻,这些光带正以前所未有的密度和速度,在地图上疯狂闪烁交织。
到了傍晚七点多钟,成毅和林青茵,江雨汐等高管走进了数据大厅。
见到成毅走进去,不少人都投来了目光,零星有几个人会打个招呼。
陌陌集团的企业文化就是随性,特别是对于技术人员,这种随性更是到达了极致。
不想上班了可以不上班。
心情不好了可以不上班。
只要你能完成你的任务,所有的规章制度都可以不需要遵守。
哪怕是看到董事长,也不需要起身打招呼。
陌陌集团的技术部门,是最没有上下级观念的部门,在这里,天赋为王。
你有天赋,你就可以无所欲为的无所欲为,每个技术人员都是越级打小报告的权力。
主管技术部门的副总裁是林思鹏。
成毅给林思鹏的死命令,就是只要收到技术人员的邮件,回复时间不超过12小时,解决时间不超过24小时。
因为成毅很清楚,真正托起了整个陌陌集团的,就是眼前这群技术人员。
他现在身上那20多年的所谓的技术,在这帮华夏顶尖的科研人员面前,早就不值一提了。
成毅站在数据屏前,也没有说话,只是眼神前所未有的凝重。
很快,于森,黄甘平以及从电信集团星夜驰援而来的电信政企部总经理兼网络架构总工程师方晓晓都走了过来。
「成总,我们和电信联合打造的企业云平台已经火力全开了。」于森说道:「京州、中海、羊城、深夏四大核心数据中心的伺服器资源利用率已经达到了78%。同时,我们已经激活了全国十二万家陌陌联盟网吧的边缘计算节点,作为我们的第一道防波堤。」
「嗯。」成毅深吸了一口气。
哪怕是这样,他心里还是不放心。
毕竟,这次太冒险了。
他太清楚这种并发所带来的冲击力了。
可以说,一直到了2015年,企鹅集团才勉强能够处理这种千万级的并发洪峰。
而现在,是2009年初。
哪怕电信调集了近乎半数的网络资源,和他们共同构建了一个全新的混合云架构。
但这个企业云,和前世的阿里云等等完全不能相提并论,这仅仅只是陌陌集团的内部企业云,承载力等都是有限的。
它是以陌陌的四大自建数据中心为核心,同时将电信分布在全国的骨干网络机房作为弹性资源池。
唯一的优势,就是它通过陌陌开放带宽接口协议,将全国数十万台网吧电脑的闲置算力和上行带宽,整合成了一个巨大的分布式边缘云。
当用户发送陌信时,消息会优先通过最近的网吧边缘节点进行压缩和预处理,再上传至核心云,能够极大地减轻中心伺服器的压力。
这在2008年底,是一个近乎疯狂且超前的构想。
「成总,我们的核心网已经为陌信开放了最高优先级的绿色通道。但根据我们的模型推演,零点洪峰的瞬时并发请求,可能会突破一千万,比你们预估的八百万还要高出25%!这对资料库读写p的考验是毁灭性的。」这时,方晓晓忍不住说道。
这位电信集团里以技术强硬著称的女将,看向成毅的眼神里也是充满著敬佩。
这个年轻人,已经成为了她们技术领域无法逾越的天花板。
「一千万不会的。」成毅说道:「一千万是你们统计的泛泛数据,因为我们只有两千万用户,这些用户不可能会约好在同一秒内发送语音,这总会有一个你先我后的时间差。」
「所以我觉,这一千万并发,只要疏导过快,最多就是百万级的并发,甚至是低于百万级。」成毅很笃定的说道。
这几天,他做过很多次推演,最终到的数据是秒级并发最多就是90万-180万。
但是这个千万级的在线,是会真实存在的,哪怕是秒级90万到180万的并发,也足以摧毁任何一家网际网路公司了。
「我再去检查一下分散式程序。」林青茵说了一声,在数据中心的一个工位前坐了下来。
她没有关注宏观的用户数据,而是全神贯注地盯著工位电脑屏幕上瀑布般滚动的代码日志,她的手指在键盘上飞快地敲击著,仿佛一位正在与这些数据对话一样。
一直到了晚上9点多,林青茵突然微微蹙眉,说道:「不对,有一点怪。」
「怎么了?」成毅对于林青茵的质疑一向非常重视,毕竟林青茵是他培养出来的学贯中西的终极程式设计师。
林青茵指著中间屏幕上一条几乎难以察觉的数据曲线,说道:「我们的zzly内存管理模块在处理超高并发的短连接请求时,回收效率比理论值低了0.03%。虽然现在看不出问题,但如果基数放大到八百万以上,很可能会导致内存溢出。」
这是一个极其微小的瑕疵,就像是万里长堤上一个不起眼的蚁穴。
在场的绝大多数工程师,包括于森和方晓晓,都未能察觉,但这些对于数据很敏感的林青茵来说,还是敏锐的发现了问题。
成毅的心,顿时猛地一沉。
他知道,林青茵的感觉,往往就是最终的事实。
于森也赶忙跑过去,在林青茵的指点下,他也发现了这个问题。
林青茵说道:「昨天我检查的时候,还没有这个问题。」
于森忍不住说道:「肯定是上午扩容云系统的时候出的问题。」
「能立刻修复吗?」成毅皱眉道。
「来不及了。」林青茵摇了摇头,说道:「模块已经编译进系统内核,修改它需要重启所有伺服器集群,那会造成至少十分钟的全面服务中断。」
这种情况,对于程序来说再正常不过,哪怕是开一个游戏新区,就算仔细测试几个月,只要开服,都会出各种bu。
因为测试的压力数值和正式服的压力数值是不同的。
不同的在线,不同的流量,就会出现不同的问题。
就和眼前这个问题一样,只要并发不高于800万,问题就不会浮现出来,永远的隐藏在程序里。
「那现在只能相信我们的硬体了。」成毅走到指挥台前,拿起对讲机,说道:「各单位注意,启动二号预案。所有二线三线功能,如用户头像加载、个性签名更新的接口,全部降级为最低优先级。将95%的计算资源,死保语音和文字消息通道!」
「收到!」
「收到!」
指挥室里,气氛立即就变凝重了起来。
所有人都知道,一场硬仗即将来临。
很快,随著春晚节目的开始,大屏幕的数据流量开始拔高。
陌陌集团的运营团队本来还想在春晚给陌信做一个广告,但被成毅拒绝了。
现在的陌信还真是一个蹒跚学步的孩童,根本经不住这么大的冲击力。
「秒级并发27万,综合并发267万。」
「秒级并发36万,综合并发319万。」
到了十一点,几片数据区域都已经发红了。
当刘谦的魔术表演结束,全国各地的用户从无聊的春晚节目回过神之后,都下意识地打开了陌信,开始为亲朋好友送上祝福。
数据大屏上,代表待处理请求的队列长度开始以肉眼可见的速度攀升。
「并发用户数突破四百万!」
「四百五万!」
「五百万!」
「核心资料库p达到临界值!请求排队中!」
方晓晓的脸色变煞白:「不行,资料库扛不住了。成总,必须立刻分流!否则资料库会先宕机的。」
「切换到灾备资料库集群,启动分片扩容方案。」成毅直视著屏幕,沉声说道:「不要慌,按照我们预演的来。」
「并发用户数六百万!已经超过模型预测峰值!」
「报告!京州一号伺服器集群开始出现连接超时!」
「中海二号集群,37台伺服器失联!内存占用率100%!」
「zzly内存回收有失效的趋势!」
各个数据指挥中心的汇报,全都集中到了成毅这边。
于森和黄甘平等人,感觉自己的心脏都要爆炸了。
他们一边擦汗一边站在成毅身边,看著依旧稳如泰山的成毅,他们心里真的是由衷的佩服。
现在,林青茵的预言成真了。
那0.03%的瑕疵,在六百万这个恐怖的基数下,就已经被指数级放大了。
海量的连接请求像潮水一样涌入,却因为资料库的瓶颈而堆积在内存里。
内存管理模块不堪重负,如同一个被撑破的气球,引发了多米诺骨牌式的连锁崩溃。
大屏幕上,华夏地图上的光点有些开始熄灭。
很多用户的手机上,那个绿色的发送按钮旁,开始出现了一个不停转动的菊花图标。
「我的陌信发不出去了!」
「我也是,一直在转圈圈!」
「什么破软体,关键时刻掉链子!」
刚刚建立起来的用户口碑,开始在这一刻岌岌可危。
指挥大厅里,只剩下了此起彼伏的汇报声。
此刻,于森的脸上已经没了血色,他喃喃道:「完了,我们这一步迈的太大了。」
几十个亿的投入,上千名工程师日以继夜的心血,即将在这短短几分钟内化为乌有。
「还没完!」成毅低头看了看时间,说道:「你们要统计好所有数据,马上就有人帮我们争取时间了。」
「救我们?」于森根本就不明白成毅为何会如此笃定。
谁还能救他们?
这一次,他们就是在借用全国之力来考验他们的陌陌企业云,这也是他们最凶险的一次检测。
本来他们的预案是分流分批次进行,比如哪个省份的用户可以在几点到几点发送语音,分批次进行,万无一失。
但成毅却拒绝了这种方案。
因为是骡子是马,总拉出去溜溜。
这种规模的压力测试,全年只可能有这么一次。
这是一次收集数据的绝佳时机。
错过,再等一年!
「现在不需要分流了,你们时刻记录数据,将出现的所有问题都统计下来。」成毅低头看著手表,说道:「还有一分钟,这场潮水就会褪去,有人会为我们争取24分钟的时间来解决所有冒出来的隐患。」
成毅的眼睛里也是布满了血丝,但眼神却亮吓人。
「方总!」成毅转向方晓晓,语速极快的说道:「我需要临时征用你们n的根解析权限,我要修改陌信伺服器的p指向。」
方晓晓被他这疯狂的想法惊呆了:「你要干什么?临阵修改n?这会造成更大规模的解析混乱!」
「我现在没时间和你解释。」成毅看向林青茵,说道:「青茵!将我们准备的那个轻量化认证脚本,绕过主资料库,信任所有在半小时内活跃过的设备tkn,只验证手机号和设备的匹配性,不需要二次查询资料库!把脚本植入到我们所有的边缘计算节点里!」
林青茵自然知道成毅的意图。
那就是釜底抽薪!
既然是主资料库认证这个城门堵死了,那就干脆不进城了。
成毅要利用全国十二万家网吧的边缘云,就地构建起十二万个小型的临时的、只负责消息转发而不负责认证的微型伺服器。
用户发出的消息,通过n的临时重定向,不再涌向已经瘫痪的核心数据中心,而是被导向离他们最近的网吧伺服器。
这些网吧伺服器用林青茵的脚本进行极速认证,然后通过其他健康的边缘节点进行接力跳跃,将消息传递给接收方。
这相当于,在核心云彻底瘫痪的时候,强行开辟出了无数条边缘云网络,来保证网络最低限度的畅通。
这是一个无比冒险的方案。
它放弃了安全性,放弃了稳定性,只为换取那宝贵的几分钟响应时间。
「风险太高了!」方晓晓急道:「万一脚本有漏洞,那用户的隐私……」
「网际网路从来就没有隐私。」成毅回头看著方晓晓,说道:「方总,在陌陌集团,你不要拿这种耍流氓的说辞来左右我的决定,这24分钟是我们最大的契机,我们必须要在24分钟内解决所有冒出来的问题,否则这个问题会永远藏在暗处。」
「成总,我就问你一个问题。」方晓晓眼神灼热的望著成毅,问道:「你为什么笃定一分钟后会流量洪峰会衰减?你这个计划太疯狂了,而且是毫无根据的疯狂。」
成毅看著方晓晓,一字一句的说道:「因为下一个节目是赵本山的《不差钱》。」
https://www.wxgbg8.cc/wenzhang/59503/59503045/14140501.html
请记住本书首发域名:www.wxgbg8.cc。文学馆手机版阅读网址:m.wxgbg8.cc