素白书屋 繁體

裁员名单第一个 第 5 章 · 共 9 章

大促雪崩

大促日,中午十二点,顾维峰接受了两家科技媒体的联合专访。

“有人说您激进。”记者问,“大促前一周砍掉旧结算系统,全量切换新中台,万一出问题呢?”

顾维峰笑了,那种成竹在胸的笑。

“我最喜欢‘万一’这个词。”他说,“守旧的人靠‘万一’活着,进化的人靠‘一万’活着。今晚之后,你们可以把标题改成——《他赌赢了》。”

这段采访视频,当天下午在网上小火了一把。

没人知道,它会在几个小时后,火成什么样子。

下午四点,大促前最后一次全链路检查会。

清单上第七项:极端流量降级预案演练。状态:未执行。

“时间来不及了,跳过。”郑豪大笔一挥,“预案在文档里躺着呢,真用得上再说。”

清单上第十一项:结算链路故障切换目标。状态一栏,填的是“不适用”。

填表的运维犹豫了一下,小声问:“郑总,切换目标真空着啊?以前这栏都是填老账台的。”

“老账台没了。”郑豪签完字,笔一丢,“新时代不需要退路。退路这个词,就是给失败准备的。”

——

晚上七点整,作战指挥室。

三十米长的曲面大屏占满整面墙,成交额的数字在正中央翻滚,绿色的曲线一路向上,像一柄出鞘的剑。

指挥室后排,专门隔出了一块观摩区。软皮椅,果盘,香槟在冰桶里冰着。七八位投资人坐成一排,姓李的那位坐在最边上。

顾维峰今天穿了件藏青色西装,站在大屏前,像站在自己的领奖台上。

“各位,七点整,成交额突破十八亿,超去年全天。”他举了举手里的气泡水,“按这个曲线,十点破四十亿。”

观摩区响起掌声。

郑豪站在顾维峰侧后方半步的位置,胸口别着“总指挥”的红牌子,笑容满面地补充:“各位老板,今晚全量流量跑在我们新中台上,行业最先进的架构。这条曲线,就是技术实力的路演!”

“好!”有投资人捧场,“顾总带队,就是不一样!”

大屏右下角,有一块不起眼的小区域,显示着结算链路的监控指标。

七点二十六分,那块区域里,一条延迟曲线轻轻抬了一下头。

没人注意。

除了方远。

他站在指挥室最角落的操作区,盯着那条曲线,手心慢慢渗出汗来。跨日冲正的预处理队列,积压量比模型预测高了百分之十九。

“郑总。”他挤到郑豪身边,压低声音,“冲正队列有积压,我申请把批量结转错峰,延后两个小时——”

“错什么峰?”郑豪眼睛都没从大屏上挪开,“百分之十九算什么积压,扩容拉两组机器上去。”

“不是容量的事,是锁——”

“方远。”郑豪终于回头,脸上的笑没了,“投资人都在后面坐着。你再念丧经,明天去客服组报到。”

方远闭上了嘴。

他退回角落,默默把手边三台终端全部登录好,又摸出手机看了一眼——电量百分之百。

老蒋前天转给他一句没头没尾的话:大促那晚,把手机充满电。

他不知道为什么,照做了。

——

八点零九分,成交额破二十六亿。指挥室里有人开始预订夜宵。

八点十四分,结算延迟曲线第二次抬头,这一次,抬得又急又陡。

方远的手指悬在键盘上,心脏咚咚地跳。

八点十六分,三笔大额订单的记账超时。系统自动重试。

重试,抢锁。补偿任务启动。冲正单入队。再抢锁。

像一粒火星,落进了一屋子堆到房顶的干柴里。

八点十七分。

大屏正中央,翻滚的成交额数字,忽然停了。

停了两秒,整面大屏的底色,从绿色,变成一片刺眼的血红。

告警声炸了。几百条告警同时涌出来,刷得屏幕像瀑布。

“怎么回事?!”顾维峰的气泡水停在半空。

“结算服务超时!”有人喊,“支付回调堆积!订单状态推不动了!”

“记账失败率百分之四十……百分之七十……百分之九十四!”

“商户余额停止更新!对账差异开始拉大!”

指挥室瞬间乱成一锅粥。

观摩区的投资人们坐直了身体。香槟在冰桶里,没人再看一眼。

“慌什么!”郑豪冲到操作区,“重启结算服务!快!”

重启了。三分钟后,服务起来了,然后在四十秒内被积压的流量重新压死,比上一次死得更快。

“扩容!把预留的机器全拉上去!”

拉了。延迟纹丝不动。几百台新机器像雪片落进火山口,连个声都没有。

方远盯着屏幕,嘴唇发白,说了一句没人听的话:“不是容量的事……”

八点三十一分,财务系统的告警也红了。

“顾总!”财务总监的电话直接打进了指挥室,声音变了调,“订单在跑,钱在动,账对不上了!支付出去的钱记不上账,优惠券在重复核销——我们在资损!”

“多少?”

“算不清!粗估……每分钟,七位数!”

指挥室里“嗡”的一声。

每分钟七位数。每一分钟,一套一线城市的首付,就这么蒸发在对不上的账目里。

而墙外的世界,正在以另一种方式塌方。

客服中心的呼入量在十分钟里翻了四十倍,等待队列排到了九千。热线彻底打爆,语音提示循环播放着“坐席全忙”。

用户端,付了钱的订单卡在“处理中”转圈圈;有人被重复扣了三次款;有商家发现店铺余额一夜清零,在商家群里发疯。

八点四十分,“订单转圈圈”冲上热搜第三。

八点五十五分,热搜第一。词条后面挂上了“爆”字。

公关总监冲进指挥室要口径,没人理她。她站在门口,看着满屏的红色,默默把拟好的“系统波动”通稿删了——这个级别的事故,“波动”两个字按不住了。

观摩区里,投资人们的手机一个接一个亮起来。

有人低头快速回着消息,有人起身走到走廊上打电话,声音压得很低:“……对,就在现场……情况比外面传的严重……嗯,条款里的重大不利变化,你查一下适不适用……”

姓李的那位没打电话。他坐在原地,看着大屏,又看看指挥室中央那个藏青色西装的背影,在笔记本上写了第二行小字。

写完,他合上本子,安静地看戏。

顾维峰的脸色终于变了。他扯松领带,做出了今晚第一个正确的决定,也是最迟的一个。

“回滚。”他说,“切回老系统。切回老账台!”

操作区死一样地安静。

“愣着干什么?!”顾维峰吼道,“切啊!”

运维总监刘振从人群里站出来。这个四十多岁的男人,声音在抖。

“顾总……老账台,上周已经下线了。”

“下线了就重新上线!”

“机器……”刘振的喉结滚了一下,“机器上周就回收了。拆的拆,转配的转配,硬盘按保密流程,全部消磁了。”

“是您签的字。”

指挥室里,落针可闻。

大屏的红光打在顾维峰脸上,一明一暗。

“谁让你们消磁的?”他的声音低下来,反而更吓人,“回收就回收,硬盘为什么要消磁?!”

“保密流程……”刘振苦笑,“账务数据,等保要求,下线必须消磁。流程是合规的,顾总,每一步都合规。”

合规。

这两个字像一记耳光,扇在提出它的人脸上。

郑豪在旁边急得跳脚,忽然开口:“顾总!要不……联系机房回收商?机器说不定还没拆完,抢几台回来重装——”

“重装?”刘振猛地回头,红着眼睛,这个老实了半辈子的运维总监第一次吼了同级,“系统是机器吗?!十年的配置、十年的参数调优、十年的账务数据,消磁消得干干净净!你抢回一堆铁壳子有什么用?!”

“你!”郑豪梗着脖子,“当初拆机可是你们运维执行的!”

“执行你签发的工单!”

“都闭嘴!”顾维峰一巴掌拍在操作台上,震得键盘跳起来。

他闭了闭眼,再睁开,声音嘶哑:

“那就修中台!”

——

修中台的努力,持续了四十分钟,全部失败。

九点零五分,限流。把入口流量掐掉七成,让结算链路喘口气。

大屏上,成交额曲线应声折断,从陡峭的上升,摔成断崖式的水平线。观摩区一片死寂——每压一分钟流量,就是几千万的交易被挡在门外,流向隔壁友商。

结算链路缓过来了三分钟。限流一松,再次压死。

九点二十分,降级。砍掉优惠券核销,砍掉分期,只留最简单的支付路径。

死锁纹丝不动。锁在最底层,上面砍得再狠,也够不到它。

九点三十五分,有人提出终极方案:停机。全站停机,清空队列,冷启动。

财务总监当场否了:“停机一小时,在途的钱全部悬空,资损直接翻倍。而且冷启动之后呢?流量一回来,接着死。”

一圈人,把能想的路全想了。

每条路的尽头,都写着同一个词:不行。

——

一百公里外,云极园区。

陈默今晚在值班室。云极给几家做大促的客户做保障,他坐镇兜底。

云极自己的曲线稳得像画出来的。倒是几个行业群,八点半开始,炸了。

“有人知道吗?那家电商好像崩了,支付成功不发货。”

“热搜第一了兄弟们,‘订单转圈圈’。”

“据说结算全挂了,资损按分钟算。”

“他家不是刚全量切了新中台吗?还发了通稿……”

韩磊凑过来看热闹,咋舌:“这家公司疯了吧,大促前全量切核心链路。哪个天才拍的板?”

陈默看着手机,没说话。

屏幕上,老蒋的头像跳出来,一条语音,六十秒。他没点开。

紧接着是方远的消息,只有一行字,看得出是在忙乱中打的:

“师父 中台崩了 救救”

陈默盯着那行字,手指停了几秒,回了一句:

“查锁。从冲正链路往下查。剩下的,我不能说。”

发完,他把手机扣在桌上,望着窗外。

韩磊觑着他的脸色,试探着问:“陈老师,那家崩的……是您前东家吧?”

“嗯。”

“那您……”韩磊斟酌着用词,“不难受?”

陈默想了想。

“系统难受。”他说,“它底下压着几万个商家的货款,几百万个用户的钱。它现在每一秒都在出错,像一个被绑住手的会计,眼睁睁看着账本着火。”

韩磊听得一愣一愣的:“我是问您,对那家公司——”

“公司?”陈默端起茶杯,吹了吹,“公司把能拆的都拆了,能裁的都裁了。它今晚遇到的每一件事,都是它自己一笔一笔挣来的。”

“账,总是要对上的。”他喝了口茶,“今晚只是在对账。”

竞业协议像一堵透明的墙。墙那边火光冲天,他站在墙这边,只能看。

“该写的,我都写了。”他轻声说,像说给谁听。

值班室的挂钟,指向九点四十分。

墙那边的火,还要再烧很久。而火场中央的人还不知道,他们今晚真正要找的东西,三百二十六页,正安安静静躺在顶楼办公室的一摞融资材料底下。

压了四十多天。

——

指挥室里,抢修进行到第三个小时。

九点五十分,方远带着两个骨干,把故障堆栈一层一层挖到了最底下。

挖穿业务代码,挖穿中间件,挖到了最深处那一层——中台的账务撮合内核。

然后,所有人都停住了。

“怎么不动了?”郑豪吼,“继续修啊!”

方远缓缓抬起头,脸色像纸。

“修不了。”

“堆栈最底下,卡死的不是我们的代码。”他指着屏幕上那一行行天书一样的源码,“是默网。”

“什么网?”顾维峰皱眉。

“默网。”方远的声音干涩,“开源的账务撮合框架,中台的地基。不光是我们——全行业的账务系统,一半以上都跑在它上面。”

“它出名的稳,稳到没人想过它会出事。今晚这个量级加上我们的重试风暴,把它底层的锁,压成了死锁。”

“那就改它的源码!”

“改不了。”方远摇头,声音越来越低,“那一层的源码,全公司……没人读得懂。”

顾维峰一把揪住他的领子:“一群废物!开源的东西,作者呢?!找它的作者!”

方远张了张嘴,喉咙动了动,一个音都没发出来。

作者?

全行业用了它快十年,论坛里、社区里、一届一届的技术大会上,多少人问过同一个问题。

大屏的红光下,没有人能回答。

更多阅读

浏览全部 →

订阅新书通知

留下邮箱,新书上架时第一时间通知你。