本文来自微信公众号:正和岛(ID:zhenghedao),内容摘编自:中信出版集团《质量为纲》,作者:田涛、殷志峰、彭勇(执笔),头图来自:视觉中国
本文来自微信公众号:正和岛(ID:zhenghedao),内容摘编自:中信出版集团《质量为纲》,作者:田涛、殷志峰、彭勇(执笔),头图来自:视觉中国
这是一个跌宕人心的真实故事。
美国断供铁拳袭来,外资合作伙伴被迫分手,华为不得不为自己无比庞大的系统和数据自建一套ERP系统。
历经3年,1700多人共同作战,他们完成了这个华为的“两弹一星”项目,这个业界几乎公认为不可能的任务。
这篇长文首度披露完整过程与诸多内幕。从中,你会看到一家优秀企业的文化有多么大的魅力和感召力,也能看到困境面前,总有不屈不挠的奋斗和笑看沧桑的豪情。
一、序章
深圳的夏天来得很早,五月中旬,阳光就炙热起来了。从梅林关沿着梅观高速向北行驶5公里,有一处繁忙的出口,指示牌上标示:富士康向左,华为向右。从出口下高速,转入张衡路,是一条林荫大道,两边高大的凤凰木开着火红的花,一树树花团锦簇,在阳光的炙烤之下,似乎要燃烧起来。
一侧的路上是去往富士康的川流不息的人群,穿着深蓝色制服的年轻人,三三两两,快步赶往工厂。
另一侧的路上是通向华为坂田基地的蜿蜒车龙,汽车走走停停,驾驶员在停顿的几十秒时间里,还习惯性地刷着手机。
陶景文就被裹挟在车龙之中,脸上写满了疲惫。看到人行道上不断闪过的年轻的面庞,他不禁回想起20多年前的自己,那时他大学毕业不久,只身来到深圳,也是每天从租住的农民房走路到公司,在食堂买几个包子后,就一头扎进软件代码之中。
同事都是年轻人,充满激情地开发新产品,一起熬夜加班,晚上在大排档吃个夜宵,再打上两局台球。现在想起来,那是多么简单而幸福啊。
后来,他转向市场与销售工作,从中国到非洲,再到欧洲,十多年间跑遍了大半个地球。再次回到深圳时,他被任命为公司CIO(首席信息官),负责流程和IT(信息系统)建设。
CIO的工作不好干。日本管理学家大前研一说过:“作为企业CIO,业务部门要什么你就做什么,这不是一个好CIO,早晚得下台;但业务部门要什么,CIO不能满足这些诉求,下台会更快。”这句话,让陶景文认识到CIO工作的价值与挑战,也领悟到IT和业务之间相爱相杀的缠斗关系,深感责任重大。
尤其是在2019年5月16日,华为被美国商务部制裁,170多个关键IT系统都面临着中断风险,全球业务的正常运作受到威胁,他更是感到压力巨大。
“嘀嘀嘀……”一辆越野车从旁边插过来,想强行加塞。放在平时,他肯定会踩下刹车踏板,让它过去。但是今天,他没有给这个机会。他惦记着一个重要的会议,要见一位老朋友。
这位朋友是美国甲骨文公司(Oracle)的区域负责人,因为商业关系,陶景文与他结识多年。在华为被制裁之后,所有与华为有商业合作的美国公司都开始解读制裁令,并采取各种措施,以遵从美国政府的规定。作为华为ERP(企业资源计划)系统的供应商,甲骨文公司也在评估实体清单的影响。从前期传递过来的消息来看,双方继续合作的可能性很小。今天,这位区域负责人将会给他一个正式的答复。
“陶总,我们和华为有着20多年良好的合作,从我们的意愿来讲,是非常希望能继续为华为服务的。”
陶景文知道接下来将是不好的消息,但还是抱着一线希望问:“贵公司是否已经向美国商务部申请许可了?”
“很遗憾,总部通知我们,停止所有与华为的合作。”
“那我们之前采购的硬件服务器,能不能按时交付?”
“非常抱歉,总部已经取消了这单采购合同。”
“在华为的30多位维护专家,还能工作多久?”
“作为朋友,我非常理解你。但没有办法,他们已经接到通知,马上就离场。”
......
送走这位负责人,会议室陷入了长时间的沉默。没有备件,没有服务,没有升级补丁,ERP系统很快就会像一台年久失修的老爷车,所有人都知道这意味着什么。
ERP系统是大型企业必不可少的核心管理软件,其重要性堪比人的神经系统,如果ERP系统崩溃,华为在170多个国家和地区的业务运作就会停摆,企业管理也会倒退回手工作业时代,公司生存会受到严重威胁。
专家撤离得很快。当天下午,平时略显拥挤的办公区就变得空空荡荡,只剩下寥寥几位华为员工站在那里,不知所措。这些专家都是甲骨文公司在中国本地雇用的工程师,他们与华为IT人员一起保障着ERP软硬件系统的稳定运行,面对突如其来的变故,他们尽管内心极不情愿就此中断自己的职责,但是总部的指令必须遵从。
ERP系统的断供停服,如同奔腾汹涌的大渡河,将困难横亘在华为面前,历史上没有一家公司面对过这样的难题。
大渡河,因水流湍急,两岸陡峭,难以摆渡和架桥,自古被称为天堑。160多年前,石达开的队伍被阻拦在这里,最终全军覆没。80多年前,中央红军面对国民党军队的围追堵截,成功强渡大渡河,创造了战争史上的一个奇迹。
面对IT领域的“大渡河”,华为同样没有任何退路可走,由全球200多家子公司、20多万名员工组成的主力队伍,能不能像当年中央红军一样创造奇迹,突破生死封锁线?
华为被迫走上了突围之路,数千人的团队即将踏上一段艰苦的征程。在乌云密布的茫茫黑夜中,似乎看不到一丝光亮。
二、船和桥在哪里?
强渡大渡河,关键在于解决船和桥的问题。
2019年6月,陶景文团队在经过多轮讨论与分析后,向公司提出了两个并行计划:A计划,保障现有系统稳定运行,并尽可能延长其生命周期,为突破封锁赢得时间,由张国斌负责;B计划,为ERP系统寻找替代方案,找到船和桥,从根本上解除威胁,由常栋负责。
解决船和桥的问题,无非是两条路径,一是寻找国内厂家替代产品,二是自己开发。有关这两条路径的讨论与验证,前前后后持续了大半年的时间。
这两条路都很艰难,如果采用国产软件包替代,它能否平稳支持华为如此大体量且复杂的业务?如果自己研发ERP系统,那将是一个巨大的工程,从研发到替换,全世界都没有先例。
常栋派出一个团队,与国内ERP系统厂家紧锣密鼓地进行交流和测试、验证。由于华为全球业务场景过于复杂,国内厂家的软件包难以匹配,团队经初步评估和测试发现,如果采用国产软件包替代,则需要进行大量的定制化开发,其工作量和难度可能并不亚于公司自己开发。
所以说,国产替代也好,自研替代也好,实际上都需要华为来主导这个过程,都要自力更生。
但是,华为真的具备这个能力吗?
公司一位领导说:“如果有选择,我们最不愿意启动的就是ERP项目。当年仅仅是想更换ERP供应商的提议,都被我否决了,更不要说自己开发了。”
一家大型企业的领导听说华为想把ERP系统换了,一连说了三四遍“不可能”。
公司内部一位专家有着20年ERP系统使用经验,听闻消息后大吃一惊:“这是真的吗?这怎么可能?领导们是疯了吗?哪来的勇气和自信?”
还有人质疑,以前我们只是ERP系统的使用者,相当于坐在大船上的乘客,现在要自己造一艘万吨巨轮,能行吗?
陶景文自己也没有信心:“要在不影响业务的情况下替换ERP系统,就像把人的神经系统抽出来,还要在这个人活着的时候把它连接回去,同时保证任何一个器官都不出问题,这是多么难的一件事。”
1. 坐船变造船
ERP是什么?为什么这么重要?替换它为什么这么难?
为了便于读者理解ERP的概念,我们先举一个例子。假如一位个体户经营一个煎饼铺子,需要管理鸡蛋、面粉、大葱等十几种食材,他通过眼看心算就能管得过来;假如他经营一家便利店,涉及几十、上百种商品的进、销、存和价格,那光靠他的脑袋就不行了,过去要用账簿和算盘,现在要用到电脑表格;假如他经营的是一家大型超市,涉及成千上万种商品的进、销、存,以及管理、会计,即便他拥有牛顿、爱因斯坦的大脑也算不过来,单纯的电脑表格也不够用了,这时就需要用到类似ERP的管理软件系统。
诺贝尔经济学奖获得者科斯提出,企业的本质就是一种资源配置的机制。ERP系统就是支撑企业资源配置的软件系统,中文全称为“企业资源计划”。
其雏形诞生于20世纪60年代至70年代,一些制造企业开始采用计算机辅助生产管理,提出了物料需求计划(MRP)系统,主要功能是管理物料需求与供应;80年代,升级为制造资源计划(MRPII)系统,这是一个将生产、财务、销售、采购等各子系统集成为一体化的系统;90年代初,高德纳咨询公司(Gartner)提出了ERP的管理思想。
ERP系统综合了企业各方面的资源,支撑着公司人、财、物的资源配置,实现全员深度参与,成为现代企业经营管理必不可少的软件系统。
而用于大型企业的高端ERP系统,更是被视为企业的神经系统,一旦中断,业务就会停摆。这些企业规模大、业务板块多、流程复杂,涉及多语言、多币种、多会计准则,ERP系统要支撑这个庞大系统的有效运作,适配不同业务场景需要,其复杂度和难度可想而知。
ERP系统的本质,是先进企业管理经验的软件化沉淀。企业引入ERP系统,不仅仅是购买一套软件,更多的是引进软件所沉淀的流程经验和管理智慧。
ERP系统还需要产业链上游的信息技术支撑,包括服务器、存储等先进硬件设备,也包括数据库、操作系统、开发工具等先进软件系统,而这些底层技术大都为美国公司主导。如果软硬件捆绑形成事实标准,替换就会更加困难。
ERP软件需要长期积累与大量投入,可以说是时间与金钱的积分结果。一直以来,高端ERP系统都由甲骨文、思爱普(SAP)等欧美厂商主导,在中国市场,这两家公司的产品覆盖了各行业的龙头企业,和华为一样,这些大型企业也对欧美厂商形成了很强的依赖。
国内厂家在20世纪90年代中期开始ERP系统开发,经过20多年的创新发展,取得了巨大的进步,但在高端ERP系统市场,仍然难以撼动欧美厂商的优势地位。
华为自1996年引入甲骨文公司的ERP系统,历经20多年的应用实施与升级优化,截至2019年,ERP系统数据积累到惊人的150T;全球500多万份合同履行、6万多个项目交付、7亿多行采购指令、24亿多行库存交易、33亿多行发货订单、17亿多行应付发票、15亿多行应收发票......
这个系统承载了华为多年管理变革所沉淀下来的经验,支撑了全球业务运作。基于精细化业务管理要求,华为对ERP系统进行了大量定制开发,代码高达490万行。在ERP系统外围还有300多个作业系统,与ERP系统拉链式集成,频繁进行数据交互,形成了一个错综复杂的庞大系统。
华为在IT建设上的策略是“用欧美砖修长城”,主要IT系统大都使用欧美厂商成熟的软件包,这对华为快速引进西方优秀管理经验、提升企业经营管理水平,起到了非常重要的支撑作用。
但在这个策略之下,流程IT部门的定位更多是一个项目实施、资源管理和系统开发部门,而不是专业的产品研发部门,尤其缺乏大型商业软件的开发经验。
这一群过去习惯了坐大船、过大江的乘客,现在被迫要自己造船了。历史上没有哪家公司这样干过,连想都没有想过。
2. 背水一战
那一天,我不得已上路,为不安分的心,为自尊的生存,为自我的证明。
在陶景文的脑海中,无数次响起刘欢演唱的这首《在路上》。在他看来,ERP系统替换之路的开端,就是不得已而上路。在各种意见和畏难情绪弥漫的时候,他需要在公司内部争取到足够的支持。
公司领导特意邀请他和几位骨干一起喝咖啡交流。
交流地点在长廊咖啡厅,它也是一个开放的图书馆,有50多米长,靠墙一侧有十多个大书架,摆放了各学科图书。在长廊入口,陶景文注意到有两本摊开的书。
一本是《科学:无尽的前沿》,这是二战之后美国科学家范内瓦·布什提交给总统的一份科技政策报告,对美国日后几十年的科学研究与创新产生了极大的促进作用。
另一本是罗伯特·卡帕的摄影作品集,卡帕是知名的战地记者,书中收录了他在欧洲各国、中国、越南等地拍摄的优秀作品。
“情况很不乐观,我们必须做一个选择。”陶景文说,“我见了几位国内ERP伙伴,尽管他们从来没有遇到过华为这么复杂的场景,但我们还是要团结伙伴一起来干,要为中国软件产业生态的发展架起一座桥。”
领导说:“在当前的形势下,我们首先要丢掉幻想。这件事情很难,但我支持你们做。公司已经决策,有一笔3.28亿美元的专项基金,你们可以拿去用。”
“感谢公司的支持,一些紧急的IT系统替换工作已经启动了。”
“你们还有其他困难吗?”
“领导,现在公司冻结了社会招聘,ERP系统替换急需业界专业人才,我们能否申请100名高端人才的招聘名额?”
“那你们现在就写申请。”
陶景文从笔记本中撕下一张纸,现场写起了申请:“针对关键IT系统面临的严峻情况,特申请补充100名高端及特殊人才编制,用于打赢IT业务连续性及安全防护战役。请公司批准。”
领导当场签字:“同意引进300名业界的尖子、中子。”
公司领导给予的倾斜性支持,稳定了团队信心。
与ERP系统息息相关的业务部门也给予了坚定支持和承诺,让IT团队燃起了斗志。
供应团队是自研的坚定支持者。自2015年开始,供应链启动了数字化变革项目,对ERP部分外围系统进行了重构,取得了良好进展。他们认为,这些数字化系统就是摆脱ERP依赖的底气,现在要做的是进一步把ERP交易平台建设好。
财经团队同样坚决支持自研,因为没有其他更好的选择。过去10年,他们和多家国内厂商进行过交流,甚至试用过产品,但距离满足华为复杂的业务需求还有较大差距,他们不希望华为ERP系统退回到10年前的水平:“如果要在中国找一家满足华为业务需求的供应商,这家供应商可能只能是华为自己。”业务部门没有给自己留退路。他们急切的渴望和坚定的决心,让IT团队受到了极大的鼓舞。
“宁可向前一步死,绝不退后半步生。”面对前所未有的制裁与打击,华为上上下下已经形成共识,坚定信心要继续前进,求生存、谋发展。
对陶景文来讲,也到了下定决心、背水一战的时候。
但是,有一个担忧一直萦绕在他的脑海中:“现有ERP系统快到生命周期末期,没有保修、没有备件,这台‘老爷车’到底还能跑多久?”
他心里完全没底。如果现有系统用不了两个月就崩溃了,那任何未来的计划都没有意义。他凭直觉判断,要找到船和桥,至少要3年时间。他对A计划负责人张国斌说:“你们要和时间赛跑,尽可能延长老系统的生命周期。”
三、与时间赛跑
张国斌是一位资深的IT专家,2005年加入华为,之前曾在新加坡负责某国际物流公司的IT建设。他的团队要保障3000多个IT系统的稳定和安全,而ERP系统是排在第一位的。他非常了解原厂ERP系统的情况,华为将其用到了极致,无论是功能、性能还是容量,系统基本处于满负荷状态,极易触发故障。
“我们是带着荣誉感和使命感来维护这套系统的,把它当作大熊猫一样悉心看护。”维护团队对原厂ERP系统有着一种又爱又恨的复杂情感,每一次升级、每一次优化、每一次账务月结,都如履薄冰。
ERP系统被断供停服之后,大家都很着急,怕系统突然崩溃。公司的要求是:哪怕是挖沟、建土围墙,也要把ERP系统先保护起来,不能让20多万名员工回到用算盘算账、用鸡毛信传递信息的时代。
除了系统本身可能出现故障,张国斌还有一个担心,就是来自外部的蓄意破坏。系统会不会被人为切断?或被黑客恶意攻破?他知道,从技术角度看,凡事皆有可能,不能有任何侥幸心理,IT系统维护也遵循墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它都会发生。
为了防止人为破坏,技术团队第一时间采取了应急措施:断网。即通过软件防护,关闭外网接口;在内网构建页面保护罩,缩小暴露面,保护系统免受攻击。
要让这台没有维修保养的“老爷车”继续跑下去,面临着三大挑战。第一是硬件服务器即将到生命周期末期,无维保、无备件,硬件极易损坏;第二是软件补丁不可获得,也没有专家支持,出现问题难以修复;第三是安全漏洞与黑客攻击风险。
张国斌优先要解决的问题,是组建系统维护团队。原厂专家撤离后,华为除了集中自有维护人员,也紧急在社会上招聘业界专家,第一批就招到多位熟悉原厂ERP系统的专家,解了燃眉之急。这个团队全天候监控,主动运维,保障了系统暂时平稳运行。
技术团队联合公司网络安全部门,在很短的时间内构建了一套有五层围栏的保护罩,包括防止用户账号被盗用的“身份围栏”,防止网络渗透的“网络围栏”,防止主机软件漏洞入侵的“主机围栏”,防止ERP系统原生漏洞入侵的“应用围栏”,防止数据删除或篡改的“数据围栏”。
他们还建立了同城双活、异地容灾、三重备份等机制,保障了老ERP系统的极限生存,即在发生数据删掉、软件包甚至备份库被破坏的情况下,业务数据仍然能够恢复。
由于系统存储容量达到极限,为了给“老爷车”减负,团队将一些历史文档和旧数据进行归档,给生产环境留下了更多空间。同时向公司建议,进行合同关闭清理、清除历史数据,力求把系统总容量使用占比控制在65%的安全线以下。
经过张国斌团队的努力,A计划取得了良好的进展。2019年11月的一个夜晚,他向陶景文报告:“现有系统的稳定性和安全性都得到了有效防护,我们判断,这台‘老爷车’至少可以再跑两年。”
大家都松了一口气。
夜晚的园区灯火通明,后勤部门在办公楼旁边的草坪上搭起了“星光夜市”,他们支起帐篷,摆上户外桌椅,为大家提供免费的夜宵。忙碌了一天的员工三两成群,聚在一起喝咖啡,享用点心和水果。
一旁的步道上,喜欢夜跑的人开始行动了,张国斌也在其中。从他办公的C区跑到A区,一个来回是两公里,晚上只要有空,他都会坚持跑两个来回。跑步的同事不少,在一些有车辆出入的路口,公司贴上了温馨提示:“星光不问赶路人,夜跑同学请留心。”张国斌留意到路边新建了一排充电桩,好多员工的新能源车正在这里充电,听说还是免费的。他戴着蓝牙耳机,听着音乐,穿过园区小树林,心想,可真是一条“充电”的好路线。
张国斌并不是一个特别爱运动的人,他跑得很慢,或者说只是比走路要稍快一点,30分钟跑完两个来回,已是大汗淋漓。和其他夜跑同事不同的是,他不仅是为了健身而跑,更是为了生存而跑。
因为他患有心血管疾病,那段时期越发严重,医生嘱咐他一定要减肥,否则可能会有更坏的情况发生。于是,在给老ERP系统减负载的同时,他也给自己制订了目标:每个月必须减重一公斤。最终,他成功减重十多公斤。
他说,那段时期,他和公司的目标是完全一致的,就是要活下来。好消息是,两者都达成了目标。
1. 大机切换
为了进一步延长现有系统的生命周期,A计划中还有一个举措:把原厂的硬件服务器换掉。
替换硬件服务器的任务由周启涛主导。他是资深ERP专家,在读研究生期间就学习ERP相关理论,毕业后在业界做了4年ERP系统实施与维护,之后在华为又做了10年维护工作,对原厂ERP系统有着深刻的理解。
华为ERP系统数据量大,对硬件性能要求非常高,只有原厂的软硬件一体的机器才能运转起来。一体机有着炫酷的设计,外表是银灰色的工业化风格,镂空的前柜门上写着一个大大的“X”,机器有2米多高,重量接近3吨,因为体型庞大,所以俗称“大机”。
大机安装在华为的数据中心内,这是一座有着严密防护措施的现代化建筑,确保机器稳定运行和数据安全。包括周启涛在内的所有工作人员或其他来访者要进入机房,都要经过数道门禁认证,签署承诺书。
在经过堪比机场安检的程序后,再换上专用反光背心,还要把手机所有摄像头用贴纸封上。踏入机房,首先会踩到一块黏糊糊的胶垫,以粘走鞋底的灰尘。接下来便会看到一排排比普通人高出一头的服务器,64台一组,排列得整整齐齐,随着指示灯的闪烁和散热风扇的嗡鸣声,这些机器为华为全球的IT系统提供着算力与存储空间。
每次进入机房,周启涛都有一种强烈的秩序感,空间的规划、机器的摆放、线束的布置以及温度的控制,一切都井井有条。但这种秩序只是一种肉眼可见的表象,在纳米尺度的器件之中,在由代码构成的虚拟空间里,隐藏着各种看不见的危机,随时都有可能爆发。
当时正在使用的这组性能强悍的原厂大机,在ERP系统庞大的数据负载之下,也显得非常脆弱。自2017年春节投入使用以来,它连续跑了1000多天,从未休息过。这些年来,它支撑着ERP系统运行,经历过无数次数据洪峰,周启涛团队小心翼翼地照看着它。
由于被制裁,华为无法购买新的大机,现有大机也得不到原厂维保,出现重大故障的概率越来越高。周启涛一直有个大胆的想法,就是用华为自研的服务器替换掉原厂大机。但自研服务器一直是作为备用机运行的,从未正式启用。如果直接替换,服务器CPU(中央处理器)使用率将达到100%,系统可能会立刻崩溃。
面对这个瓶颈,从业界招聘来的技术专家李凌云通过性能优化攻关,将原厂大机的数据库负载量降低了40%,这使得大机切换的设想成为可能。
自研服务器即将“转正”,这是一次前所未有的尝试。
2020年8月8日,夜暗如水,办公楼灯火通明,现场近50人,远程200多人,等待大机切换时刻的到来。
深夜1点,作为现场总指挥,周启涛一声令下:“启动大机切换!”
会议室里异常安静,只听见敲击键盘的声音,大家的关注点都集中到了切换大屏。
一切都在有序地进行:停应用,停服务,停大机数据库,启动自研服务器。
“服务器启动成功!”
“外围应用连接成功!”
“并发管理启动正常!”
......
工作组成员逐个检查验证任务,外围系统验证也同步启动。
深夜2点,正当大家准备松一口气时,不料各个验证组陆续爆发问题,
让技术保障团队应接不暇,问题迟迟无法解决,现场气氛顿时紧张起来。
数据库管理员贝承发紧急进行检查,发现有部分服务注册不上,技术人员尝试各种方法后都不奏效。
深夜2点30分,到了决策点,运维经理请示周启涛:“并发管理器和服务不可用,存在高风险,如果分析和恢复时间过长,将会造成大范围的周边系统不可用,导致业务停顿。原因还需定位,但是时间太紧,请决策是否回退。”
维护团队近一年的努力,一幕幕在周启涛眼前闪过,他实在不想就此放弃,还想给技术团队争取一点时间。他看了看表说:“还有时间,大家放松些,继续定位问题。”
周启涛的镇定给团队带来了信心。
切换团队开始快速排查各种可能。难道域名解析异常了?但域名、网络都是正常的,该重启的都重启过了。
贝承发突然想到,5年前他遇到过的一个类似问题:数据库配置与ERP应用配置冲突。这是一个很隐蔽的软件缺陷。
随着一串串指令的输入,系统成功接通,办公室里一片欢腾。接下来,团队齐心协力,完成ERP系统及所有外部应用的验证,系统运行平稳,无任何异常。
大机切换成功完成!
周启涛看着这个相识多年的伙伴被替代,心中竟然有些不舍。不过,这台机器还不会下岗,它将承担新的使命—作为自研服务器的备用机。而周启涛也有了新的使命:从老ERP系统的维护者,变成新ERP系统的建设者。在这一刻,人和机器都在重新定义自身的价值。
周启涛抚摸着银灰色的金属机框,自言自语道:“这真是一台好机器。”大机的一排指示灯在闪烁,仿佛在回应他说:“你也是一个好人。”
“如果机器拥有意识,你会甘愿做一个‘备胎’吗?”
“我的价值,是使用我的人来评价的。”
“那么,老伙计,再见了。”
“再见了,我会站好最后一班岗的。”
经过一年多的努力,“老爷车”换了新底盘,焕发出勃勃生机,还可以持续跑下去。张国斌团队赢得了这场生命与时间的赛跑,为接下来“渡河”行动暂时解除了后顾之忧,提供了5年左右的时间窗口。
陶景文心里有底了,终于可以撸起袖子,放手一搏了。
四、大胆的计划
2019年12月20日,深圳,多云转晴。
B计划负责人常栋在公司食堂吃完早餐,正绕着园区中的天鹅湖散步。
所谓天鹅湖,其实就是一个浅浅的人工湖,因多年前引进了两只黑天鹅而得名,现在它们已经繁衍好几代了。看着红喙黑羽、优雅美丽的黑天鹅一家在温暖的阳光中悠闲地划着水,常栋很是感慨。
黑天鹅是原产于澳大利亚的珍贵品种,17世纪以后才被世人知晓,人们常用“黑天鹅”事件来形容那些不可预测、小概率而又影响巨大的事情。
过去半年多来,常栋所负责的IT应用领域发生了太多的“黑天鹅”事件,多家西方公司中断升级、停止设备供应、撤走维护专家,在他20年的工作经历中,从未遇到也没有想到会发生这样的极端情况,这些难以预测、不同寻常的事件,完全打乱了原有的IT工作规划,给公司业务运作带来了致命的威胁。
在他负责的B计划中,面临着多座难以逾越的大山:ERP、PDM(产品数据管理)、服务器、存储、数据库、操作系统等。每一座大山的背后,都站着一个或几个美国IT巨头。华为曾经站在这些IT巨人的肩膀上,快速提升了全球化经营与管理能力。现在,被迫走下巨人的肩膀,如何替换掉这些产品,还充满了迷雾。
今天,会有一个重要的决策会议,他将向华为变革指导委员会汇报 ERP替换的立项申请,如果获得通过,一场持续几年的大战即将拉开帷幕。
“概率,概率,ERP替换成功的概率能有多少?”他在内心问自己。
“或许能有50%的成功率,值得一搏。”一个声音说。
“这件事情从来没有人干过,成功的概率不会超过10%。”另一个声音反对道。
理智告诉他,ERP替换这条路,不管朝哪个方向走,成功都将是一个小概率事件。但凡事皆有可能,现在已经没有退路了,只要有1%的可能,就要做100%的努力。这时,湖中的黑天鹅发出嘎嘎嘎的叫声,似乎在对他说:“事在人为,只要下定决心,为什么就不能逆向创造一个‘黑天鹅’事件呢?”
决策会议在培训中心召开,这是一处被葱郁的树木和竹林环绕的区域,显得典雅而幽静。与会人员都在认真聆听常栋的每一句话,并不时打断提问。这个决策很重要,它关系到未来几年数亿美元和数千人力的投入,更关系到公司全球业务的连续性。
常栋是一位专家型主管,任何时候都充满干劲。他在华为流程IT部门工作了20年,负责过架构规划、应用开发与实施等各环节工作,对ERP 系统有着深入的理解。
他提交的立项申请,实际上也就是“强渡大渡河”的实施计划。在这个计划里,他提出了两个关键步骤:第一步“解耦”,把原厂ERP系统从几百个业务系统中剥离出来,理顺各种接口关系;第二步“换芯”,开发新的ERP系统核心模块,并在全球200多家子公司里替换掉原系统。
这两步看起来简单,实施起来却异常复杂。其中最核心的约束条件是:在ERP系统的替换过程中,要保证全球业务运作不受影响,保证数以亿计的数据不能出错。这相当于在飞行中换发动机,在业界完全没有先例。计划中需要用到的许多关键技术和能力,现在还很不成熟,甚至还没有被开发出来。
这真是一个大胆的计划!尽管大家还有很多的顾虑,但委员会经过集体表决,最终同意ERP替换立项,并明确了总体目标:面向未来打造云化、服务化的泛ERP架构,用3年时间完成新ERP主体建设,5年完成覆盖。
1. 解开一团乱麻
从规划到实施是一个艰难的过程,第一步“解耦”工作就面临极大挑战。
经过前期摸底,ERP系统和业务系统有着极其复杂的关联,共计有 3950个业务连接点,2.7万多个数据进出口,关系盘根错节,犹如一团乱麻,老系统不解开,新系统就无法启动重构。这个难题,让总架构师卢强夜不能寐。
卢强有着20年数字化转型经验,经历了多个变革项目的洗礼,他经验丰富、视野宽广,懂业务、懂技术,是一位儒雅的学术型主管。他一直在思考,如何从一团乱麻中理清ERP系统的边界,能否找到一个简单易懂的模型,让所有人都能够理解、达成共识,并以这个模型为基础进行顶层设计。
一天晚上,在项目例会结束之后,他独自坐在会议室,又陷入了沉思。
这是一间典型的华为会议室,前方是一块大型液晶屏,两侧各有两块智慧屏,各种音频、多媒体、网络和智能化设备一应俱全,能够支持全球上百人开视频会议和进行研讨。在几盏明亮的水晶吊灯下,是一张十多米的长条实木会议桌,正对桌子的墙壁上,挂着一个大石英钟。
“嘀嗒、嘀嗒、嘀嗒”,时间一秒一秒流逝,夜深人静,石英钟的嘀嗒声格外清晰。卢强盯着表盘上的罗马数字和交错的指针,想起了当年在大学物理课堂上,老师讲相对论,说时间本质上是不存在的,时间只是人类的幻觉。是啊,时、分、秒,乃至日、月、年,都是基于地球、月球和太阳之间空间运动关系的转换,是人类定义出来的概念。
因为有了精确的钟表,无形的时间才得以直观地呈现给每个人,大规模的社会分工与协作也才成为可能。但与此同时,人们的各种活动也被时间所驱动、所约束,被分割成一个个的碎片。
比如说,接到一个电话,你必须在几秒之内进行思考并给予回应;回一个信息,你有几分钟的时间来考虑措辞;开一次会,差不多一两个小时,你可以接收和处理较多的信息;而对于一些重要且复杂的事情,你必须以日、月甚至年为单位来应对。
时间,时间,时间,普通而又神秘的时间,这个由人类创造出来又束缚住人的概念,对人也好,对万事万物也好,都是一个天然的分割模型。
与ERP相关的数以百计的系统,是不是同样也可以从时间维度进行分割?有一些系统像秒针一样,实时刷新数据;有一些系统像时针一样,可以较长时间不动;还有一些系统介于二者之间,就像分针一样。
过一次思想实验,卢强提出了“秒针、分针、时针”的模型,以此来界定 ERP系统的边界,开展顶层设计工作。
“秒针”指实时交互数据的业务作业系统,包括供应、采购、销售、财经等200多个自研IT应用,它们与ERP系统相互连接,每一单采购合同的履行、每一个产品的完工下线、每一次库存的进出货,都要在ERP系统中进行交易结果的记录;“时针”指定期披露的报告系统,这部分数据应对的是月报、季报、年报等财务报告系统,并不需要实时变动,只有在特定时间点需要提取;而介于二者之间的“分针”,就是ERP核心系统,负责从交易到核算的处理,存放的是企业经营管理最核心的主干数据,要准确地和“秒针”“时针”进行数据交互,以确保业务信息与财务信息的一致。
在老ERP系统中,“秒针”“分针”“时针”是纠缠在一起的,华为要构建新的ERP系统,首先要顺着这个线头,把业务系统剥离开,即解耦。解耦过程就像庖丁解牛,庄子笔下的庖丁从刚刚入行时“所见无非牛者”,到游刃有余时“未尝见全牛也”,是因为他已完全洞悉了牛的身体结构。在卢强的脑海中,他已经洞穿了ERP系统这条“整牛”内部的经络,接下来的解耦工作也就游刃有余了。
经过项目组几个月的努力,“秒针”系统中,3950个集成点减少了 70%。以上,同时490万行定制代码精简了一半;“时针”系统中,7组报告用表(每组共1198张表)合并为了1组。被解耦的部分回归各业务领域,由业务各自管理,ERP系统成功实现了瘦身。
而ERP统核心部分的“分针”,由于各模块间耦合性很强,专家组在进一步的“换芯”方式上发生了激烈的争论,最终达成一致,决定以法人子公司维度进行“换芯”,并以此为基础设计出新系统上线的切换方案。
一团乱麻终于解开了!20多年来,华为第一次厘清了ERP系统的边界,第一次把这块“欧美砖”抽了出来,这让大家看到了前方的曙光。
2. “换芯”之路
但是,针对第二步“换芯”的设计,比想象的还要困难。现有项目成员去都是ERP系统的使用者,熟悉原厂ERP架构,最容易想到的方案就是参照原厂系统“照葫芦画瓢”。
但原厂ERP系统使用的是软硬件一体机的设计,其数据库是全球排名第一的产品,性能强悍,单一数据库可支撑170T数据量,而华为受到制裁限制,能够获得的开源数据库只能支撑4T数据量,与原厂有几十倍的差距,无法按软硬件一体式的方式来进行设计。
也就是说,“原样照搬”这条路走不通。“换芯”方向陷入迷茫。
2020年除夕前一天,陶景文召集了一次茶话会,专门讨论ERP系统“换芯”的方向。
一位资深专家谈起公司过去进行IT建设时,过于强调“用欧美砖修长城”,导致对国外产品的严重依赖,而且使流程IT部门在软件开发能力上的储备严重不足。
“我们不能用今天的变量来谈论过去的事情,那个时代华为采用软件包驱动是最佳选择,软件包承载了业界最佳实践,即使到今天,如果有合适的可用软件包,公司仍然坚持与伙伴开放合作的态度。”陶景文说,“公司是希望IT人员聚焦‘修好长城’,而不是聚焦‘造砖’。我们需要思考的是,为什么这些砖一块块堆叠混乱,别人拿走一块砖头,整个长城就要倒了?这对未来我们在架构上、技术上有什么启发?”
会议达成了第一个共识:不要抱怨过去,要面向未来。
接下来又有人提议,以当前团队的能力,在ERP替换上,应该以“逃生”为主,采取“保守治疗”,慎用新技术和新方案。
陶景文不同意这种看法,他说:“ERP系统不是一个新鲜事物,本质是工业化时代的一种计划管理系统,其精神内核是工业文明。最近10年,智能化、数字化转型在全世界已呈燎原之势,但传统的ERP系统还没有进行革命性的演进。华为要替换掉工业时代的成熟软件产品,是因为时代环境把我们逼上了梁山,但是站在另外一个角度上看,时代也赋予我们创新和超越的机遇。”
他提议,项目组要在未来3年内,站在数字化、智能化时代的前沿,重新定义ERP,而非照搬西方国家厂家的产品。ERP项目的愿景,是要面向未来打造一个真正云化、服务化、自主可控的核心商业系统!
原样照搬只能永远落后,有样学样的结果很可能是像邯郸学步一样,最后连自己怎么走路都不会了。重新定义ERP,是一条激荡人心的路,也可能唯一可行的路。
“万物皆有裂缝,那是光照进来的地方!”(There is a crack in everything, that’s how the light gets in.)莱昂纳德·科恩的这句歌词,就是这一刻的真实写照。常栋看到了B计划的曙光。
项目组决定,在基于华为能够获得的软硬件产品基础之上,打破原厂 ERP架构的思维惯性,大胆应用云原生、元数据多租、实时智能等新技术,通过系统工程创新,用“三流器件”打造一流产品,不仅实现“逃生”的目标,还要在产品性能上超越原厂ERP系统。
这是一个宏伟的愿景。项目组给华为未来的ERP系统取了一个响亮的名字:MetaERP。这个ERP将采用元数据(MetaData)驱动的技术架构,大幅提高用户需求定义和灵活编排的响应效率;同时,“meta”直译为“元”,是初始的、为首的、基础性的意思,也包含超越的含义,这也意味着,MetaERP将是对传统ERP的一次超越。
卢强带领架构师团队开启了顶层设计的探索,比如,采取微服务和分布式云化的整体架构,借鉴“书同文,车同轨”的思想统一数据标准,采取“总体控制”和“业务流”的设计,保障业务与财务数据的一致。
顶层设计的每一项策略和原则,很多时候都是在各种困难和限制条件约束之下的无奈选择,也是前人没有做过的选择,但专家团队通过系统性思考,大胆采用新的设计思想,这些被逼无奈的选择往往又被变成最佳选择。
为了验证这些设想的可行性,项目组决定,先以一家规模中等的子公司作为标靶,开发出一个轻量级的ERP系统,率先进行“换芯”验证,“强渡”成功后,再逐步扩展到全球其他区域。
五、强渡
华为马来西亚代表处位于马来西亚首都吉隆坡的市中心,这里有高耸入云的地标双子塔,有绿草如茵的独立广场,也有充满烟火气的美食街。这里业务发展迅速,差旅便利,也是华为亚太区总部、账务共享中心的所在地。按照ERP项目计划,ERP替换的首场“强渡”战役将在这里打响。
在马来西亚的首场“强渡”是一项协同作战任务,主要工作大都在网络空间完成,吉隆坡、深圳、成都、西安等地的项目成员将用一年的时间来验证和试点MetaERP。切换时间定2021年中。
号角吹响,倒计时开始,项目组开始紧急动员,从全球各地调集人手,组建起一支支攻坚队伍。
1. 紧急动员
侯军是成都账务共享中心的一名会计,他在华为财务的不同岗位已经工作了十多年,先后在深圳、阿根廷工作,如今回到成都,这里的生活节奏让他很是惬意。他以为自己会继续这样下去,在天府之国过着波澜不惊的生活。
深秋的一个午后,主管飞哥和他的一次谈话,打破了这份安逸和宁静。
“机关有个项目需要你出差支持一下。”
“具体做什么呢?多长时间?”
“我也不是很清楚,你去了就知道了。”
“‘猴’哥,你这是要去做秘密工作了。”旁边的同事笑嘻嘻地对他说。
从成都飞往深圳的途中天气很好,他透过舷窗看到蜿蜒的河流、连绵的群山以及一条条高速公路交织而成的优美线条,猜想着此行的种种可能,但一直没有头绪。
刚到深圳,侯军就被叫到一个封闭会议室。满满一屋子人,他只和其中一位同事打过照面。双方眼神一交会,立即明白,两人都不知道接下来要干什么。会议一开始,领导就强调保密原则,并给每人发了一份文件,要求大家现场签订保密协议,侯军脑海中立即浮现出电视剧中研发“两弹一星”的场景。
就这样,他开始了神秘的3年ERP之旅。
像侯军一样,数以万计的华为员工为保障业务连续,已经习惯了被拉进各种紧急项目,一种在无形中弥漫的危机感促使大家不问缘由、不讲条件地努力工作。那段时间,华为内部到处都贴着一张“烂飞机”照片,这是二战中苏军的一架伊尔-2飞机,被打得像筛子一样仍在安全飞行。这张照片激励着大家努力“补洞”,ERP系统就是这架“烂飞机”上的一个“大洞”。
陈薇林是一个不甘于现状、喜欢挑战的人。制造项目接口人找他沟通,问他是否愿意加入ERP项目,至于参加项目做什么,暂时不能透露。联想到当时的外部环境,他大概猜到了要做什么,义无反顾地加入了团队。
一天下午,终端的王如刚突然接到主管的电话:“如刚,有个重要的保密项目需要人牵头,这个项目要求很高,我们评估你最适合,你有没有兴趣?”王如刚二话没说,直接应允下来。到了项目组,他才知道自己要负责所有终端相关的ERP系统测试。
姚娇龙加入项目组的第一感受是“华为太疯狂了,太敢了”,她突然觉得自己站在了时代的风口浪尖,内心非常激动。但她很自信:“我们这段工作的小浪花,注定要被写入华为公司甚至中国软件产业的发展史之中。”
唐志高是一个在技术上很有追求的IT男,他认为,经过多年积累,华为已经具备了足够的能力。他在心里暗暗憋了一股劲儿:我们不比任何人差,要做就做一个超越原有系统的软件。他在办公室里大喊:“程序员的春天来了!”
……
一场大规模的集结和动员,就这样悄悄地展开了。
财经、供应链、采购等业务部门都在尽最大努力调配资源,将资源优先投入ERP项目,大量经验丰富的业务专家加入了进来。
多家与华为长期合作的咨询公司,在短时间内提供了上千份简历,协助筛选了近20名来自世界各地的顶级顾问加入项目组。
在软件上和我们长期合作的伙伴公司,也通过各种渠道挖掘资源,召回有ERP项目经验的老员工,将优质资源向ERP项目倾斜。
“若有战,召必回。”退休员工闻讯,也纷纷表示愿意贡献力量,十多位退休员工返回公司,以独立顾问身份加入了项目组。
各团队加大了专业人员招聘。流程IT人力资源部组建了一支特别招聘队伍,通过各种渠道,累计浏览了5万多份简历,联系了1万多人,经过面谈交流,前前后后共吸引了300多名优秀人才入职。短短几个月时间,一支上千人的团队集结到位。
这是一次紧急动员,也是一次自发的动员。华为过去很多重要的变革项目,大都需要在公司层面大张旗鼓地宣传动员,项目经理还得拿着“令箭”,请求业务部门投入资源,而ERP项目可能是唯一一个不需要动员的变革项目。
危机下的恐惧感和紧迫感,是变革项目最主要的驱动因素。ERP项目是一个自带危机感的项目,就像华为其他很多业务连续性项目一样,在美国制裁令被签署的那一刻,主要的动员工作其实就已经完成了。尤其当项目目标与个人价值能够无缝匹配时,这种危机感就自动转换为使命感,即使是一群平凡的人,也能迸发出巨大的热情与创造力。
2. 大兵团作战
ERP项目共设立12个子项目组,投入1800人,高峰期有3000多人,管理体系庞大、运作复杂。由于项目工作具有临时性、跨领域等特点,如何让这个超大团队有序运作、不打乱仗,朝着共同的目标前进呢?
常栋有丰富的变革项目管理经验,作为ERP项目一线作战“司令员”,他知道,变革项目是一把手工程,领导力是变革的第一生产力,当务之急是把项指挥系统建立起来。在华为,一般变革项目组都会单独成立一个领导组,负责重大事项决策。常栋一盘点,发现ERP牵涉面太广,基本涵盖了公司各大领域,这个领导组不好组建。
“那你干脆不要搞领导组了,就把ESC(变革指导委员会)作为项目领导组,我们来给你站台。”ESC主任对他说,“这是ESC管IFS(集成财经服务)最重要的项目,如果说未来几年我们只做一个变革项目,那就是 ERP替换。”
有了领导层的坚定支持,常栋和ERP项目经理张晓燕设计了大兵团作战的三层指挥系统:第一层是ESC会议层,负责项目方向和重大事项决策,并构建ERP项目领导力,凝聚共识;第二层是项目经理会议层,负责方案、范围及资源投入决策,推动项目关键问题解决及风险决策;第三层是项目交付例会层,负责管理项目落地执行,通过纵向产品管理和横向业务流管理,做好“整车”拼装。
这是一个高效的扁平化指挥系统,实现了项目从战略到战术的执行贯通,保障了项目团队令行禁止、使命必达。
随着深入项目,遭遇各种难题,项目组成员最初的热情开始消退,信心不足的问题开始浮现。上千人的组织运作,如何让上下形成共识,统一思想,凝聚团队力量?常栋认识到,各模块产品经理是团队执行力的关键,把这一层骨干的思想做通,消除他们的畏难情绪,相应队伍的执行力就会大幅提升。他决定要不断地给这一层主管强化项目愿景。项目组开展了20多场次的研讨会、动员会,不断凝聚共识,强化信心。
2020年年底,首场“强渡”的各项准备工作正在紧锣密鼓地推进,一场大规模的“ERP项目启航大会”召开了。会场设在培训中心主楼,在能容纳200多人的阶梯教室里,红底白字的大幅标语格外醒目—“不相信有完成不了的任务,不相信有克服不了的困难”。
这次动员会有一个宣誓环节,因此,这些平日里不修边幅的IT人都穿上了西装,打上了领带,显得格外精神。有人在座位上不停地转动脖颈,拉扯衬衣,显然,他们还没有习惯穿正装。
“ERP替换项目的来源是为了活下去,但我们绝不仅仅是为了活下去,而是要面向未来,打造全球最具竞争力的云原生企业管理平台。”常栋的讲话很有鼓动性,“最理解华为ERP20年建设历程与发展脉络的就是我们这群人,ERP项目相当于华为的‘两弹一星’项目,我们不能把这个大难题留给下一个IT人,而是要让他们从一开始就能够甩开桎梏,昂首阔步向前走。”
“ERP替换不是逃生,而是新生!”这句掷地有声的话,获得了全场与会者的热烈掌声。大家起立宣誓:“作为ERP变革项目组的成员,我们深刻理解项目的愿景和使命,我们承诺,保证在2021年完成马来西亚子公司的切换验证。除了胜利,我们无路可走,请项目组全体人员监督。”
最后是全体大合唱:“团结就是力量,团结就是力量,这力量是铁,这力量是钢……”
每一次会议都像是一次“充电”,鼓舞人心的演讲、热烈的讨论,激情与热忱在会场中弥漫,团队成员的畏难情绪逐渐消散。
在大兵团的集结中,每个人都是变革的践行者,都在积蓄变革的力量。
他们争执着不完美的方案,精细打磨着每一段代码;他们参加一个个深夜项目紧急会议,讨论着项目关键节点;他们分工不同,却从不计较是台前还是幕后。会议室的灯光深夜熄灭后,空气中还留存着刚刚激烈讨论的余温。
3. 不完美的方案
马来西亚子公司MetaERP涉及数十个产品模块的开发,各团队通过对老ERP系统的解耦,吃透原理,开始构建新产品。承担产品开发任务的是一支支年轻的初创队伍,他们没有丰富的开发经验,却无所畏惧。他们通过开发产品和各种测试,在极短的时间内构建出了新系统的雏形。
就在各产品模块开发同步推进时,2021年1月,财经应付模块却传来了坏消息—上线测试遭遇失败,有可能拖延整体进度。产品团队迎来了至暗时刻。
造成测试失败的原因是方案设计存在缺陷,要修复这个缺陷,项目周期可能需要额外增加3个月甚至更长的时间。
压力很快传递到了两位女将身上。一位是ERP财经领域负责人刘润玲,另一位是ERP项目经理张晓燕。
刘润玲曾做过多个IT产品的架构师,拥有丰富的理论与实践经验,也是一位追求完美的方案设计师。她之所以加入华为,就是因为心中有一个铸造殿堂级产品的架构之梦。在她的领导下,财经IT团队总是能够从用户角度出发,用相对完美的方案,实现业务与IT的共赢。
但是,这一次她遇到了挑战。
应付模块涉及资金安全,本着谨慎为上的原则,过去10年都没有做架构调整,很多新需求是通过不断打补丁来解决的,因此财经领域希望借此次机会,进行一次大的架构调整,一次性解决历史问题。刘润玲也支持这个完美架构,但由于时间紧迫,方案设计存在严重缺陷,无法通过测试。
现在,有两种选择:一是继续修改完美方案,代价是延长MetaERP整体上线时间;二是采取基于原有架构的妥协方案,先保障MetaERP在马来西亚子公司上线,以后再解决历史问题。
刘润玲站在业务角度,坚持完美方案。她初步判断,妥协方案不足以支持系统上线。
张晓燕是一位理性主义者,作为ERP项目经理,她的压力来自项目整体进度和风险管控。她认为,保障切换时间是第一要务,有多种方法可以使IT系统跑起来,哪怕这是一个不完美的方案。
两位女将各执一词,谁也说服不了谁。于是,她们决定各自寻求同盟军。刘润玲找到总体组专家沟通,他们也认同新的架构方案,站在了她的一边。张晓燕去找财经领域主管沟通,优先保障项目按时上线,也得到了对方的理解。
最后的决策时刻到了。
刘润玲再次提出她的完美方案,张晓燕再次反对:“大家不要把产品架构和功能实现的权重看得过高,ERP是一个系统工程,产品建设只占三分之一,数据割接和验证同样重要。我们要综合考虑项目进度。”
决策会开了将近三个小时,刘润玲三次哭着走出会议室,哭完了再回来争论。最终,她妥协了:“为了项目的整体进展,我服从集体决策,但是我保留自己的专业判断。”
刘润玲哭红的眼睛里带着委屈,但语气坚定。在集体利益和个人判断之间,她画了一条线,接受妥协方案的同时,保留了内心的完美追求。
刘润玲是一位职业经理人,知道自己必须尽快转换角色,保证项目成功。应付模块的七八十名开发人员在武汉办公,有些还是合作伙伴员工,上线测失败后,大家都觉得拖了项目后腿,无形的压力笼罩着团队。刘润玲变成了妥协方案的布道者,不仅给开发团队宣讲方案,还要做大家的思想工作。
为了给团队打气,刘润玲和常栋一起到武汉和大家沟通。晚上聚餐,到了19点半,饭桌上的大部分人都戴上耳机,开始开例会,盘点当天的测试问题单。常栋站起来说:“弟兄们,大家能不能先停一分钟,先一起敬杯酒。实在脱不开身的,就赶紧吃饱回去加班吧。”
回到深圳,刘润玲就大病一场。
应付模块的测试投入了160多人,使用了5万多个测试用例,大家都在争分夺秒,要把耽误的时间赶回来。
4月14日,第一封用户验收测试日报显示,测试通过率仅19%。
5月23日,用户验收测试待IT解决问题数超过300个。
团队承受着巨大的压力和矛盾的心理。一方面为了质量达标,希望做更多更细致的测试,另一方面是每天都在增长的遗留问题数。
“大家跟我走,一起去武汉现场,将问题攻关清零。绝不能拖项目后腿!”刚接管应付模块开发的产品经理梁立平带队前往中国光谷支援,每天奋战到凌晨两三点。光谷位置比较偏,有人家养鸡,大家常常是在鸡鸣声中进入梦乡。
刘润玲每天都在关注高水位的问题数量,她把自己的办公位搬到了应付项目组,与团队一起熬夜测试。她没有责怪团队,反而组织部门活动,强制大家休息调整,让大家紧绷的神经得到放松,舒缓了长久以来的疲惫。
张晓燕也搬过来帮忙,她专门组建了一个测试团队,与刘润玲并肩作战,帮她协调周边资源,缓解应付团队的压力。
大家拼尽全力,6月底,待解决的问题数终于降到了20个以内。8月20日,问题清零!
应付产品终于度过了至暗时刻,在最后关头追赶上了大部队。这个不完美的方案,经过失败与重生的重重磨砺,终于站了起来。
没有完美的方案,也没有完美的英雄。
后来,在MetaERP于马来西亚成功上线后的第二天,刘润玲找到常栋沟,还没开口,她的眼泪就掉了下来。这时常栋才知道,在项目攻关的关键阶段,刘润玲的母亲身患重病,她挤不出时间照顾母亲,觉得很愧疚。现在,项目有了阶段性进展,她申请退休,回家照顾母亲。
在大家眼中,刘润玲是一位广受尊敬和喜爱的同事。员工们都亲切地称呼她为润玲姐,认为她是最好、最美的领导。即便在团队有200多人的时候,她仍然记得住每位员工的名字;即使常常忙碌到深夜,她也要挤出就餐时间与团队成员交流。她的退休决定让所有人都觉得惋惜……
4. 人拉肩扛
而对张晓燕来说,她即将迎来一次大考——MetaERP在马来西亚子公司上线。几千人没日没夜的努力,几千项任务的协同管理,无数缺陷、问题与风险处置,都要在这一刻得到验证。而马来西亚子公司的这场首战,也和真实战场上的遭遇战一样,是在没有准备好的情况下就打响了。张晓燕心里清楚,在华为,任何困难都不是借口,目标是不能动摇的,人拉肩扛,也要把这个山头拿下来。
上线前的几个月是关键的测试联调期。各产品模块基本就绪,就像是一个个零部件已经运到了总装厂,要拼装成一台可以交付给客户的整车。作为“装配厂厂长”,张晓燕清楚地知道,现在的“总装线”还处于手工作业阶段,只能靠人海战术进行测试,拼出MetaERP的第一个版本。
何能志是从采购到付款业务流的运营经理,经过亲身实践,他设计出了一个测试程序:在一楼看完采购测试人员完成下单及验收,立即跑到三楼,跟进财经测试人员完成发票匹配及付款,如果出现故障,就地赶紧解决。
另外,他每天早上9点召开晨会,讨论每个场景的测试进展;17点开晚会,讨论产品遗留问题,雷打不动。何能志苦中作乐,把这套运作方式命名为“人肉测试线”。像何能志这样的“人肉测试线”还有几十条,供应、采购、工程、行政……涉及公司各部门,还有跨区域的线上接力,每个环节都要跑通。
2021年7月至8月,项目组完成了三轮上线演练。每次演练的夜晚都是一个不眠之夜,近500人投入业务验证中,全要素反复验证和演练,确保所场景都准确无误。
9月10日14点,MetaERP在马来西亚子公司上线。张晓燕发布动员令:“从MetaERP项目立项至今,我们一共走过了630天,一共有 1700人参与,这次上线一共有4000个任务项。MetaERP项目是一场大会战,我们每个人都为之骄傲与自豪,希望大家共同努力,为首战画上圆满的句号!”
接下来,项目组成员在“夺取首战胜利,决胜马来疆场”的标语上签名,现场团队合影、齐声宣誓。
当天18点,指挥中心宣布切换正式启动。
半小时后,完成作业系统冻结。
23点,老ERP系统成功关账。
次日16点,完成34亿行数据的数据迁移及验证,启动业务小批量验证。马来西亚账务中心的张磊特意留了自己出差的报销单,作为在新系统中的首单作业:填单、审批、发票审核、支付。“成功了,这是MetaERP付款中心的第一单!”大家欢呼雀跃。张磊说:“这单报销是我一辈子的记忆和骄傲。”
“首渡”能否成功,最后一锤要看数据湖的切换是否顺利。数据湖是业务分析、财务报告的数据源,数据切换如果出错,业务分析就会中断,财务报告也将无法出具,这将直接导致ERP切换失败。
9月11日至12日,数据湖要完成300亿行数据的初始化,这是一场耗时30个小时的持久战。
11日15点,收到总体组通告,交易侧已完成初始化,数据湖的切换正式开始。但是,在初始化环节,一个个小问题就不停地出现,一次次敲打着每个人的心弦:
“源系统切换数据库,数据湖初始化程序报错。”
“源系统的账号改了密码,数据湖初始化程序报错。”
“源系统有表需要重新初始化,数据湖也需要重新初始化。”
……
张晓燕来到数据湖切换的作战室,与大家一起审视问题,协同专家解决。好在之前经过多轮演练,大部分问题都有成熟预案,得以逐一解决。
“数据抽取又出状况了。”12日凌晨4点,在数据整合层的初始化启动后,还遇到了大表性能问题。
上午10点,张晓燕打电话给项目负责人,询问数据抽取的预计完成时间,得到的答复是14点。14点再次询问,却说要到16点,实际上18点都没完成。延迟时间在不断拉长,2小时、4小时、6小时……张晓燕着急了,把专家们一个个“吼”到了数据湖项目组。
30多人的团队集中在一起,沿着数据链路逐项排查。深夜,万籁俱寂,ERP作战室依旧灯火通明,人声鼎沸,问题排查工作依旧胶着。随着上亿行数据的反复验证和执行策略的艰难决策,数据一个一个出来,最后一个数据验证终于在22点完成,财经月报比对正式启动。
深夜2点,张晓燕已经连续奋战了36个小时,安排好后续工作后,她才拖着疲惫的身体来到了公司附近的酒店。
5. 惊险两小时
才睡了不到3个小时,张晓燕就被一通电话吵醒,迷迷糊糊抓起手机。
“你说什么?我听不清,能大点儿声吗?出了什么问题?哪里错了?”
好一阵子,她都没听清来电在说什么,只是觉得声音好小。后来才发现,自己把手机听筒拿反了。
这次终于听清楚了—“情况是这样的,从新系统抓取数据出错,新老订单系统的数据无法整合,虽然只涉及38行订单,但是财务报告容不得半点差异,系统可能面临回退!”
她当时有点蒙,心里快速盘算着,系统是不可能回退的,交易已经放开了,回退就意味着上线失败。她脸都没顾得上洗一把,就一路小跑回到了切换现场。她环顾了一下四周,看着一张张疲惫的面庞,坚定地对大家说:“没有退路,只能向前,相信我们一定还有办法挽救。”
在她的快速统筹下,供应、财经、数据湖领域的专家们迅速集结到位。
大家都是头一回遇到这个问题,多少有些不知所措。张晓燕结合自己丰富的项目经验提出:数据问题本质上是数据溯源的问题,只要我们能够追溯到源头,就能找到线头,逻辑自然就能理顺了。
在她的启发下,供应订单专家快速理清思路,用数据推导的方式快速还原了数据血缘关系,希望瞬间燃起。早上7点,项目组关键领导全部到达切换现场,成立了临时“指挥所”。在华为,“指挥所”永远设置在最前线。
问题处置方案迅速形成了两派。项目组领导建议保险起见,先临时解决问题,上线成功后再择机彻底解决;财经领导认为,此举可能会留下更大的隐患,还是要一次性解决问题。
双方一度僵持不下。张晓燕见状立即提议,成立两个攻坚队,给大家两个小时的时间。其中一队主导方案优化,一次性把钉子拔掉,彻底解决;另一队分析临时方案的可行性,在不影响切换的情况下绕过这个障碍。
作战室顿时忙碌和热闹起来,喊话声、电话铃声、键盘敲击声,此起彼伏。随着时间一分一秒过去,方案逐步清晰,攻坚队员也从最初的焦虑、紧张,逐步恢复了自信。领导们的心情也伴随着现场气氛起起伏伏,他们抑制住想要了解方案详情的急迫心情,没有去打扰攻坚队队员,生怕会打断队员们的思路。
两小时很快就要结束了。张晓燕恨不得这两个小时有两天那么长,这样就可以给兄弟们更多的时间去思考,让方案更加稳妥;她又恨不得这两个小时像两分钟那么短,这样切换就可以更快一些。
30多位专家聚集,让这个大作战室变得非常拥挤,临时攻坚队队长灌了一口功能饮料,开始了推演汇报。张晓燕认真聆听了两个团队的方案推演,并参考现场专家的建议,决定选用临时方案,该方案充分推演了8种典型场景,最终警报得以解除。
经过一天的平稳运行,15日16点,项目组审视业务验证情况,一切正常,于是宣布:马来西亚MetaERP上线成功!
经过无数的不眠之夜,历经孕育期的惶恐、不适和分娩前的阵痛,在所有人的期待和手忙脚乱中,MetaERP这个新生命终于诞生了。
在后来的表彰会上,张晓燕带领大家朗诵了一首集体创作的诗歌,一年多来所有的压力、焦虑与委屈,在这一刻都得到了完全的释放。
从没想过
像我这样平凡的人
也能书写一段酣畅淋漓的故事
2019年5月16日 阴
合作多年的驻场顾问全部离开
我们面面相觑
2019年12月20日 阴
ERP项目立项沉甸甸的责任
2020年8月1日凌晨 3点大雨
完成一体机切换
保障了又一次财务月结
喝下又一杯咖啡
2020年9月16日 多云
产品迭代开发的第一个版本顺利上线
今天也是我的生日
我们聊着聊着,哭了又笑了
2021年8月13日 晴
终于将手上最后一个测试案例测试完毕
3万多个测试用例,100 多个核心用户
合上电脑的那一刻,犹如宝剑入鞘
2021年9月11日 晴
经历了上线切换的头一个24小时
十二点半项目组班车上
身旁的大哥在鼾声中张大了嘴
2021年10月2日 晴
马来西亚顺利出账
下班回到家已然熟睡的孩子
电话那头没时间联系的父母
偶尔抱怨却默默支持的爱人
感谢你们的理解与包容
我们是父母、子女、妻子、丈夫
我们更是华为ERP人
我们扛住了狂风骤雨
雄心在路上!
本文来自微信公众号:正和岛(ID:zhenghedao),作者:田涛、殷志峰、彭勇(执笔)
支持一下 修改