序 一
第三次工业革命带来了机器的进步,但却不能解决一个行业或者一家企业的运营问题,运营效率低下带来的运营成本居高不下,已经成为一个时代性的难题。随着第四次工业革命的来临,数字化生产已经成为普遍的商业模式,其本质是以数据为处理对象,以ICT平台为生产工具,以软件为载体,以服务为目的的生产过程。数字技术和数字平台能够从根本上解决这个时代性的问题,使企业有可能在产品、体验和成本三要素上同时做到最优。
全球各行各业都在积极探索和开展数字化建设,期望通过数字化技术来支撑业务的长期、持续增长。华为作为一家拥有30多年历史、全球领先的ICT基础设施和智能终端供应企业,同样有着数字化转型的强烈愿望。
华为为什么要进行数字化转型?
华为是一家业务范围涵盖研发、营销、制造、供应、采购、服务等领域的非数字原生企业,在信息化时代初期建立了很多相对独立的IT系统,典型的特点是形成了“一类业务、一个IT系统、一个数据库”的封闭式IT架构。其带来的直接问题就是“数据孤岛”:IT系统中的数据语言不统一,不同IT系统之间的数据不贯通,同样的数据需要在不同IT系统中重复录入,甚至不同IT系统中的同一个数据不一致等。这些问题限制了运营效率的提升和效益的改进,华为迫切需要数字化转型来改变这种状况。
华为规划的数字世界是什么样子的?
其内容无外乎就是业务对象、业务过程和业务规则的数字化,华为希望构建一个实现感知、联接和智能的数据平台。感知是物理世界与数字世界之间形成完整且有效的映射,联接是把各种离散的数据相互联系成有机整体,智能是在这个基础上加入一些大数据和高级模型算法。
华为如何进行数字化转型?
首先,要抓住数据治理这个“牛鼻子”。华为的IT系统和数据有太多的历史包袱,要进行数据治理并不容易,到今天为止,我们所做的也只能说“刚刚及格”。我们想要在构建新的数据平台时不对原有的信息系统进行颠覆性改造。因此我们一方面通过感知能力实现业务数据的自动采集,另一方面通过一些技术手段,把现有的各个相对独立的数据库中的数据按一定的标准进行汇聚和联接。这就带来了“数据湖”的全新体验,先初步解决“数据孤岛”的问题,然后再来进行深入的数据治理。
数字化转型是当前各个行业的各个企业最关心的话题,是一次大的机遇,也是一次大的挑战。现在业界的数字化转型过多地强调了技术的动因,而我认为数字化转型应该首先强调业务价值。根据Paul Romer的《内生经济理论》,我们在做数字化转型时要反复问自己:
第一,数字化转型到底要解决客户的什么问题?用户到底需要什么?用户和客户关心的问题在哪?
第二,业务战略到底要解决业务的什么问题?
第三,变革是否有一个好的规划和持续的架构?
数字化转型是一个持续优化的过程,只有起点,没有终点。
本书是华为视角的数据治理总结,其中的内容都是华为在数字化转型实践中的经验和教训。数据治理是一件很专业的事情,我们希望本书能给同行提供借鉴、带来启发,也能促成业界与我们的深入探讨和研究,共同推进企业的数字化转型。
陶景文
华为董事、质量与流程IT总裁、CIO
序 二
2017年初,数字化大潮方兴未艾,华为轮值董事长郭平在公司“817变革战略规划”中提出,要在内部率先实现数字化转型,并把实现ROADS体验、全面提升运营效率作为公司各业务单元和功能领域的共同变革目标。对于集研发、制造、采购、供应、销服于一体,横跨ToB、ToC业务领域,运营30余年的一家传统企业,如何用数字化的手段来全面改造公司的流程和IT,改变支撑近20万人有效运作的运营模式,成为华为公司变革指导委员会讨论的焦点。
不同于数字世界的“原住民”,非数字原生企业的数字化转型是企业的一次巨大变革。这场变革涉及商业模式、运营模式的变化,需要完成流程、组织、IT、文化等多方面的转变,对于飞速发展的华为来说,相当于在高速路上换轮胎。华为当时面临的局面是,存量的IT“烟囱”遍布各个业务但又支撑着海量的交易和分析,各种短期见效的数据搬家、自动化小工具逐渐从“帮手”变成了“帮凶”,数据被“私有化”为各个业务部门的“资产”,“表哥表姐”为了实现数字化运营加班加点整理Excel,高薪招来的数据科学家却因为没有数据而闲得离职……
变革指导委员会经过充分的讨论达成共识:数字化转型要坚持业务和技术的双轮驱动,而连接双轮的“轴”就是数据。只有建立统一、清洁、智能的数据底座,才能支撑公司不断发展的新业务,支撑各个区域市场的差异化需求,实现“数据实时可视、海量业务自动、算法支撑决策”,实现“万物互联的智能世界”。
2017年10月,“统一数据底座建设”项目立项。针对数据搬家多、找不到、读不懂、获取难、不敢信等痛点,将“打破数据孤岛,支撑数字化转型,实现数据随需共享、敏捷自助、安全合规”作为项目目标。项目组一手抓数据入湖与联接,一手抓数据消费,经过两年多的努力,终于基本完成了数据底座的建设。今天,数据底座支撑着华为在全球170多个国家的差异化运营,支撑着公司各BG海量的交易与分析,驱动了交付、供应、财经等诸多领域的运营模式(在线、远程、集中)转型,也帮助公司实现了在美国极限施压下的快速分析与应对。数据底座成为华为数字化转型的基石。
数字化变革不仅仅是技术的变革,华为数据底座的建设过程充分说明了这一点。本书是华为数字化转型过程中数据变革实战的阶段总结,希望能给数字化转型道路上的企业一些帮助,同时也欢迎各方朋友交流、指正。
熊康
华为企业架构与变革管理部部长
序 三
企业数字化转型是大势所趋,通过数据科学治理、数据平台建设、数据分析与建模,把数据变成服务,使数据能在企业内顺畅流动起来,为企业带来巨大的价值。数据是企业数字化转型的重要基础。
为了实现数字化转型,企业需要构建以云为基础、以数据为驱动的新型企业IT架构。但是,多年积累下来的存量IT系统和大量历史数据怎么办?华为数字化转型的核心理念是“双模IT、立而不破”,通过建立新老环境融合的双模(Bi-Model)IT架构,把企业的新老数据和应用与正在及未来将要产生的IoT数据连接在一起,构建统一的数据与应用平台,并与机器学习、人工智能等技术手段相结合,使数据产生更大的价值。
数据的潜在应用场景有很多,但是企业只有将数据与自身业务相结合,从业务实际问题出发,结合数据分析技术找到解决方案,并及时变现,才有真正的意义。数据时代已经到来,华为在深入数字化转型的过程中,在全球供应链、松山湖制造工厂以及170多个国家的工程交付现场,以“对象数字化、过程数字化和规则数字化”为基本原则,通过IT工具引入和人工智能元素的叠加,实现从过去的“人拉肩扛”到现在的线下、线上高效协同,为业务创造了很大的价值。
本书对华为公司多年数据治理和数据消费变革历程进行了系统性总结,从治理体系、架构方法、流程规范、IT工具、数据组织等多方面总结了企业在数据治理中面临的挑战及其解决方案,并介绍了一些华为独有的创新成果,如数据底座、数据湖、主题联接、数据地图、数据生态等。
相信华为在数字化转型历程中所积累的实践、方法和思考,会使奋战在各行各业的企业家和IT同人产生共鸣。让数据治理更简单,使用更简单,能够更方便地挖掘数据价值,是我们共同的期许。企业数字化转型不可能一蹴而就,而是一个长期的过程。本书将华为在数据管理和数字化转型实践中沉淀的能力对外分享,与志同道合的业界同人一起切磋、联合创新,一定可以加速企业数字化转型的进程。
苏立清
华为云副总裁、华为云首席数字化转型官
前 言
随着数字化转型的深入开展,数据成为新的生产要素。对于非数字原生企业,数据治理的重要性越来越突出。如何有效地开展数据治理工作、提升数据质量、打破数据孤岛、充分发挥数据的业务价值,成了业界的热门话题。本书基于华为数据治理的历程,介绍了华为数据工作的愿景、整体思路框架,阐述了企业级数据综合治理体系和方法论,回顾了华为数据底座的建设过程,总结了华为数据治理和数字化转型的经验。
华为公司作为典型的非数字原生企业,发展初期基本是以物理世界为中心构建的,缺乏以软件和数字平台为核心的数字世界架构,在数字化转型过程中,面临着巨大挑战。华为从小到大、从弱到强几十年不断发展的历程中,伴随着一次次重大业务变革、信息化建设和数字化转型。本书理论结合实践,通过对华为公司数据治理体系和数据底座建设方法与实践的介绍,讲述了数据工作如何支撑业务变革,如何驱动数字化转型,总结了华为数据工作的发展历程、经验和对未来的思考。书中所述的方法、规范、解决方案都经过华为内部的充分实践,相信对企业数字化转型的领导者、设计者、实施者和参与数据治理的同行,会有一定的启发和借鉴意义。
内容简介
本书共10章,内容从逻辑上可以分为四部分。
第一部分为第1~3章。第1章以非数字原生企业在数字化转型时面临的挑战为引导,阐述了数据驱动的企业数字化转型理念,介绍了华为公司的数据治理框架;第2章从企业政策和架构协同的角度,介绍了企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协同关系,明确了数据管理的责任主体在业务;第3章以数据特性的差异为维度,详细阐述了不同类型数据的不同管理方式,明确了结构化数据、非结构化数据、外部数据、元数据的核心管理要点。
第二部分为第4~6章,介绍了数据治理工作中的三项重点建设任务:信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件,给出了建设原则和核心要素,并引出了业务对象、过程、规则三项数字化的建设方向;第5章提出了数据底座建设的整体框架,分别介绍了数据湖和数据主题联接两个层次的建设实践;第6章以自助、高效、复用为数据服务的目的,提出了对数据进行搜索、加工和分析的消费过程管理方案。
第三部分为第7~9章,介绍了数据治理的三项关键能力:数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标,介绍了数据的硬感知和软感知两类能力;第8章基于PDCA框架,介绍了对企业业务数据异常的全面监控,从而助力数据质量综合水平的提升;第9章介绍如何构建以元数据为基础的数据安全隐私保护框架,如何建立动静结合的数据保护与授权管理方案。
第四部分为第10章。基于对“机器认知世界”的理解,我们提出了对数据治理未来的思考,畅想了AI治理、数据主权和数据生态建设。未来已来,让我们共同努力,把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。
读者对象
企业管理者:CEO,CIO,CDO,数字化转型项目的领导者、设计者和实施者。
数据从业人员:数据架构师、数据工程师、数据质量工程师、数据产品经理、数据分析师。
IT从业人员:应用架构师、数据库专家、业务架构师。
致谢
本书主要作者有马运(Yun Ma)、杜浩、王强、陈实和周剑锋。参与写作的还有公司数据管理部的专家韦冬、廖华赟、赵子文、傅琨等。各位作者在数据领域耕耘和坚持多年。
本书的写作目的来自内外两方面:首先,公司内部希望我们对数据工作进行系统的梳理总结,积累企业数字化转型的经验;其次,华为云和华为中国地区部也希望我们能够写本书,以便和客户分享华为数据治理的实践,输出数据驱动企业数字化转型的理念和方法。在此感谢陶景文、熊康、邓涛、洪方明、韩晓、苏立清等领导的建议、支持和指导。
本书的内容来自华为数据体系多年的工作实践,特别是最近几年在数字化转型方面的探索。公司数据治理的实践经验是在公司变革体系、质量运营体系、流程体系、IT和数据体系等各部门的共同努力下取得的。感谢郝健康、张印臣两位领导对数据体系建设的贡献!感谢数据体系的全体同人!感谢所有支持数据工作的同事!
感谢华为云殷宏、祝向党,华为大学陈小宇、蒋文俏以及胡小敏等人从读者视角对本书进行审视,并在编写过程中给予了我们很大的帮助。
数字化转型波澜壮阔,华为数据治理也历经十多年沉淀,成果丰富,本书呈现出来的内容实属挂一漏万,加上编写时间仓促,书中难免会出现一些失误或者不准确的地方,恳请读者批评指正。
华为公司数据管理部