数据中台：让数据用起来

本书由数据中台领域的领先企业数澜科技官方出品，数澜科技已经帮助万科、中信云网等百余家各行业头部企业建设和落地数据中台。

7位作者都是有10年+经验的资深数据人，大部分作者来自原阿里数据中台团队和华为。

本书得到了阿里巴巴集团联合创始人谢世煌、原阿里集团副总裁卜鹰等近10位行业专家的高度评价和推荐。

本书从建设、管理、运营、安全4个维度详细讲解了数据中台概念、认知、架构、原理、组成，以及从0到1的完整过程。

这是一部系统讲解数据中台建设、管理与运营的著作，旨在帮助企业将数据转化为生产力，顺利实现数字化转型。

本书由国内数据中台领域的领先企业数澜科技官方出品，几位联合创始人亲自执笔，7位作者都是资深的数据人，大部分作者来自原阿里巴巴数据中台团队。他们结合过去帮助百余家各行业头部企业建设数据中台的经验，系统总结了一套可落地的数据中台建设方法论。本书得到了包括阿里巴巴集团联合创始人在内的多位行业专家的高度评价和推荐。

全书一共11章，从建设、管理、运营、安全等维度全方位地讲解了数据中台。

第1~2章全面介绍了数据中台产生的背景、发展阶段、企业应该具备的3个认知，以及什么是数据中台、数据中台的4个核心能力、数据中台的业务价值与技术价值等；

第3~4章详细讲解了数据中台的架构设计、建设方法论，以及企业建设数据中台的成熟度评估和应用场景分析；

第5~9章深入地讲解了数据汇聚与联通、数据开发、数据体系建设、数据资产管理、数据服务体系建设等数据中台的核心模块，以及如何从0到1实现一个数据中台；

第10~11章详细地讲解了数据中台的管理、运营和安全保障。

数澜科技

数澜科技成立于 2016 年 6 月，秉持“让企业的数据用起来”的使命，致力于成为客户信赖的数据应用基础设施供应商。2019 年初，跻身“杭州准独角兽企业”榜。

自成立之日起，数澜团队即坚持以“数据中台”作为核心战略构建和培养团队，建成以数据科学家、数据产品专家、数据咨询专家及数据可视化专家为核心的数据科技研发团队，核心成员来自阿里、华为等企业，拥有大数据业务和技术多年实战经验，是国内早一批大数据服务创新实践者。

目前，数澜已为万科、方太、兴业银行、百果园、中信云网、时尚集团、温州检察院、喜茶、视源股份等多家行业头部企业和政府客户，提供了数据中台建设和数据资产开发服务，并基于数栖帮助企业持续挖掘数据资产，赋能业务创新。

数澜官网：www.dtwave.com

微信公众号：dtwave0620

付登坡（花名：天湛）

资深大数据专家，数澜科技联合创始人&地产事业部总经理

有10余年?数据领域从业经验，擅长数据建模、海量数据产品架构设计与实现。原阿?巴巴集团?数据专家，曾在阿里集团负责消费者数据标签体系、DMP平台等大数据项?设计与实施。2015年以创始人身份组建阿?巴巴集团的“11维数据创新工作室”，探索数据创新与数据商业化。

2016年6?离职，联合创办数澜科技，在数澜科技先后负责技术部、咨询服务部、地产事业部。

江敏（花名：江敏）

资深大数据专家，数澜科技联合创始人&CTO

有10年大数据平台规划、数据安全交换使用、数据应用场景建设方面的实践经验。曾任职于阿里数据平台事业部、阿里云数据事业部，负责阿里数据能力及平台的行业客户赋能，ID-Mapping体系能力构建及服务化的核心参与者，并打造行业的数据共享交换，数据交易模式早期探索者。

数澜科技联合创始人，负责管理公司产品技术团队，为客户输出构建和经营数据中台的能力，基于数据中台建设的实践经验，带领团队打造一站式数据应用基础设施-数栖，并完成实施多家行业龙头客户基于数栖的数据中台建设。

任寅姿（花名：影姿）

资深数据产品专家，数澜科技创新事业部总经理

曾任阿里巴巴数据产品专家、数据创新梧桐工作室负责人等。对大数据资产设计、资产服务、资产应用在实践的基础上形成了一套完整的数据标签类目体系方法论；擅长对各种复杂业务场景进行需求拆解、数据抽象和数据应用建模，关注于采用大数据方法切实解决场景痛点提升业务效率。

孙少忆（花名：守正）

资深数字化转型咨询专家，数澜科技战略副总裁

20年企业信息化工作经验,积累信息化内部运营、解决方案销售及交付等领域实践经验。拥有MBCI、CISSP-ISSMP、CGEIT、COBIT5、ITILExpert、P3O等国际专业资质证书。曾任职华为ICT规划咨询部，面向企业、政府提供“以数据为核心，聚焦业务场景和价值”的流程信息化与数字化转型规划和落地咨询业务。

武凯（花名：行竹）

资深数据产品专家，数澜科技COO

有10余年数据产品经验，曾任阿里巴巴集团数据平台产品与运营部负责人，是营销、零售和医疗健康等领域数据应用的探索实践者，专注于企业大数据资产化及应用增值。

沈金（花名：铁平）

资深数据业务架构专家，数澜科技解决方案总监

10余年数据行业经验，擅长业务架构、数据架构、技术架构的规划和落地实施。曾在阿?巴巴担任DBA，后参与阿里数据中台建设，拥有用户识别、标签设计、动态数据组织多个发明专利。

2017年加入数澜科技，负责解决方案团队，推动数据中台在零售、地产、金融、集团等客户案例落地。

蔣珍波（花名：乐天）

大数据咨询专家，数澜科技高级咨询专家

15年信息化和大数据行业从业经验，具备广阔的知识面，丰富的咨询经验，擅长创造性地为客户提供解决方案，尤其擅长数据治理方面的咨询规划和产品设计，服务过数十家政府和大中型企业客户。

这本书的大部分作者们都曾是阿里数据中台部门的实干者，“干过”是一种很宝贵的实力。今天，他们正在用这套数据中台方法论赋能各行各业的数字化转型，并取得了卓越的业务效果。撰写此书是他们践行“让数据用起来”这一使命的又一种尝试，将为各行各业的数字化转型的探索者和参与者提供体系化的指导。

——谢世煌 阿里巴巴集团联合创始人、湖畔山南资本创始人

未来的企业家都应该关注数据的应用，但不是哪个企业都适合做数据中台。要了解数据中台就从这本书开始吧，因为作者们都是富经验的一线实践者。

——邱昌恒（卜鹰） 鲲腾基金创始合伙人 原阿里集团副总裁

大数据的本质是数据的融合，把原本各自孤立的数据互相关联、融合，通过抽象、加工构建数据资产标签类目体系，从而赋予数据更深层次的语义和价值，洞察事物的本质。大数据背景下的数据突出了数据的人本特性，数据的充分利用，不仅极大地发展了生产力，同时还将深刻地改变生产关系。

《数据中台》理论研究和实践应用并重，对于破解当前的信息化发展难题具有非常重要的现实意义，此书会为所有想要了解数据中台丰富内涵的读者，以及从事数据治理的技术和管理人员都会带来深刻的启发，指导他们的实践和创新。

——周傲英 华东师范大学副校长 数据学院教授、博导

数据中台是企业数字化转型的战略选择，是数字化时代企业的组织重构，是企业的流程再造与技术升级。数据中台并非是一个简单的平台，其实是对海量数据进行采集、存储、计算、加工与融合。数据中台旨在消除数据标准和口径不一致的问题，实现面向应用的数据共享。数据中台，让数据与业务分离，实现面向客户需求的弹性化试错与快速迭代，为客户提供高效服务。

——金小刚 浙江大学计算机科学与技术学院研究员

借助“互联网+ ”和“智能+ ”，人类社会正以速度向智能时代前进。在这个进程中，数据成为宝贵的资产，数据资产管理与数据服务能力，将决定政府管理与社会服务的效率，也影响企业竞争的胜败。如何应对挑战、占尽先机，本书将给您别具新意的解读。帮您做好准备，打赢这一场没有硝烟的战争！

——陈强 上海工程技术大学计算中心教授

当各行各业的数据累积到一定规模，数据存储、管理、挖掘、应用等新技术，就能帮助我们“把握现在，预知未来”，数据中台就是这样一套让数据持续用起来的机制，助力企业的数字化转型。

——魏凯 中国信通院云计算与大数据研究所副所长

因为工作的原因，我经常与国内外众多行业的管理者、数字化的实践者和同行们交流，数据中台这个话题谈论得非常多。很多人在深度地研究和实践，不仅产出了很多原创的思考和文字，而且有越来越多的实践案例。作为数据中台领域的布道者，我相信数据中台将有助于推动中国的数字化转型，同时，我也相信这本书将会给数据中台领域的实践者带去有意义的启发和思考。

——史凯 ThoughtWorks中国区数据智能事业部总经理

数据是数字经济的“石油”，但数据的价值不仅在数据量，更在于如何让数据有效释放能量，数据分析能力是让“石油”精炼进而充分“燃烧”的技术，“数据中台”更是当前支持数据分析能力提升的技术热点。《数据中台》这本书系统、全面地讲述了“数据中台”的构建方法论，阐述了从IT到DT的发展方向，从技术实现到体系建设，可谓面面俱到，充分体现了“数据中台”的业务价值和技术价值，为企业开展“数据中台”建设提供了很好的规划蓝本。架构重在实践、贵在落地，相信本书的出版，能够为业内人士提供极好的指引。

——付晓岩 建信金融风险合规法律部副总经理/《企业级业务架构设计》作者

随着DT时代的到来，内部数据如何助力企业数字化建设成为各公司必须面临的问题。今年来大火的数据中台正迎合了这一历史发展趋势。本书作者结合自己的中台建设经验，给读者讲述了数据中台的概念、架构、开发、建设、管理、服务、运营、安全等诸多问题，深入浅出、娓娓道来。

——韩锋 宜信数据库开发与管理主任工程师

目录

赞誉

作者简介

前言

第1章　数据中台：信息化的下一站1

1.1　数据中台产生的大背景2

1.2　数据中台的3个核心认知11

1.3　数据中台的3个发展阶段13

1.4　开启信息化的下一站16

第2章　什么是数据中台20

2.1　解码数据中台22

2.2　数据中台必备的4个核心能力24

2.3　数据中台需要厘清的2个概念29

2.4　数据中台VS现有信息架构32

2.5　数据中台的业务价值与技术价值34

第3章　数据中台建设与架构39

3.1　持续让数据用起来的价值框架40

3.2　数据中台建设方法论42

3.3　数据中台架构53

3.4　中台手记（一）：我说服老板立项了57

第4章　数据中台建设的评估与选择62

4.1　企业数据应用的成熟度评估63

4.2　企业数据中台建设的应用场景75

4.3　中台手记（二）：打仗前手里得有一张“粮草”清单79

第5章　数据汇聚联通：打破企业数据孤岛82

5.1　数据采集、汇聚的方法和工具83

5.2　数据交换产品90

5.3　数据存储的选择94

第6章　数据开发：数据价值提炼工厂102

6.1　数据计算能力的4种类型104

6.2　离线开发110

6.3　实时开发117

6.4　算法开发120

6.5　中台手记（三）：选一个适合自己的技术平台真的很重要132

第7章　数据体系建设136

7.1　数据体系规划137

7.2　贴源数据层建设——全域数据统一存储140

7.3　统一数仓层建设——标准化的数据底座144

7.4　标签数据层建设——数据价值魅力所在157

7.5　应用数据层建设——灵活支撑业务需求179

7.6　中台手记（四）：即将开启的数据淘金之旅183

第8章　数据资产管理189

8.1　数据资产的定义和3个特征190

8.2　数据资产管理现状和挑战191

8.3　数据资产管理的4个目标192

8.4　数据资产管理在数据中台架构中的位置193

8.5　数据治理194

8.6　数据资产管理与数据治理的关系201

8.7　数据资产管理职能202

8.8　数据资产管理效果评估234

8.9　数据资产管理的7个成功要素239

8.10　中台手记（五）：家里的这点家底可得管好了242

第9章　数据服务体系建设245

9.1　补全数据应用的最后“一公里”246

9.2　4种常见的数据服务249

9.3　3种常见的数据应用262

9.4　数据服务背后的产品技术274

9.5　中台手记（六）：解决“数据应用最后一公里”问题280

第10章　数据中台运营机制284

10.1　数据中台运营效果评估模型285

10.2　数据中台运营的4个价值切入点287

10.3　数据资产运营291

10.4　数据成本运营316

10.5　数据中台运营的实践经验325

10.6　数据中台运营的要素与口诀330

10.7　中台手记（七）：让数据用起来331

第11章　数据安全管理335

11.1　数据安全面临的挑战336

11.2　贯穿数据全生命周期的数据安全管理体系344

11.3　大数据平台安全管理技术手段348

11.4　中台手记（八）：数据安全！数据安全！数据安全！357

附录　6大行业解决方案架构图359

“一切业务数据化，一切数据业务化”，回顾几十年的中国企业信息化发展历程，就是“业务数据化”的过程——企业持续在IT方面进行投入和建设，不断将发展过程中业务和经营管理端的各种能力以数据形态沉淀下来。而接下来的“数据业务化”则是将已经成为资产的数据作为生产资料融入业务价值的创造过程，使之持续产生价值。

但是随着DT时代的来临，一路高歌、突飞猛进的企业信息化建设却开始出现诸多发展瓶颈和痛点。

首先，随着信息化的深入，在传统烟囱式IT建设方式下，企业独立采购或者自建的各种企业信息系统，在内部形成诸多数据孤岛；而在互联网、移动互联网背景下，服务号、小程序、O2O平台等新模式下产生的外部数据与传统系统的内部数据无法互通，这进一步加剧了数据孤岛问题……系统多样性和多态性，增加了企业IT架构的复杂度。

其次，随着多云环境的出现，硬件基础设施从IT 时代的服务器演变成DT时代的“云”，多数企业将选取多云策略，以避免被单一云厂商锁定，且多云的使用可以让企业IT架构更灵活、更符合自身情况。但这也让企业IT架构变得更为复杂，底层数据的互联互通成为困扰企业发展的痛点之一。

因此在传统企业底层IT架构下，新旧IT系统中沉淀的数据之间难以打通，而在多云环境中，企业内外部数据亦难以快速连接。分散各处难以融合的数据，无法很好地支撑企业经营决策，也无法很好地应对快速变化的前端业务，如何突破发展瓶颈，构建适应新时代的企业IT架构，以阿里、华为等为首的国内顶级公司开始提出“数据中台”的概念。

在笔者们看来，数据中台是企业数字化转型的必然产物。在企业IT架构日益复杂的今天，亟须通过一套机制，联通传统 IT 架构和各类数据，融合新老模式，整合孤岛数据，沉淀数据资产，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。

DT时代数据中台的使命是“让数据持续用起来”，它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来，将成为资产的数据作为生产资料融入业务价值创造过程，提供推动企业发展源源不断的生产力。

笔者们认为，数据中台作为整个企业各个业务所需数据服务的提供方，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化）。这样当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速提供数据服务（服务业务化），从而敏捷地响应企业的创新。业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。

值得一提的是，数据中台不仅仅是一种技术平台，倘若仅停留于此，就完全忽略了从IT到DT的本质变化是“围绕数据资产进行价值的持续积累和释放”。单纯增大技术投入和人才投入无法保障企业经营效能的持续提升，只有站在数据价值观和方法论的高度，才可能系统性解决企业经营发展中关于数据的诸多问题。谁能率先解决面向数字经济特征的全新数据价值观和方法论的问题，并在其指引下打造出平台级能力，谁就能真正意义上帮助企业把数据用起来。

因此，本书重点落笔于数据中台建设方法论体系的阐述，这也是笔者们多年大数据领域从业经验以及多个数据中台建设经验总结所得。希望这套数据中台建设方法论能为计划进行数字化转型，或已经在数字化转型之路上奋力前行的企业决策者、业务推动者和执行者，提供认知升级的有益借鉴，帮助企业结合自身特点，在战略规划牵引下，从组织、保障、准则、内容、步骤等五个层面全面考虑，建立起一套可持续运行的中台建设机制，以保障数据中台建设实施如期完成，从而加速企业的数字化转型进程。

2019年是数据中台爆发的元年，笔者们认为，数据中台必将依循从概念引爆到迭代试错，再到规模复制的认知升级路径，从行业头部企业普惠至更多中小企业，成为数据应用的“基础设施”。未来，每个企业都会像20年前上ERP、5年前上云那样，标配自己的“数据中台”，为企业数字化转型奠定坚实基础。而作为国内最早的一批数据服务创新者，笔者们希望能将过去十余年沉淀的数据认知和行业经验，与更为广泛的行业人士分享、碰撞、交流，并在此过程中实现认知升级，从而更好地增援企业未来，提升企业硬实力，这就是从2019年5月起，笔者们历时半年撰写本书的初心与梦想。

本书的写作历程是一次共创与感恩之旅。数澜三年，与百家行业头部客户共建数据中台，本书虽只有薄薄数百页，但却承载了数澜与客户合力共创的千余个日日夜夜的思考与探索。感恩在与中信集团、万科地产、兴业银行、百果园等诸多客户共创中沉淀的数据认知与实战经验，让我们得以不断思考“让数据用起来”的真谛与本质，而唯有将这些思想的火花具象成文，集结成册，分享给更多数字化转型之路上同行的人们，方不负大家对我们的期望和厚爱！

这还是一次自我超越之旅，非常感谢机械工业出版社华章公司的策划编辑杨福川老师、责任编辑罗词亮老师、美术编辑王建敏老师，他们的鼓励与指导点燃了我们心中的梦想，让我们这群拙于表达的技术人，竟产出了近20万字的中台理论知识与实践经验总结。半年前看似不可能完成的任务，我们坚持了下来，并沉淀下了多年工作认知和经验思考，于我们自身来说是一份特别珍贵的精神财富。

这更是集体智慧的结晶，感谢赵东辉、谢辉、白松、蔡勇剑、黄飞、黄耐寒、贾松、罗玲、李舵、李远泽、秦文艺、孙昂、陶胜刚、张梦琴等多位数澜专家，他们奋战在数据产品、开发、算法、咨询、治理一线，在异常繁忙的年中冲刺季，挤出时间为本书撰文，可谓字字珠玑；感谢徐锦、谭琼、邵雪、杨莎莎、朱清漪、程国强、李德亮、陶丽婷等组成的内部编委会，十年经验，四月烧脑总结写作，两周封闭萃取，杭京深三地联动，通宵达旦，激情燃烧，让专业的技术术语鲜活起来，让抽象的思维认知灵动起来，让本书逻辑更清晰明了，更具有可读性与吸引力！

数据中台已经掀起了幕布的一角，幕布后面的精彩世界需要政府、产业、行业、领先企业共同激荡演绎。让我们走进数据中台的世界，共同描绘属于我们的新纪元！