大数据智能核心技术入门：从大数据到人工智能

如何从业务到技术，
从学习到实践，
从治理到应用，
构建完整的大数据智能知识结构与技术体系？
本书会给读者提供一个大数据智能核心技术体系的入门学习和应用参考指南

《大数据智能核心技术入门：从大数据到人工智能》跟从大数据和人工智能应用的融合之路，通过分析和解读整个数据驱动智能核心技术，希望能给读者提供一个大数据智能核心技术体系的入门学习和应用参考指南。本书前半部分内容重在核心技术解读：包括大数据智能的概论、大数据智能核心技术体系的多维解读、深度学习关键技术要点的分析，大数据智能应用三段论和敏捷大数据方法论的提出等内容。后半部分内容重在应用实践的探讨，深入分析了当前大数据智能独角兽Palantir、AlphaGo、Watson等核心产品和技术，并从个人学习到工程实践，从企业应用到政府治理，从业务理解到技术选型等多个层面，逐一解读大数据智能技术在学习、应用过程中面临的关键问题、陷阱，并给出参考意见。本书通过核心技术解读帮助读者学习、理解、应用大数据智能，具有重要的参考价值。本书适合的读者包括关注大数据和人工智能相关技术领域的在校学生、个人学习者和研发工程师、技术主管、企业高管、政府管理人员等。

杜圣东，西南交通大学信息科学与技术学院（人工智能研究院），讲师，大数据与人工智能方向在职博士，硕士与本科毕业于重庆大学计算机学院。兼任多家单位技术顾问和大数据培训专家，曾为中国中车集团、广州地铁集团、成都铁路局等多家企事业单位做大数据和人工智能培训讲座。首次提出了敏捷大数据方法论，在数据挖掘、商业智能、机器学习和交通、政务、医疗大数据等领域有10余年的系统研发、管理与咨询经验。迄今为止，主研国家自然科学基金和国家重点研发计划项目4项、主持企业课题和产品研发20余项，获得专利和软件著作权6项，发表论文10余篇。

第1章 大数据智能概论 1
1 大数据现象的本质 1
大数据源起：先知的诱惑 1
从《琅琊榜》看大数据本质 3
2 大数据是个“筐”，什么都能往里装 5
大数据技术业务概览 6
为什么叫大数据智能 7
3 何谓大数据智能 7
图灵的智能之问 7
大数据如何助力人工智能 9
大数据智能的深度融合之路 11
4 大数据智能三要素 12
数据：智能燃料 13
算法：智能引擎 14
算力：智能加速 15
5 大数据智能的马太效应 16
DT技术新解 16
强者越强，弱者越弱 18
挑战才刚刚开始 19
第2章 多维度解构大数据智能技术 21
1 “四位一体”看大数据智能 21
大数据智能技术的四个维度 22
云计算的支撑地位 24
2 大数据智能产业链版图 26
百家争鸣的DT生态 27
开源的巨大推动力 29
3 大数据智能的关键技术体系 31
大数据智能总体应用架构 31
大数据智能的基础支撑技术 34
大数据智能应用流程优化 39
4 从数据科学看大数据智能 43
什么是数据科学 43
数据科学的核心技术 44
数据科学的技术体系 47
数据科学的艺术 48
5 从商业智能看大数据智能 50
商业智能应用的问题 50
BI如何借力大数据智能 52
大数据智能与BI的融合之路 53
6 智能时代的基础信息架构 54
DT基础设施：云端―数据―智能 54
Hadoop大数据管理：“三个臭皮匠，赛过诸葛亮” 55
OpenStack云计算：一切皆服务 58
TensorFlow深度学习：流动的张量 59
第3章 大数据驱动的深度智能 63
1 深度学习的崛起 63
早期AI的发展 64
“猫”“狗”AI的野蛮生长 65
深度学习正在重塑机器智能 69
2 机器如何智能：从感知到认知 70
何谓机器智能 70
机器智能的三个层次 71
智能技术及应用体系 72
3 机器如何学习：从知识到数据 73
符号派AI的瓶颈 73
浅层学习：小数据驱动的机器学习1．0 76
深度学习：大数据驱动的机器学习2．0 83
4 机器学习五大学派 84
机器学习主流方向 84
机器学习算法不完全概览 87
机器学习技术选型 88
5 神经网络的“三起两落” 90
神经元与神经网络 90
神经网络研究的泡沫与价值 92
6 深度学习原理及核心网络结构 94
机器如何深度学习 94
自动特征工程：抽象与迭代 96
深度学习的关键词 97
深度学习的主流网络结构 100
7 深度强化学习：深度感知+强化决策 108
什么是强化学习 108
AlphaGo的深度强化策略 109
8 深度学习的“深度”价值 110
类脑学习参考 111
无监督自动特征工程 112
多种学习方式的融合 112
9 深度学习的瓶颈与挑战 113
如何从感知到认知 114
如何从监督学习到无监督学习 114
学习方式及应用场景的局限 115
多模态、多任务增量学习和模型重用 116
可解释性、安全性与鲁棒性 116
大数据、大模型与计算资源的瓶颈 118
第4章 敏捷大数据智能 121
1 为什么需要敏捷 121
大数据应用落地的瓶颈 121
敏捷大数据的重要性 123
2 敏捷大数据方法论 126
精益与敏捷思想 127
敏捷大数据定义及核心原则 130
“大”数据“小”应用 132
敏捷大数据应用流程 132
3 微服务、容器与数据融合 134
微服务与容器技术 134
多层次数据融合技术 137
4 敏捷大数据智能技术架构 139
5 结论与展望 144
第5章 大数据智能“独角兽”探秘 146
1 Palantir的本体人机共生 146
B2B大数据领域的“独角兽” 146
Palantir的产品体系及应用案例 147
Palantir架构设计：敏捷大数据的优美实现 151
Palantir数据融合：本体论与数据索引映射 152
Palantir智能计算：多维关联挖掘与全链分析 155
Palantir人机交互：动态可视化与人机共生 156
总结与启示 158
2 Google的深度智能样板工程 159
“狗”的诞生 160
AlphaGo的“类脑学习”框架 160
AlphaGo“零”的进化 162
总结与启示 164
3 IBM的认知智能 164
Watson的源起 165
认知智能与自然语言理解 166
Watson的认知智能平台架构 168
Watson DeepQA关键技术 169
Watson认知智能的强与弱 171
总结与启示 172

4 TensorFlow的Android式进化 173
TensorFlow的开源 173
为什么要讲Android 174
Google云端大数据智能战略 175
总结与启示 177
第6章 大数据智能个人学习篇：入门与实践 178
1 智能时代的学习革命 178
机器智能的助力 178
牛津大学的职业淘汰率研究 179
2 大数据智能技术“盲人摸象” 181
3 大数据智能“3+3”学习路线 183
学习的三个阶段：把握技术发展的时间线 183
学习的三种方式：应用导向是关键 186
4 如何避免大数据智能学习的误区 189
要业务驱动，不要技术驱动 189
要以点带面，不要贪大求全 190
要善用开源技术，不要重“造轮子” 191
要勇于实践，不要纸上谈兵 192
5 Kaggle，众包与大数据教育 193
6 三种核心职业角色 194
数据分析师：重在业务理解和探索 196
数据工程师：重在数据管理和系统实现 196
数据科学家：重在解决问题和统筹决策 197
7 理性看待所谓的“风口” 198
第7章 大数据智能企业应用篇：战略与规划 201
1 智能时代的商业革命 201
2 大数据智能应用全周期模型 203
3 如何避免大数据智能应用的陷阱 207
第一问：我属于什么级别的“玩家” 207
第二问：大数据于我是伪需求还是真需求 207
第三问：如何自行定位大数据应用价值 208
第四问：技术驱动、数据驱动还是业务场景驱动 209
第五问：我是否准备好打一场大数据应用持久战 210
第六问：我是否清楚大数据偏见、技术局限与管理风险 213
4 大数据应用战略 214
第8章 大数据智能政府管理篇：治理与决策 217
1 智能时代的治理革命 217
2 政务大数据治理挑战 218
第一问：如何处理集中与开放的矛盾 219
第二问：如何推进政务大数据治理和决策优化 219
第三问：如何降低政务数据治理带来的负面影响 220
3 政务大数据治理与应用框架 220
管理和治理是基础 221
技术和算法是手段 222
决策和服务是目的 223
4 政务大数据决策安全 224
国防决策安全 224
公共决策安全 224
经济决策安全 225
科技决策安全 226
5 应用标准与落地应用的悖论 226
数据安全标准 227
数据质量标准 227
数据交互标准 227
数据开放标准 228
6 政务治理的现代化 228
第9章 结语 230
1 认知泡沫与应用价值 230
2 机器智能与人类智能 231
3 人技融合，学以“治”用 234
4 智能时代，我们将走向何方 235
致谢 236