高效使用Greenplum:入门、进阶与数据中台pdf下载pdf下载

高效使用Greenplum:入门、进阶与数据中台百度网盘pdf下载

作者:
简介:本篇主要提供高效使用Greenplum:入门、进阶与数据中台pdf下载
出版社:机械工业出版社自营官方旗舰店
出版时间:2021-12
pdf下载价格:0.00¥

免费下载


书籍下载


内容介绍

编辑推荐

适读人群 :本书适合于以下读者:商业智能分析领域的工程师。Greenplum作为一款简单易用、性能卓越的OLAP分析数据库,非常适合作为数据分析的底层数据库。通过阅读本书,你将快速掌握掌

(1)作者背景资深:在数仓、数据中台等领域深耕10余年,启高信息大数据架构师,Apache Doris和OpenGauss源码贡献者。
(2)作者经验丰富:丰富的数据仓库、数据集市、数据中台项目实战经验,对大数据主流技术架构、产品选型与解决方案有深入研究,尤其擅长用优雅的SQL实现复杂的逻辑。
(3)讲透Greenplum:从工作原理、功能组件、深入应用3个维度全面、深入讲解Greenplum,帮助读者快速实现Greenplum的入门、实战与进阶。
(4)Greenplum数据中台搭建:从建设思路、接口实战、建模实战到数据中台管理和应用,全方位解读基于 Greenplum 数据库实现数据中台的过程
(5)Greenplum中文社区推荐:Greenplum中文社区创始人姚延栋、启高信息创始人赵书贤等7位专家联袂推荐
(6)丰富案例和图示:通过浅显易懂的语言,用丰富的案例和图示,将复杂的内容简单化,引导读者深入学习,事半功倍。

内容简介

这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作,而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。


作者在数据架构和数据仓库一线工作10余年,积累了丰富的项目经验,他用浅显易懂的语言、贴近生产环境的案例、丰富的示意图例写作了本书,能帮助读者快速掌握具有实战价值的知识。


具体地,阅读本书你将收获如下内容:
·掌握数据仓库技术的发展历程和发展方向;
·理解MPP架构的架构特点和实现逻辑;
·Greenplum数据库的安装和基本操作;
·Greenplum数据库的工作原理;
·SQL语句从入门到开发实战;
·Greenplum数据库ETL相关功能的具体用途;
·机器学习、文本处理、图计算、GIS等的入门知识;
·掌握Greenplum数据库的运维和监控要点;
·全面掌握Greenplum数据库的性能优化;
·数据中台的理念和建设路径;
·数据中台从接口到智能化应用的项目实战;
·零售行业数据中台的项目实战案例。

作者简介

王春波


资深架构师和数据仓库专家,现任上海启高信息科技有限公司大数据架构师,Apache Doris和openGauss贡献者,Greenplum中文社区参与者。
具有十多年的数据仓库、数据集市、数据中台项目实战经验,对大数据主流技术架构、产品选型与解决方案有深入研究,尤其擅长用优雅的SQL实现复杂的逻辑。
常年奔波在各个项目交付现场,曾成功主导过中国邮政储蓄银行、南海农商银行、广东省联社、前海微众银行、广东南粤银行等多家银行的管理会计项目,以及卡宾、安踏、特步等多家零售鞋服企业的数据中台项目。
公众号“数据中台研习社”运营者。

精彩书评

本书是春波一线实践经验的积累和沉淀,内容覆盖了Greenplum从入门到深入应用,再到运维监控和性能调优的各个方面。此外,对数据中台的各个要素也进行了详细的讲解,用案例和图文并茂的方式阐述了基于Greenplum的数据中台建设。
——曹正炎 上海汉得信息技术股份有限公司数据研发中心总经理

本书对Greenplum的技术特点、适用场景、常见问题等都做了非常详尽的阐述。难能可贵的是,作者结合项目实践,对如何利用Greenplum数据库解决分析需求、服务业务创新、发挥数据价值也给出了实用高效的经验分享。对于初学者,本书可以帮助其快速成长为Greenplum专业人才;对于有经验的从业人员,本书也是难得的查漏补缺、总结经验的工具书。
——杨宏武 上海启高信息科技有限公司联合创始人兼CTO 

本书通过讲背景、说架构、述功能、举案例的方式,由浅入深地层层剖析了Greenplum的架构原理和功能组件,并通过实战项目讲述了Greenplum适用的各项应用场景。
——黎文惠 润智科技有限公司大数据架构师

市面上关于Hive和Spark的书非常多,关于Greenplum和数据中台结合的数据却没有,本书填补了这一空白。很多中小企业其实并不需要一套架构复杂的Hadoop平台,Greenplum集群才是他们的最佳选择。
——苏丹 成都慧择网络技术有限公司数据产品经理

目录

序一
序二
序三
前言
第一部分 大数据平台概述
第1章 大数据平台技术的演进2
11 关系型数据库2
111 数据库发展历程2
112 关系型数据库独霸天下4
113 结构化查询语言SQL4
114 列存储的兴起5
12 Hadoop生态系统7
121 Hadoop概述7
122 Hadoop生态圈7
123 Hadoop的优缺点9
13 NoSQL的瓶颈和SQL数据库的回归10
131 NoSQL产品的发展10
132 NoSQL的共性11
133 SQL数据库的回归12
14 MPP架构的兴起14
141 什么是MPP架构14
142 MPP架构的蓬勃发展15
143 MPP数据库代表—TBase17
144 浅谈HTAP19
第二部分 Greenplum入门
第2章 Greenplum概述24
21 Greenplum的前世今生24
22 Greenplum数据库架构27
23 Greenplum数据库的特点28
24 Greenplum新特性及展望30
25 Greenplum的优势32
第3章 Greenplum的安装与部署35
31 Greenplum数据库安装过程35
311 准备工作35
312 安装Master节点39
313 复制安装包到其他节点41
314 初始化Greenplum数据库42
32 安装GPCC43
33 Greenplum访问接口46
331 CLI46
332 JDBC47
333 ODBC48
34 Greenplum数据库常用命令48
341 启动和停止48
342 修改参数49
343 其他常用命令51
35 Greenplum性能测试52
第4章 Greenplum使用入门54
41 数据类型详解54
411 基本数据类型54
412 特殊数据类型56
413 组合数据类型60
42 数据表的基本使用62
421 表对象定义62
422 表的基本操作63
423 数据的基本操作64
43 数据表的高级应用65
431 数据表的存储特性69
432 分区表详解72
433 外部表76
44 数据库函数79
441 数学函数79
442 三角函数列表80
443 字符串函数和操作符80
444 类型转换相关函数82
445 自定义函数83
45 数据库的其他对象85
451 视图85
452 索引85
453 序列87
第三部分 Greenplum应用
第5章 Greenplum查询详解90
51 SQL语法92
511 简单SQL语法92
512 WITH子句特性95
513 IN语句和EXISTS语句98
514 MERGE子句的实现100
52 JOIN操作101
53 分析函数的妙用106
54 高级函数精选110
第6章 ETL工具箱114
61 数据加载王者GPLoad114
611 GPLoad简介114
612 GPLoad配置详解116
613 GPLoad实战118
62 自定义存储过程120
621 存储过程介绍 120
622 存储过程应用模板121
623 存储过程精选案例122
63 PXF插件131
631 PXF简介131
632 安装PXF132
633 PXF实战135
64 DBLink136
641 DBLink简介136
642 安装DBLink137
643 DBlink实战139
65 拉链表142
第7章 Greenplum高级应用147
71 开放的编程接口147
711 PL/Python148
712 PL/R150
72 MADlib机器学习库153
721 安装MADlib154
722 线性回归案例157
723 关联规则案例158
724 朴素贝叶斯分类案例159
73 半结构化数据分析164
74 地理空间数据分析166
75 图计算应用168
第8章 Greenplum运维管理和监控172
81 数据库管理172
811 创建和管理数据库172
812 创建和管理模式173
813 创建和管理表空间175
814 创建和管理用户178
815 创建和管理资源队列180
82 可视化监控页面—GPCC183
83 管理好帮手—gp_toolkit185
84 Greenplum备份和恢复187
85 在线扩容工具GPExpand189
851 Greenplum扩容实战189
852 扩容原理分析191
86 锁机制192
861 锁管理概述192
862 普通锁数据结构192
第9章 Greenplum性能优化197
91 系统级优化197
911 操作系统选择197
912 硬件资源配置198
913 磁盘读写199
914 节点之间的网络带宽202
915 系统参数202
92 数据库级优化204
921 数据库参数配置204
922 资源队列206
93 表级优化206
931 建表参数207
932 表的优化208
94 执行计划和查询优化209
941 查看执行计划210
942 数据扫描方式210
943 分布式执行方式213
944 两种聚合方式214
945 关联分类214
946 优化器的选择216
947 其他关键术语217
第10章 Greenplum与开源组件220
101 Kettle220
102 DataX224
103 HDFS、Hive和HBase228
104 Spark230
105 Kafka235
106 Flink238
第11章 Greenplum与BI应用244
111 Tableau244

前言/序言

为什么要写这本书
2012年我步入企业数据分析领域,一度聚焦于银行业管理会计系统。管理会计系统是银行业最重要的数据分析与应用系统。在上线管理会计系统之前,银行业只能通过简单的统计报表应对各种业务统计需求。管理会计系统帮助银行实现了经营数据的汇总整合、数据质量的提升、精细化管理的转变,一跃成为银行业最核心的数据应用系统。
银行业的管理会计系统通常构建在数据仓库之上,是一个面向应用的数据集市,虽然整体架构和数据仓库类似,但是系统的数据容量略小。早期的管理会计系统都是基于Oracle、DB2、SQL Server实现的。2017年年底,我第一次接触到了大数据平台,参与了银行业第一个基于Hadoop平台的管理会计系统项目建设。
身为传统数据库开发工程师,我在Oracle和DB2数据库上积累的经验在Hive上完全无用武之地。在完成Hive数据分析项目的同时,我一边恶补Hadoop的相关知识,一边深入理解Hive执行过程和执行原理,终于在项目后期掌握了Hive数据仓库的优化策略和调优参数。尽管已经有了Hive的优化经验,我仍然很难认可Hive的数据仓库领导者地位。即使后面用到了Tez、Hive on Spark等更加快速的查询引擎,脚本式的开发过程和大表关联的性能瓶颈,仍然让我对Hive很不满意。
直到有一天,我发现了Greenplum数据库,才知道分布式数据库其实还有更好的选择。MPP架构作为传统数据库架构设计的“正统继承者”,既满足了大数据量查询的性能要求,又解决了SQL语言的兼容性问题。
正是基于Greenplum数据库带给我的惊喜,我才特别想将使用经验分享给大家,从而推动更多企业使用Greenplum数据库,让它们用更省钱、更快捷的方式实现企业级数据仓库和数据中台。
虽然现在ClickHouse和Doris正在崛起,新一代的架构可能会超越Greenplum数据库,但是Greenplum数据库胜在生态成熟、技术稳定,完全可以满足大部分中小企业的数据分析需求。
Greenplum曾经在阿里巴巴作为Oracle集群的替代产品,成为数据仓库的核心数据库(虽然后来被自研产品换掉,但是阿里巴巴当时的数据体量是很多公司未来10年都不可能达到的),而且这些年来,Greenplum数据库技术更加成熟,生态更为完善,性能也得到了大幅提高。
阿里云推出的云原生数据仓库AnalyticDB for PostgreSQL正是基于Greenplum的改进版本。百度云、京东云也陆续推出了基于Greenplum的云上数据仓库平台,腾讯云和华为云则主推自家研发的同类产品(腾讯TBase和华为GaussDB)。这说明各大云厂商都看好MPP架构数据库在OLAP领域的应用趋势。这些数据仓库平台都是基于PostgreSQL研发的,并且都参考了Greenplum的架构体系。因此,深入研究Greenplum可以达到触类旁通的作用。从主推以Hive为核心的大数据平台到回归Greenplum生态,说明云厂商的产品定位在发生转变。对于广大中小型企业,Greenplum才是最适合它们的数据库产品。
读者对象
本书适合以下读者。
商业智能分析领域的工程师。Greenplum作为一款简单易用、性能卓越的OLAP分析数据库,非常适合作为数据分析的底层数据库。通过阅读本书,读者可以快速掌握Greenplum的使用,并可以从其他环境抽取数据到Greenplum进行数据分析,进一步提升工作效率。
数据分析领域的ETL工程师。MPP数据库的原理是数据分析领域的ETL工程师必须掌握的技术知识点。通过本书,读者不仅可以学习并掌握MPP架构的开源数据库,以及PostgreSQL和Greenplum数据库语法,还可以基于Greenplum构建完整的数据仓库、数据中台系统。
系统架构师。OLAP数据库选型一直是系统架构领域的难点,通过本书,读者可以全面认识Greenplum数据库的优点和缺点,从而务实地在Hadoop和Greenplum中做出明智的选择。此外,Greenplum会大幅降低开发成本,提高开发效率,提升企业的信息服务水平。
计算机专业的高校学生。如今,很多高校都开设了数据库和大数据相关的课程,然而Hadoop的复杂性和不稳定性让入门者胆怯,基于PostgreSQL的MPP数据库Greenplum会是这部分读者最好的选择。
本书特色
本书结合数据中台的建设,从建设思路、接口实战、建模实战到数据中台管理和应用,全方位解读基于Greenplum数据库实现数据中台的过程,并辅之以零售行业数据中台的案例,深入剖析数据中台建设的全过程,帮助读者掌握数据中台的实战要领。
在行文方面,本书尽可能使用浅显易懂的语言,并通过大量的演示案例来引导读者深入学习。在关键环节,本着“有图有真相”的原则,配有大量的截图和示意图帮助读者加深对知识的理解。
如何阅读本书
本书内容分为4部分。
第一部分 大数据平台概述(第1章):主要从应用的角度介绍了大数据技术的发展历程,帮助读者了解时代背景,把握大数据技术的发展方向。
第二部分 Greenplum入门(第2~4章):简单介绍Greenplum数据库的基本原理、安装与部署、入门操作,帮助读者认识Greenplum数据库。没有任何数据库应用经验的读者可以认真学习这部分内容。
第三部分 Greenplum应用(第5~11章):着重讲解了Greenplum数据库的部分高级应用功能,包括SQL语法、ETL