基本信息

• 商品名称：DM8数据中心解决方案――达梦数据交换平台
• 作者：张胜
• 定价：99
• 出版社：电子工业
• 书号：9787121381119

其他参考信息（以实物为准）

• 出版时间：2021-02-01
• 印刷时间：2021-02-01
• 版次：1
• 印次：1
• 开本：
• 包装：平装
• 页数：386
• 字数：600千字

内容提要

本书以达梦数据交换平台4.0为蓝本，全面系统地介绍了达梦数据交换平台的体系结构、安装与配置、转换和作业流程设计、达梦数据总线和集群等内容，是学习达梦数据交换平台的基础教材和参考用书。全书分为入门篇、基础篇和 篇三个部分，内容涵盖达梦数据交换平台概述、安装与配置、快速入门、数据源管理、转换、作业、函数与变量、调度与监控、权限与版本管理、增量数据抽取、达梦数据交换集群、数据质量检测、Web监控与数据总线自定义转换和数据源开发、ETL接口编程等内容。本书结合具体实例，详细阐述了达梦数据交换平台各功能组件的使用方法，同时也介绍了集群、数据总线等 内容，适合不同学习进度的读者使用。本书内容全面、举例丰富、操作性强、语言通俗、格式规范，可作为达梦数据交换平台的学习教材，也可作为工程技术人员的参考用书。

作者简介

张胜，博士，国防科技大学信息通信学院副教授，长期从事数据工程、数据管理等领域的教学与科研，主编参编《数据工程理论与技术》《军事信息管理》《作战数据管理技术基础》《达梦数据库应用基础》《达梦数据库SQL指南》等多部专著，先后获军队科技进步奖三等奖4项。

目录

入 门 篇
第1章 概述2
1.1 数据交换基本概念2
1.1.1 数据交换概念模型2
1.1.2 数据交换技术的发展3
1.2 数据交换体系结构4
1.2.1 数据交换模式4
1.2.2 数据交换体系组成6
1.3 达梦数据交换平台简介7
1.3.1 组成及功能7
1.3.2 技术架构10
1.3.3 特点11
第2章 安装与配置13
2.1 安装与卸载13
2.1.1 Windows操作系统中的安装13
2.1.2 Linux操作系统中的安装21
2.1.3 升级安装23
2.1.4 卸载24
2.1.5 常见问题与注意事项25
2.2 系统配置27
2.2.1 启动与停止系统服务27
2.2.2 服务器配置30
2.2.3 元数据库配置31
2.2.4 集群配置33
2.2.5 数据总线服务配置34
2.2.6 Web监控服务配置35
2.2.7 查看许可证信息36
2.2.8 监听服务器日志信息37
2.2.9 日志参数配置37
第3章 快速入门38
3.1 设计器界面38
3.1.1 设计器启动38
3.1.2 界面简介40
3.2 基本操作40
3.2.1 设计40
3.2.2 运行43
3.3 入门示例44
3.3.1 示例说明44
3.3.2 创建数据源45
3.3.3 创建工程50
3.3.4 设计转换51
3.3.5 设计作业62
3.3.6 查看运行日志66
基 础 篇
第4章 数据源管理68
4.1 关系型数据库68
4.1.1 关系型数据库概述68
4.1.2 添加表70
4.1.3 添加视图70
4.1.4 添加SQL查询71
4.1.5 表73
4.2 文本文件79
4.2.1 文本文件描述79
4.2.2 文本文件选项配置说明79
4.2.3 文本文件详细说明79
4.3 CSV文件80
4.3.1 CSV文件描述80
4.3.2 CSV文件选项配置说明80
4.4 Excel文件80
4.4.1 Excel文件描述80
4.4.2 Excel文件选项配置说明81
4.5 XML文件81
4.5.1 XML文件描述81
4.5.2 XML文件选项配置说明81
4.5.3 XML文件示例描述82
4.6 数据集文件83
4.6.1 数据集文件描述83
4.6.2 数据集文件选项配置说明83
4.7 DBF文件84
4.7.1 DBF文件描述84
4.7.2 DBF文件选项配置说明84
4.8 JSON文件84
4.8.1 JSON文件描述84
4.8.2 JSON文件选项配置说明84
4.8.3 JSON文件示例描述85
4.9 HDFS文件86
4.9.1 HDFS文件描述86
4.9.2 HDFS文件选项配置说明86
4.10 AVRO文件86
4.10.1 AVRO文件描述86
4.10.2 AVRO文件选项配置说明87
4.11 JMS文件87
4.11.1 JMS文件描述87
4.11.2 JMS文件选项配置说明87
4.11.3 JMS文件示例描述87
4.12 WebSphere MQ89
4.12.1 WebSphere MQ描述89
4.12.2 WebSphere MQ选项配置说明89
4.13 Kafka89
4.13.1 Kafka描述89
4.13.2 Kafka选项配置说明89
4.14 WebService90
4.14.1 WebService描述90
4.14.2 WebService选项配置说明90
4.15 LDAP90
4.15.1 LDAP描述90
4.15.2 LDAP选项配置说明90
4.15.3 LDAP示例描述91
4.15.4 添加LDAP DN数据集91
4.16 Mail数据源91
4.16.1 Mail数据源描述91
4.16.2 Mail数据源选项配置说明92
4.16.3 Mail数据源示例描述92
4.16.4 添加Mail数据集93
4.17 MongoDB数据源94
4.17.1 MongoDB数据源描述94
4.17.2 MongoDB数据源选项配置说明94
4.17.3 MongoDB数据源示例描述94
4.17.4 添加MongoDB数据集94
4.18 Elasticsearch数据源95
4.18.1 Elasticsearch数据源描述95
4.18.2 Elasticsearch数据源选项配置说明95
4.18.3 Elasticsearch数据源示例描述96
4.18.4 添加Elasticsearch类型96
4.19 Hbase数据源97
4.19.1 Hbase数据源描述97
4.19.2 Hbase数据源选项配置说明97
4.19.3 Hbase数据源示例描述98
4.19.4 添加Hbase表98
4.20 导出元数据99
4.20.1 导出元数据描述99
4.20.2 导出元数据选项配置说明99
4.20.3 导出元数据示例描述99
4.21 导出数据101
4.21.1 导出数据描述101
4.21.2 导出数据选项配置说明101
4.21.3 导出数据示例描述101
第5章 转换103
5.1 转换概述103
5.1.1 转换功能描述103
5.1.2 转换选项配置说明103
5.2 转换通用配置104
5.2.1 输出配置104
5.2.2 属性配置109
5.2.3 数据条数111
5.2.4 文件切分112
5.2.5 文件处理113
5.2.6 文件选择114
5.2.7 自动分表116
5.2.8 流程运行统计117
5.3 数据读取118
5.3.1 读取表/视图118
5.3.2 SQL查询120
5.3.3 读取增量表122
5.3.4 读取文本文件124
5.3.5 读取CSV文件125
5.3.6 读取Excel文件127
5.3.7 读取XML文件128
5.3.8 读取数据集文件129
5.3.9 读取JMS数据131
5.3.10 读取WebService数据133
5.3.11 读取LDAP数据134
5.3.12 读取Mail数据135
5.3.13 读取随机数据136
5.3.14 读取自定义数据源138
5.3.15 读取DBF文件141
5.3.16 读取JSON文件141
5.3.17 读取MongoDB数据142
5.3.18 读取WebSphere MQ数据143
5.3.19 读取网络输入数据143
5.4 数据转换143
5.4.1 数据清洗转换143
5.4.2 联合155
5.4.3 数据集查找157
5.4.4 数据质量检测159
5.4.5 SQL脚本159
5.4.6 设置变量161
5.4.7 排序162
5.4.8 删除重复行164
5.4.9 行数据抽样165
5.4.10 自定义转换166
5.4.11 聚合167
5.4.12 列转行168
5.4.13 行转列170
5.4.14 系统命令171
5.4.15 数据脱敏171
5.4.16 连接172
5.5 数据装载172
5.5.1 表装载172
5.5.2 增量表装载174
5.5.3 缓慢变化维表装载176
5.5.4 文本文件装载181
5.5.5 CSV文件装载182
5.5.6 Excel文件装载183
5.5.7 XML文件装载185
5.5.8 数据集文件装载186
5.5.9 JMS装载187
5.5.10 WebService装载188
5.5.11 DBF文件装载190
5.5.12 JSON文件装载191
5.5.13 MongoDB装载192
5.5.14 WebSphere MQ装载192
5.5.15 Kafka装载192
5.5.16 Elasticsearch装载193
5.5.17 网络输出193
5.6 快速装载194
5.6.1 DM8快速装载194
5.6.2 Greenplum快速装载195
5.6.3 Oracle快速装载197
5.6.4 MySQL快速装载198
5.6.5 Infobright快速装载199
5.6.6 Mariadb快速装载200
5.6.7 Hive快速装载200
5.7 文件同步201
5.7.1 文件源201
5.7.2 文件目的203
5.7.3 文件同步示例203
第6章 作业206
6.1 作业概述206
6.1.1 作业功能描述206
6.1.2 作业选项配置说明206
6.2 作业通用配置207
6.2.1 属性207
6.2.2 循环执行208
6.3 引用209
6.3.1 引用转换210
6.3.2 引用作业210
6.4 脚本211
6.4.1 Java脚本212
6.4.2 SQL脚本213
6.4.3 设置变量214
6.5 文件操作216
6.5.1 基本文件操作216
6.5.2 压缩217
6.5.3 解压缩218
6.5.4 远程文件同步219
6.6 实用工具221
6.6.1 发送邮件221
6.6.2 OS命令223
6.6.3 DLL调用224
6.6.4 Ant225
6.6.5 休眠227
6.6.6 数据校验228
6.7 系统维护230
6.7.1 清除日志230
6.7.2 刷新缓存231
第7章 函数与变量233
7.1 函数233
7.1.1 函数定义233
7.1.2 函数类型与作用域234
7.2 变量234
7.2.1 变量定义234
7.2.2 变量类型与作用域235
7.2.3 节点变量235
7.2.4 局部变量237
7.3 表达式237
7.4 使用嵌入式表达式238
7.5 数据类型239
第8章 调度与监控241
8.1 调度241
8.1.1 新建调度241
8.1.2 设置调度243
8.1.3 调度引擎245
8.2 监控246
8.2.1 监控后台流程246
8.2.2 查询历史日志247
8.2.3 清除历史日志249
8.2.4 实时告警250
8.2.5 历史告警251
8.2.6 清除告警251
第9章 权限与版本管理252
9.1 权限概述252
9.1.1 功能权限252
9.1.2 对象权限253
9.2 角色255
9.3 用户256
9.3.1 用户概述256
9.3.2 启用/禁用用户257
9.3.3 重置密码257
9.4 版本管理258
9.4.1 备份当前版本258
9.4.2 自动备份258
9.4.3 手动备份259
9.4.4 查看历史版本259
9.4.5 清除历史版本260
9.4.6 还原删除对象261
高 级 篇
0章 增量数据抽取264
10.1 增量数据抽取原理264
10.1.1 增量数据抽取方式264
10.1.2 DMETL增量数据表267
10.2 增量数据同步设计269
10.2.1 添加增量数据集269
10.2.2 配置增量表数据抽取270
10.2.3 配置增量表数据装载271
10.2.4 配置“ 同步时同步基表数据”与“设为 同步”271
10.3 增量数据同步和增量方式配置示例274
10.3.1 触发器方式同步示例274
10.3.2 其他增量方式配置示例278
1章 达梦数据交换集群283
11.1 集群概述283
11.1.1 体系结构283
11.1.2 集群特性284
11.2 集群安装配置与管理287
11.2.1 集群安装287
11.2.2 集群主从节点配置287
11.2.3 集群管理291
11.3 转换和作业集群配置293
11.3.1 转换流程消息顺序293
11.3.2 转换组件集群配置294
11.3.3 作业组件集群配置295
11.3.4 组件对集群的支持296
2章 数据质量检测297
12.1 数据质量检测规则管理297
12.1.1 数据质量规则297
12.1.2 数据质量视图298
12.2 数据质量检测配置299
12.3 数据质量检测统计304
3章 Web监控与数据总线309
13.1 Web监控309
13.1.1 Web监控安装309
13.1.2 Web监控配置309
13.1.3 Web监控功能311
13.2 数据总线319
13.2.1 DMETL数据总线概述319
13.2.2 基于数据总线的数据交换320
4章 自定义转换和数据源开发329
14.1 自定义转换和数据源开发概述329
14.2 开发环境搭建330
14.2.1 开发环境要求330
14.2.2 开发条件准备331
14.3 自定义转换开发334
14.3.1 自定义转换开发目标334
14.3.2 自定义转换开发步骤335
14.3.3 自定义转换应用343
14.4 自定义数据源开发348
14.4.1 自定义数据源开发目标348
14.4.2 自定义数据源开发步骤348
14.4.3 使用自定义数据源352
5章 ETL接口编程354
15.1 DMETL API概述354
15.2 接口编程示例355
15.2.1 数据迁移编程示例355
15.2.2 数据操作查询编程示例359
15.2.3 调度操作编程示例362
15.2.4 查询语句修改编程示例363
附录A 系统函数365
A.1 数学函数365
A.2 字符串函数369
A.3 日期时间函数374
A.4 判断函数376
A.5 数据转换函数376
A.6 其他函数378
附录B 系统变量381
B.1 系统运行变量381
B.2 其他系统变量381
附录C 日期时间格式382
附录D 数字格式385