复杂数据质量控制技术 pdf下载

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。

全书分为6部分，共24章。第1部分概述(第1、2章)，综述所研究数据控制技术的基本概念和任务定位，以及国内外的研究进展； 第2部分实体分辨技术(第3~13章)，研究了高维数据实体分辨、名称分辨、XML数据实体分辨和跨模态数据实体分辨等； 第3部分真值发现技术(第14~18章)，研究了单真值发现、多真值发现、文本数据真值发现，以及基于多蚁群优化和基于深度神经网络的真值发现等； 第4部分基于数据依赖的数据质量控制技术(第19~21章)，研究了数据录入辅助预测与推理方法、不一致数据检测与修复方法，以及有限先验知识下的全局数据质量评估； 第5部分系统与平台(第22、23章)，介绍了数据质量控制系统，以及数据治理平台的设计与实现； 第6部分结束语(第24章)，归纳总结了当前面临的风险和挑战。

本书务实求新，系统性强，易读性和可操作性好，既可作为数据质量控制与数据治理领域的进阶用书，又可作为数据资源建设与利用、信息技术等相关学科领域的教学参考或工程实践指导用书。

第1部分概述

第1章绪论

1．1研究背景及意义

1．2基本概念和任务定位

1．2．1实体分辨

1．2．2高维数据实体分辨

1．2．3名称分辨

1．2．4XML数据实体分辨

1．2．5跨模态数据实体分辨

1．2．6冲突消解与真值发现

1．2．7不一致数据检测与修复

1．2．8数据录入辅助预测与修复

1．2．9数据质量评估

1．3本书内容结构安排

本章参考文献

第2章国内外研究进展

2．1引言

2．2高维数据实体分辨的研究进展

2.2.1实体分辨方法

2．2．2多目标蚁群算法

2．2．3特征选择稳定性

2.2.4不平衡数据分类方法

2．3名称分辨的研究进展

2．3．1机构名称分辨的研究现状

2．3．2姓名消歧的研究现状

2．4XML数据实体分辨的研究进展

2．4．1文本比较方法

2．4．2结构比较方法

2．5跨模态数据实体分辨的研究进展

2．5．1单模态表征

2．5．2相似性度量方法

2．5．3相似性匹配方法

2．6真值发现的研究进展

2．6．1结构化数据真值发现

2．6．2文本数据真值发现

2．6．3特殊场景下的真值发现

2．7不一致数据检测与修复的研究进展

2．7．1数据检测

2．7．2数据修复

2．8数据录入辅助预测与推理的研究进展

2．8．1数据预测模型

2．8．2智能人机接口

2．9全局数据质量评估的研究进展

本章小结

本章参考文献

第2部分实体分辨技术

第3章高维数据特征选择的多目标蚁群算法

3．1引言

3．2理论方法

3．2．1两档案设置

3．2．2等效路径信息素增强策略

3．2．3多样性度量指标

3．3算法描述

3．3．1路径选择概率公式

3．3．2变异机制

3．3．3两档案更新

3．3．4信息素更新方式

3．3．5算法伪代码及时间复杂度分析

3．4实验与分析

本章小结

本章参考文献

第4章高维数据特征选择稳定性研究

4．1引言

4．2特征选择稳定性指标分析

4．3特征选择稳定性集成方法分析

4．4演化算法特征选择稳定性提升方法

4．4．1系统描述

4．4．2基于多目标蚁群优化的稳定特征选择

4．5实验与分析

4．5．1EAFSSIS实验分析

4．5．2SFSMOACO实验分析

本章小结

本章参考文献

第5章高维数据实体分辨多分类器方法

5．1引言

5．2分类器度量

5．2．1分类器性能度量

5．2．2分类器相似性度量

5．3基于特征选择的多分类器方法

5．3．1系统模型设计

5．3．2方法实现

5．4实验与分析

5．4．1实验设置与对比方法

5．4．2实验验证与结果分析

本章小结

本章参考文献

第6章高维不平衡数据实体分辨集成学习方法

6．1引言

6．2不平衡数据分类度量指标

6．3遗传欠采样多目标蚁群优化特征选择

6．3．1方法框架

6．3．2V统计量

6．3．3遗传欠采样

6．3．4多目标蚁群算法特征选择

6．3．5特征预处理及算法伪代码描述

6．4实验与分析

6．4．1实验数据与评估指标

6．4．2遗传欠采样分析

6．4．3算法分析

6．5综合验证

6．5．1实验数据与评估指标

6．5．2实验与分析

本章小结

本章参考文献

第7章基于增强相似度数据空间转换的机构别名挖掘

7．1引言

7．2机构作者二部图构造

7．3作者集合间的增强相似度计算

7．4集合型数值型数据空间转换

7．5机构别名挖掘流程及算法

7．5．1机构别名挖掘流程

7．5．2机构别名挖掘算法描述

7．6实验验证

7．6．1实验数据

7．6．2实验方法

7．6．3评价指标

7．6．4实验结果

本章小结

本章参考文献

第8章基于多重集增强相似度数据空间转换的机构别名挖掘

8．1引言

8．2多重集的定义及运算法则

8．3机构作者加权二部图构造

8．4作者多重集间的增强相似度计算

8．5机构别名挖掘步骤及算法描述

8．5．1机构别名挖掘步骤

8．5．2机构别名挖掘算法描述

8．6实验验证

8．6．1实验数据

8．6．2实验方法

8．6．3实验结果

本章小结

本章参考文献

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。高维性、非结构性、多模态性等是大数据复杂性的具体表现，数据复杂性直接加剧了模型和算法的复杂性，进而导致技术的复杂性。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。

国防科技大学信息质量研究组(Information Quality Research Group，IQRG)成立于2008年，以结合我国信息环境特点系统开展数据质量控制与数据治理研究和实践为己任，随着相关工作推进至深水区，我们对国内数据资源建设现状及面临的真正挑战体会愈深。

2008年以来，信息质量研究组陆续出版了译著《数据质量工程实践》(2010年11月)、《信息质量》(2013年3月)和《数据质量改进实践指南》(2016年8月)，后两者得到了装备科技译著出版基金的资助。三本译著对国内普及数据质量理论与实践体系、提升数据质量认知发挥了积极作用。为了有计划地推出研究成果，立足我国信息环境特点，逐步构建数据治理与应用理论技术体系，2016年上半年，受国防工业出版社之邀，信息质量研究组启动了“大数据治理与应用丛书”的出版工作，译著《数据质量改进实践指南》是丛书的开卷，随后又出版了专著《数据质量导论》(2017年10月)、译著《数据与信息质量： 维度、原理和技术》(2022年8月)。

本书聚焦于复杂数据的质量控制技术，包括《数据质量导论》出版后信息质量研究组取得的主要研究进展，是丛书第4个成员。

本书分为6部分，共24章。本书除第1部分、第6部分外，其他各部分甚至各章支持读者按需选择阅读，使读者快速获取感兴趣的知识，以提升本书的使用效率。

本书由曹建军全面筹划，负责第1部分概述(第1、2章)、第6部分结束语(第24章)的撰写工作，并参与了其他各章的研究撰写； 在第2部分实体分辨技术(第3~13章)中，刘艺负责第3~6章的研究撰写，尚玉玲负责第7~9章的研究撰写，周星负责第10章的研究撰写，郑奇斌负责第11~13章的研究撰写； 在第3部分真值发现技术(第14~18章)中，冯钦负责第14、15章的研究撰写，常宸负责第16~18的研究撰写； 周金陵负责第4部分基于数据依赖的数据质量控制技术(第19~21章)的研究撰写； 第5部分系统与平台(第22、23章)由翁年凤负责研究撰写； 谭明超参加了第2章、第9章的研究撰写。聂子博、余旭、王孟大参加了部分材料收集整理的工作，盛艳萍负责了部分格式调整的工作。刁兴春对全书内容进行了审校。

本书出版得到了信息质量研究组瞿雷、汪挺、江春、袁震、严浩、丁鲲、蒋国权、王芳潇、张慧、许永平、彭琮、周晓磊、张骁雄、范强、刘茗、刘姗姗等其他成员的支持和帮助。

在本书内容的研究撰写过程中，广泛参考了国内外相关成果，并与多家兄弟科研团队及多位专家同仁进行了有益的长期交流研讨，在此一并致以诚挚的谢意。

受水平所限，书中难免有错误和不妥之处，恳请广大读者批评指正，并欢迎与作者直接交流。

作者2023年1月