适读人群 ：供高等院校的师生，数据存储架构师、咨询顾问，以及企业内部相关的业务人员阅读
本书的理论及学术水平较高。区别于一般已出版的大数据图书，本书的特色是深入分析大数据存储理论和关键技术，向读者展示如何结合中国计算机当前产业特点，开展与大数据存储系统相关的自主创新性研制工作，为高校师生和从事大数据技术开发的工程人员提供理论指导和实务操作指南。

　　《国之重器出版工程 大数据存储技术》由浅入深，层层深入，从基本原理着手，逐步过渡到大数据存储的新技术的发展。
　　《国之重器出版工程 大数据存储技术》以扎实的理论分析为基础，系统、深入地介绍了分布式文件系统和分布式键值存储的基本原理及其关键问题与解决手段、大数据存储系统的关联技术与进展，包括基于群组的网络文件共享、存储系统的容灾、重复数据删除技术和大数据纠删码存储技术。对大数据存储技术的研究和应用有积极的促进作用。
　　《国之重器出版工程 大数据存储技术》的读者对象主要为高等院校的学者和研究生，数据存储架构师、咨询顾问，以及企业内部的相关业务人员。

陈康
清华大学计算机系研究员，主要从事分布式系统、存储系统、大数据系统方面的研究工作。发表学术论文50余篇，曾获得国家技术发明奖二等奖、中国电子学会科学技术奖科技进步特等奖和一等奖、中创软件人才奖等奖项。
武永卫
清华大学计算机系教授，主要从事并行与分布式系统方面的研究工作。发表学术论文100余篇，入选国家“万人计划”科技创新领军人才，曾获得国家科学技术进步奖二等奖、国家技术发明奖二等奖、中国电子学会科学技术奖科技进步特等奖和一等奖等奖项。
余宏亮
清华大学计算机系副研究员，主要从事并行系统、分布式系统、存储系统方面的研究工作。发表学术论文40余篇，曾获得国家科学技术进步奖二等奖、国家技术发明奖二等奖、中国电子学会科学技术奖技术发明一等奖、高等学校科学研究优秀成果奖科学技术进步奖一等奖等奖项。
张广艳
清华大学计算机系长聘副教授、博士生导师，主要从事大数据存储与分析的理论和方法研究，包括大数据计算、存储系统与分布式处理等方面。研究得到包括国家杰出青年科学基金、国家重点研发计划、973计划和863计划等多项国家科研项目的支持。发表学术论文40余篇，近5年以第一发明人获得美国发明专利授权1项、中国发明专利授权7项。

　　★大数据因其价值巨大而被誉为当今世界的“新石油”，保存这些新石油离不开大数据存储系统。大数据的产生过程、形态特征和分析模式对存储系统的容量、速度、可靠性、可扩展性和成本等提出了更高要求，使得围绕大数据存储的学术研究和工程实践都充满了技术挑战。本书作者均为在大数据存储研究一线工作的优秀学者，他们从系统的视角出发，阐述了大数据存储的技术原理和科研进展，相信对从事大数据系统构建与应用的学者和从业人员会有所帮助。
　　——清华大学教授，中国工程院院士郑纬民

第 1章 绪论 001
1．1 大数据存储系统简介 002
1．2 大数据存储的基本形式 003
1．3 大数据存储的关键技术 006
1．4 本书的组织 008
第 2章 分布式文件系统 011
2．1 文件系统的结构与扩展 012
2．1．1 文件系统的名字空间与数据读写 012
2．1．2 文件系统的扩展方式 016
2．2 分布式文件系统的结构 021
2．2．1 分布式文件系统的运行环境与特性保证 021
2．2．2 典型的单一名字空间的分布式文件系统 027
2．3 分布式文件系统的关键技术讨论 030
2．3．1 关于性能的讨论 030
2．3．2 关于可靠性方面的讨论 033
2．3．3 关于一致性方面的讨论 038
2．3．4 其他特性讨论 042
2．4 本章小结 046
参考文献 047
第3章 分布式键值对存储 049
3．1 键值对存储概述 050
3．2 分布式键值对存储的实现 055
3．3 通过查找表存储有序的键值对 061
3．4 本章小结 067
参考文献 067
第4章 面向社区共享的网络文件共享系统 069
4．1 面向社区共享的用户管理模型 071
4．2 社区共享对多根多版本文件系统的需求 079
4．3 多根多版本文件系统的元数据管理 081
4．4 多根多版本文件系统的优化方法 086
4．5 MeePo的设计与实现 091
4．6 实验与评价 099
4．7 本章小结 103
参考文献 104
第5章 存储容灾系统 105
5．1 容灾系统简介 106
5．2 存储容灾系统的技术体系与现状 107
5．3 容灾系统的标准建设 113
5．4 国内的存储容灾系统建设 114
5．5 并行化高效容灾备份与恢复系统 121
5．5．1 系统结构与设计 121
5．5．2 基于系统虚拟化的一致检查点技术 123
5．5．3 基于IPG的一致检查点 129
5．5．4 基于即插即用设备的OS透明转换机制 132
5．5．5 并行恢复中竞争的处理机制 132
5．5．6 并行恢复中的页缓冲管理方法 133
5．5．7 系统实现 134
5．5．8 实际系统的恢复测试实验结果 135
5．6 异地应用层容灾系统 139
5．6．1 异地应用层容灾的运行环境 139
5．6．2 应用层虚拟化 141
5．6．3 应用层容灾的系统总体结构 143
5．6．4 应用层容灾虚拟化容器的系统实现 147
5．6．5 应用层容灾中数据同步与恢复的实现 160
5．6．6 应用层容灾系统的实际效果评测 166
5．7 本章小结 171
参考文献 171
第6章 大数据存储系统的删冗 175
6．1 大数据存储删冗技术简介 176
6．1．1 删冗的一般流程 177
6．1．2 二级存储删冗挑战 179
6．1．3 删冗系统的分类和现状 180
6．1．4 现有的相关存储数据删冗系统与技术 184
6．2 重复数据删除技术在云存储系统中的应用与优化 192
6．2．1 AegeanStore的设计与实现 192
6．2．2 文件系统服务的设计与实现 201
6．2．3 AegeanStore中重复数据删除技术的优化 206
6．2．4 AegeanStore的效果测试与评价 215
6．3 高效主存储内嵌删冗系统的设计与实现 218
6．3．1 主存储删冗存在的挑战 219
6．3．2 现有的主内存删冗方案 221
6．3．3 主存储内嵌删冗系统PDFS的技术选择分析 224
6．3．4 主存储内嵌删冗系统PDFS的设计与实现 235
6．3．5 实验与评价 244
6．4 本章小结 255
参考文献 256
第7章 大数据存储纠删码技术与优化 259
7．1 大数据存储的纠删码技术 260
7．2 纠删码相关技术与工作 261
7．2．1 纠删码技术简介 261
7．2．2 RS编码相关工作 263
7．2．3 HDFS 268
7．3 高效纠删码编码方法CaCo 272
7．3．1 准备柯西矩阵 273
7．3．2 求调度 275
7．3．3 选择优化调度方案 276
7．4 高效纠删码编码方法的应用 277
7．4．1 原型实现 277
7．4．2 本地编码中的应用 279
7．4．3 云存储系统中的应用 280
7．5 高效纠删码编码方法的性能评价 282
7．5．1 选择框架实验测试 282
7．5．2 数据编码性能测试 286
7．6 本章小结 290
参考文献 290

　　大数据存储是为保存、管理和检索海量数据而专门设计的基础存储设施。计算机系统结构正在从以计算为中心向以数据为中心发展。这种发展趋势对存储系统在容量、性能、可用性、扩展性和成本等方面都提出了更高要求。本书主要讨论大数据存储系统的关键技术以及相关研究进展。本书的内容组织首先从基本原理着手，并逐步过渡到大数据存储的新技术的发展。本书的基本原理部分对分布式文件系统和分布式键值存储展开讨论，介绍其中的关键问题与解决手段。在读者对大数据存储知识有了初步了解之后，本书余下的部分将介绍大数据存储系统的关联技术与进展，包括基于群组的网络文件共享、存储系统的容灾、重复数据删除技术和大数据存储纠删码技术。
　　在阅读本书之前，读者应当了解计算机系统方面的基础知识，包括常用的数据结构、文件系统、网络基础知识等。