MySQL技术内幕

　　《MySQL技术内幕：InnoDB存储引擎》由国内资深MySQL专家亲自执笔，国内外多位数据库专家联袂推荐。作为国内一本关于InnoDB的专著，本书的第1版广受好评，第2版不仅针对全新的MySQL 5.6对相关内容进行了全面的补充，还根据广大读者的反馈意见对第1版中存在的不足进行了完善，全书大约重写了50％的内容。本书从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制，并给出了大量实践，能帮助你系统而深入地掌握InnoDB，更重要的是，它能为你设计管理高性能、高可用的数据库系统提供专业的指导。
　　《MySQL技术内幕：InnoDB存储引擎》一共10章，首先宏观地介绍了MySQL的体系结构和各种常见的存储引擎以及它们之间的比较；接着以InnoDB的内部实现为切入点，逐一详细讲解了InnoDB存储引擎内部的各个功能模块的实现原理，包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份与恢复，以及InnoDB的性能调优等重要的知识；z后对InnoDB存储引擎源代码的编译和调试做了介绍，对大家阅读和理解InnoDB的源代码有重要的指导意义。
　　本书适合所有希望构建和管理高性能、高可用性的MySQL数据库系统的开发者和DBA阅读。

推荐序
前言
第1章　MySQL体系结构和存储引擎
1.1　定义数据库和实例
1.2　MySQL体系结构
1.3　MySQL存储引擎
1.3.1　InnoDB存储引擎
1.3.2　MyISAM存储引擎
1.3.3　NDB存储引擎
1.3.4　Memory存储引擎
1.3.5　Archive存储引擎
1.3.6　Federated存储引擎
1.3.7　Maria存储引擎
1.3.8　其他存储引擎
1.4　各存储引擎之间的比较
1.5　连接MySQL
1.5.1　TCP/IP
1.5.2　命名管道和共享内存
1.5.3　UNIX域套接字
1.6　小结
第2章　InnoDB存储引擎
2.1　InnoDB存储引擎概述
2.2　InnoDB存储引擎的版本
2.3　InnoDB体系架构
2.3.1　后台线程
2.3.2　内存
2.4　Checkpoint技术
2.5　Master Thread工作方式
2.5.1　InnoDB 1.0.x版本之前的Master Thread
2.5.2　InnoDB1.2.x版本之前的Master Thread
2.5.3　InnoDB1.2.x版本的Master Thread
2.6　InnoDB关键特性
2.6.1　插入缓冲
2.6.2　两次写
2.6.3　自适应哈希索引
2.6.4　异步IO
2.6.5　刷新邻接页
2.7　启动、关闭与恢复
2.8　小结
第3章　文件
3.1　参数文件
3.1.1　什么是参数
3.1.2　参数类型
3.2　日志文件
3.2.1　错误日志
3.2.2　慢查询日志
3.2.3　查询日志
3.2.4　二进制日志
3.3　套接字文件
3.4　pid文件
3.5　表结构定义文件
3.6　InnoDB存储引擎文件
3.6.1　表空间文件
3.6.2　重做日志文件
3.7　小结
第4章　表
4.1　索引组织表
4.2　InnoDB逻辑存储结构
4.2.1　表空间
4.2.2　段
4.2.3　区
4.2.4　页
4.2.5　行
4.3　InnoDB行记录格式
4.3.1　Compact行记录格式
4.3.2　Redundant行记录格式
4.3.3　行溢出数据
4.3.4　Compressed和Dynamic行记录格式
4.3.5　CHAR的行结构存储
4.4　InnoDB数据页结构
4.4.1　File Header
4.4.2　Page Header
4.4.3　Infimum和Supremum Records
4.4.4　User Records和Free Space
4.4.5　Page Directory
4.4.6　File Trailer
4.4.7　InnoDB数据页结构示例分析
4.5　Named File Formats机制
4.6　约束
4.6.1　数据完整性
4.6.2　约束的创建和查找
4.6.3　约束和索引的区别
4.6.4　对错误数据的约束
4.6.5　ENUM和SET约束
4.6.6　触发器与约束
4.6.7　外键约束
4.7　视图
4.7.1　视图的作用
4.7.2　物化视图
4.8　分区表
4.8.1　分区概述
4.8.2　分区类型
4.8.3　子分区
4.8.4　分区中的NULL值
4.8.5　分区和性能
4.8.6　在表和分区间交换数据
4.9　小结
第5章　索引与算法
5.1　InnoDB存储引擎索引概述
5.2　数据结构与算法
5.2.1　二分查找法
5.2.2　二叉查找树和平衡二叉树
5.3　B+树
5.3.1　B+树的插入操作
5.3.2　B+树的删除操作
5.4　B+树索引
5.4.1　聚集索引
5.4.2　辅助索引
5.4.3　B+树索引的分裂
5.4.4　B+树索引的管理
5.5　Cardinality值
5.5.1　什么是Cardinality
5.5.2　InnoDB存储引擎的Cardinality统计
5.6　B+树索引的使用
5.6.1　不同应用中B+树索引的使用
5.6.2　联合索引
5.6.3　覆盖索引
5.6.4　优化器选择不使用索引的情况
5.6.5　索引提示
5.6.6　Multi-Range Read优化
5.6.7　Index Condition Pushdown（ICP）优化
5.7　哈希算法
5.7.1　哈希表
5.7.2　InnoDB存储引擎中的哈希算法
5.7.3　自适应哈希索引
5.8　全文检索
5.8.1　概述
5.8.2　倒排索引
5.8.3　InnoDB全文检索
5.8.4　全文检索
5.9　小结
第6章　锁
6.1　什么是锁
6.2　lock与latch
6.3　InnoDB存储引擎中的锁
6.3.1　锁的类型
6.3.2　一致性非锁定读
6.3.3　一致性锁定读
6.3.4　自增长与锁
6.3.5　外键和锁
6.4　锁的算法
6.4.1　行锁的3种算法
6.4.2　解决Phantom Problem
6.5　锁问题
6.5.1　脏读
6.5.2　不可重复读
6.5.3　丢失更新
6.6　阻塞
6.7　死锁
6.7.1　死锁的概念
6.7.2　死锁概率
6.7.3　死锁的示例
6.8　锁升级
6.9　小结
第7章　事务
7.1　认识事务
7.1.1　概述
7.1.2　分类
7.2　事务的实现
7.2.1　redo
7.2.2　undo
7.2.3　purge
7.2.4　group commit
7.3　事务控制语句
7.4　隐式提交的SQL语句
7.5　对于事务操作的统计
7.6　事务的隔离级别
7.7　分布式事务
7.7.1　MySQL数据库分布式事务
7.7.2　内部XA事务
7.8　不好的事务习惯
7.8.1　在循环中提交
7.8.2　使用自动提交
7.8.3　使用自动回滚
7.9　长事务
7.10　小结
第8章　备份与恢复
8.1　备份与恢复概述
8.2　冷备
8.3　逻辑备份
8.3.1　mysqldump
8.3.2　SELECT...INTO OUTFILE
8.3.3　逻辑备份的恢复
8.3.4　LOAD DATA INFILE
8.3.5　mysqlimport
8.4　二进制日志备份与恢复
8.5　热备
8.5.1　ibbackup
8.5.2　XtraBackup
8.5.3　XtraBackup实现增量备份
8.6　快照备份
8.7　复制
8.7.1　复制的工作原理
8.7.2　快照+复制的备份架构
8.8　小结
第9章　性能调优
9.1　选择合适的CPU
9.2　内存的重要性
9.3　硬盘对数据库性能的影响
9.3.1　传统机械硬盘
9.3.2　固态硬盘
9.4　合理地设置RAID
9.4.1　RAID类型
9.4.2　RAID Write Back功能
9.4.3　RAID配置工具
9.5　操作系统的选择
9.6　不同的文件系统对数据库性能的影响
9.7　选择合适的基准测试工具
9.7.1　sysbench
9.7.2　mysql-tpcc
9.8　小结
第10章　InnoDB存储引擎源代码的编译和调试
10.1　获取InnoDB存储引擎源代码
10.2　InnoDB源代码结构
10.3　MySQL 5.1版本编译和调试InnoDB源代码
10.3.1　Windows下的调试
10.3.2　Linux下的调试
10.4　cmake方式编译和调试InnoDB存储引擎
10.5　小结

　　为什么要写这本书
　　过去这些年我一直在和各种不同的数据库打交道，见证了MySQL从一个小型的关系型数据库发展为各大企业的核心数据库系统的过程，并且参与了一些大大小小的项目的开发工作，成功地帮助开发人员构建了可靠的、健壮的应用程序。在这个过程中积累了一些经验，正是这些不断累积的经验赋予了我灵感，于是有了这本书。这本书实际上反映了这些年来我做了哪些事情，其中汇集了很多同行每天可能都会遇到的一些问题，并给出了解决方案。
　　MySQL数据库独有的插件式存储引擎架构使其和其他任何数据库都不同。不同的存储引擎有着完全不同的功能，而InnoDB存储引擎的存在使得MySQL跃入了企业级数据库领域。本书完整地讲解了InnoDB存储引擎中z重要的一些内容，即InnoDB的体系结构和工作原理，并结合InnoDB的源代码讲解了它的内部实现机制。
　　本书不仅讲述了InnoDB存储引擎的诸多功能和特性，还阐述了如何正确地使用这些功能和特性，更重要的是，还尝试了教我们如何Think Different。Think Different是20世纪90年代苹果公司在其旷日持久的宣传活动中提出的一个口号，借此来重振公司的品牌，更重要的是，这个口号改变了人们对技术在日常生活中的作用的看法。需要注意的是，苹果的口号不是Think Differently，是Think Different，Different在这里做名词，意味该思考些什么。
　　很多DBA和开发人员都相信某些“神话”，然而这些“神话”往往都是错误的。无论计算机技术发展的速度变得多快，数据库的使用变得多么简单，任何时候Why都比What重要。只有真正理解了内部实现原理、体系结构，才能更好地去使用。这正是人类正确思考问题的原则。因此，对于当前出现的技术，尽管学习其应用很重要，但更重要的是，应当正确地理解和使用这些技术。
　　关于本书，我的头脑里有很多个目标，但z重要的是想告诉大家如下几个简单的观点：
　　·不要相信任何的“神话”，学会自己思考；
　　·不要墨守成规，大部分人都知道的事情可能是错误的；
　　·不要相信网上的传言，去测试，根据自己的实践做出决定；
　　·花时间充分地思考，敢于提出质疑。
　　当前有关MySQL的书籍大部分都集中在教读者如何使用MySQL，例如SQL语句的使用、复制的搭建的、数据的切分等。没错，这对快速掌握和使用MySQL数据库非常有好处，但是真正的数据库工作者需要了解的不仅仅是应用，更多的是内部的具体实现。
　　MySQL数据库独有的插件式存储引擎使得想要在一本书内完整地讲解各个存储引擎变得十分困难，有的书可能偏重对MyISAM的介绍，有的可能偏重对InnoDB存储引擎的介绍。对于初级的DBA来说，这可能会使他们的理解变得更困难。对于大多数MySQL DBA和开发人员来说，他们往往更希望了解作为MySQL企业级数据库应用的di一存储引擎的InnoDB，我想在本书中，他们完全可以找到他们希望了解的内容。
　　再强调一遍，任何时候Why都比What重要，本书从源代码的角度对InnoDB的存储引擎的整个体系架构的各个组成部分进行了系统的分析和讲解，剖析了InnoDB存储引擎的核心实现和工作机制，相信这在其他书中是很难找到的。
　　第1版与第2版的区别
　　本书是第2版，在写作中吸收了读者对上一版内容的许多意见和建议，同时对于z新MySQL 5.6中许多关于InnoDB存储引擎的部分进行了详细的解析与介绍。希望通过这些改进，给读者一个从应用到设计再到实现的完整理解，弥补上一版中深度有余，内容层次不够丰富、分析手法单一等诸多不足。
　　较第1版而言，第2版的改动非常大，基本上重写了50%的内容。其主要体现在以下几个方面，希望读者能够在阅读中体会到。
　　·本书增加了对z新MySQL 5.6中的InnoDB存储引擎特性的介绍。MySQL 5.6版本是有史以来z大的一次更新，InnoDB存储引擎更是添加了许多功能，如多线程清理线程、全文索引、在线索引添加、独立回滚段、非递归死锁检测、新的刷新算法、新的元数据表等。读者通过本书可以知道如何使用这些特性、新特性存在的局限性，并明白新功能与老版本InnoDB存储引擎之间实现的区别，从而在实际应用中充分利用这些特性。
　　·根据读者的要求对于InnoDB存储引擎的redo日志和undo日志进行了详细的分析。读者应该能更好地理解InnoDB存储引擎事务的实现。在undo日志分析中，通过InnoSQL自带的元数据表，用户终于可对undo日志进行统计和分析，极大提高了DBA对于InnoDB存储引擎内部的认知。
　　·对第6章进行大幅度的重写，读者可以更好地理解InnoDB存储引擎特有的next-key locking算法，并且通过分析锁的实现来了解死锁可能产生的情况，以及InnoDB存储引擎内部是如何来避免死锁问题的产生的。
　　·根据读者的反馈，对InnoDB存储引擎的insert buffer模块实现进行了更为详细的介绍，读者可以了解其使用方法以及其内部的实现原理。此外还增加了对insert buffer的升级版本功能——change buffer的介绍。
　　读者对象
　　本书不是一本面向应用的数据库类书籍，也不是一本参考手册，更不会教你如何在MySQL中使用SQL语句。本书面向那些使用MySQL InnoDB存储引擎作为数据库后端开发应用程序的开发者和有一定经验的MySQL DBA。书中的大部分例子都是用SQL语句来展示关键特性的，如果想通过本书来了解如何启动MySQL、如何配置Replication环境，可能并不能如愿。不过，在本书中，你将知道InnoDB存储引擎是如何工作的，它的关键特性的功能和作用是什么，以及如何正确配置和使用这些特性。
　　如果你想更好地使用InnoDB存储引擎，如果你想让你的数据库应用获得更好的性能，就请阅读本书。从某种程度上讲，技术经理或总监也要非常了解数据库，要知道数据库对于企业的重要性。如果技术经理或总监想安排员工参加MySQL数据库技术方面的培训，完全可以利用本书来“充电”，相信你一定不会失望的。
　　要想更好地学习本书的内容，要求具备以下条件：
　　·掌握SQL。
　　·掌握基本的MySQL操作。
　　·接触过一些高级语言，如C、C++、Python或Java。
　　·对一些基本算法有所了解，因为本书会分析InnoDB存储引擎的部分源代码，如果你能看懂这些算法，这会对你的理解非常有帮助。
　　如何阅读本书
　　本书一共有10章，每一章都像一本“迷你书”，可以单独成册，也就说你完全可以从书中任何一章开始阅读。例如，要了解第10章中的InnoDB源代码编译和调试的知识，就不必先去阅读第3章有关文件的知识。当然，如果你不太确定自己是否已经对本书所涉及的内容完全掌握了，建议你系统性地阅读本书。
　　本书不是一本入门书籍，不会一步步引导你去如何操作。倘若你尚不了解InnoDB存储引擎，本书对你来说可能就显得沉重一些，建议你先查阅官方的API文档，大致掌握InnoDB的基础知识，然后再来学习本书，相信你会领略到不同的风景。
　　为了便于大家阅读，本书在提供源代码下载的同时也将源代码附在了书中，因此占去了一些篇幅，还请大家理解。
　　致谢
　　在编写本书的过程中，我得到了很多朋友的热心帮助。首先要感谢Pecona公司的CEO Peter Zaitsev和CTO Vadim Tkachenko，通过和他们的不断交流，使我对InnoDB存储引擎有了更进一步的了解，同时知道了怎样才能正确地将InnoDB存储引擎的补丁应用到生产环境。
　　其次，要感谢网易公司的各位同事们，能在才华横溢、充满创意的团队中工作我感到非常荣幸和兴奋。也因为在这个开放的工作环境中，我可以不断进行研究和创新。
　　此外，我还要感谢我的母亲，写本书不是一件容易的事，特别是这本书还想传达一些思想，在这个过程中我遇到了很多的困难，感谢她在这个过程中给予我的支持和鼓励。
　　z后，一份特别的感谢要送给本书的策划编辑杨福川和姜影，他们使得本书变得生动和更具有灵魂。此外还要感谢出版社的其他默默工作的同事们。
　　姜承尧