基本信息

推荐序前言di1章 MySQL体系结构和存储引擎1.1 定义数据库和实例1.2 MySQL体系结构1.3 MySQL存储引擎1.3.1 InnoDB存储引擎1.3.2 MyISAM存储引擎1.3.3 NDB存储引擎1.3.4 Memory存储引擎1.3.5 Archive存储引擎1.3.6 Federated存储引擎1.3.7 Maria存储引擎1.3.8 其他存储引擎1.4 各存储引擎之间的比较1.5 连接MySQL1.5.1 TCP/IP1.5.2 命名管道和共享内存1.5.3 UNIX域套接字1.6 小结di2章 InnoDB存储引擎2.1 InnoDB存储引擎概述2.2 InnoDB存储引擎的版本2.3 InnoDB体系架构2.3.1 后台线程2.3.2 内存2.4 Checkpoint技术2.5 Master Thread工作方式2.5.1 InnoDB 1.0.x版本之前的Master Thread2.5.2 InnoDB1.2.x版本之前的Master Thread2.5.3 InnoDB1.2.x版本的Master Thread2.6 InnoDB关键特性2.6.1 插入缓冲2.6.2 两次写2.6.3 自适应哈希索引2.6.4 异步IO2.6.5 刷新邻接页2.7 启动、关闭与恢复2.8 小结di3章 文件3.1 参数文件3.1.1 什么是参数3.1.2 参数类型3.2 日志文件3.2.1 错误日志3.2.2 慢查询日志3.2.3 查询日志3.2.4 二进制日志3.3 套接字文件3.4 pid文件3.5 表结构定义文件3.6 InnoDB存储引擎文件3.6.1 表空间文件3.6.2 重做日志文件3.7 小结di4章 表4.1 索引组织表4.2 InnoDB逻辑存储结构4.2.1 表空间4.2.2 段4.2.3 区4.2.4 页4.2.5 行4.3 InnoDB行记录格式4.3.1 Compact行记录格式4.3.2 Redundant行记录格式4.3.3 行溢出数据4.3.4 Compressed和Dynamic行记录格式4.3.5 CHAR的行结构存储4.4 InnoDB数据页结构4.4.1 File Header4.4.2 Page Header4.4.3 Infimum和Supremum Records4.4.4 User Records和Free Space4.4.5 Page Directory4.4.6 File Trailer4.4.7 InnoDB数据页结构示例分析4.5 Named File Formats机制4.6 约束4.6.1 数据完整性4.6.2 约束的创建和查找4.6.3 约束和索引的区别4.6.4 对错误数据的约束4.6.5 ENUM和SET约束4.6.6 触发器与约束4.6.7 外键约束4.7 视图4.7.1 视图的作用4.7.2 物化视图4.8 分区表4.8.1 分区概述4.8.2 分区类型4.8.3 子分区4.8.4 分区中的NULL值4.8.5 分区和性能4.8.6 在表和分区间交换数据4.9 小结di5章 索引与算法5.1 InnoDB存储引擎索引概述5.2 数据结构与算法5.2.1 二分查找法5.2.2 二叉查找树和平衡二叉树5.3 B+树5.3.1 B+树的插入操作5.3.2 B+树的删除操作5.4 B+树索引5.4.1 聚集索引5.4.2 辅助索引5.4.3 B+树索引的分裂5.4.4 B+树索引的管理5.5 Cardinality值5.5.1 什么是Cardinality5.5.2 InnoDB存储引擎的Cardinality统计5.6 B+树索引的使用5.6.1 不同应用中B+树索引的使用5.6.2 联合索引5.6.3 覆盖索引5.6.4 优化器选择不使用索引的情况5.6.5 索引提示5.6.6 Multi-Range Read优化5.6.7 Index Condition Pushdown（ICP）优化5.7 哈希算法5.7.1 哈希表5.7.2 InnoDB存储引擎中的哈希算法5.7.3 自适应哈希索引5.8 全文检索5.8.1 概述5.8.2 倒排索引5.8.3 InnoDB全文检索5.8.4 全文检索5.9 小结di6章 锁6.1 什么是锁6.2 lock与latch6.3 InnoDB存储引擎中的锁6.3.1 锁的类型6.3.2 一致性非锁定读6.3.3 一致性锁定读6.3.4 自增长与锁6.3.5 外键和锁6.4 锁的算法6.4.1 行锁的3种算法6.4.2 解决Phantom Problem6.5 锁问题6.5.1 脏读6.5.2 不可重复读6.5.3 丢失更新6.6 阻塞6.7 死锁6.7.1 死锁的概念6.7.2 死锁概率6.7.3 死锁的示例6.8 锁升级6.9 小结di7章 事务7.1 认识事务7.1.1 概述7.1.2 分类7.2 事务的实现7.2.1 redo7.2.2 undo7.2.3 purge7.2.4 group commit7.3 事务控制语句7.4 隐式提交的SQL语句7.5 对于事务操作的统计7.6 事务的隔离级别7.7 分布式事务7.7.1 MySQL数据库分布式事务7.7.2 内部XA事务7.8 不好的事务习惯7.8.1 在循环中提交7.8.2 使用自动提交7.8.3 使用自动回滚7.9 长事务7.10 小结di8章 备份与恢复8.1 备份与恢复概述8.2 冷备8.3 逻辑备份8.3.1 mysqldump8.3.2 SELECT...INTO OUTFILE8.3.3 逻辑备份的恢复8.3.4 LOAD DATA INFILE8.3.5 mysqlimport8.4 二进制日志备份与恢复8.5 热备8.5.1 ibbackup8.5.2 XtraBackup8.5.3 XtraBackup实现增量备份8.6 快照备份8.7 复制8.7.1 复制的工作原理8.7.2 快照+复制的备份架构8.8 小结di9章 性能调优9.1 选择合适的CPU9.2 内存的重要性9.3 硬盘对数据库性能的影响9.3.1 传统机械硬盘9.3.2 固态硬盘9.4 合理地设置RAID9.4.1 RAID类型9.4.2 RAID Write Back功能9.4.3 RAID配置工具9.5 操作系统的选择9.6 不同的文件系统对数据库性能的影响9.7 选择合适的基准测试工具9.7.1 sysbench9.7.2 mysql-tpcc9.8 小结di10章 InnoDB存储引擎源代码的编译和调试10.1 获取InnoDB存储引擎源代码10.2 InnoDB源代码结构10.3 MySQL 5.1版本编译和调试InnoDB源代码10.3.1 Windows下的调试10.3.2 Linux下的调试10.4 cmake方式编译和调试InnoDB存储引擎10.5 小结

在线试读

为什么要写这本书 过去这些年我一直在和各种不同的数据库打交道，见证了MySQL从一个小型的关系型数据库发展为各大企业的核心数据库系统的过程，并且参与了一些大大小小的项目的开发工作，成功地帮助开发人员构建了可靠的、健壮的应用程序。在这个过程中积累了一些经验，正是这些不断累积的经验赋予了我灵感，于是有了这本书。这本书实际上反映了这些年来我做了哪些事情，其中汇集了很多同行每天可能都会遇到的一些问题，并给出了解决方案。 MySQL数据库独有的插件式存储引擎架构使其和其他任何数据库都不同。不同的存储引擎有着完全不同的功能，而InnoDB存储引擎的存在使得MySQL跃入了企业级数据库领域。本书完整地讲解了InnoDB存储引擎中*重要的一些内容，即InnoDB的体系结构和工作原理，并结合InnoDB的源代码讲解了它的内部实现机制。 本书不仅讲述了InnoDB存储引擎的诸多功能和特性，还阐述了如何正确地使用这些功能和特性，更重要的是，还尝试了教我们如何ThinkDifferent。ThinkDifferent是20世纪90年代苹果公司在其旷日持久的宣传活动中提出的一个口号，借此来重振公司的品牌，更重要的是，这个口号改变了人们对技术在日常生活中的作用的看法。需要注意的是，苹果的口号不是ThinkDifferently，是Think Different，Different在这里做名词，意味该思考些什么。 很多DBA和开发人员都相信某些“神话”，然而这些“神话”往往都是错误的。无论计算机技术发展的速度变得多快，数据库的使用变得多么简单，任何时候Why都比What重要。只有真正理解了内部实现原理、体系结构，才能更好地去使用。这正是人类正确思考问题的原则。因此，对于当前出现的技术，尽管学习其应用很重要，但更重要的是，应当正确地理解和使用这些技术。 关于本书，我的头脑里有很多个目标，但*重要的是想告诉大家如下几个简单的观点： ·不要相信任何的“神话”，学会自己思考； ·不要墨守成规，大部分人都知道的事情可能是错误的； ·不要相信网上的传言，去测试，根据自己的实践做出决定； ·花时间充分地思考，敢于提出质疑。 当前有关MySQL的书籍大部分都集中在教读者如何使用MySQL，例如SQL语句的使用、复制的搭建的、数据的切分等。没错，这对快速掌握和使用MySQL数据库非常有好处，但是真正的数据库工作者需要了解的不仅仅是应用，更多的是内部的具体实现。 MySQL数据库独有的插件式存储引擎使得想要在一本书内完整地讲解各个存储引擎变得十分困难，有的书可能偏重对MyISAM的介绍，有的可能偏重对InnoDB存储引擎的介绍。对于初级的DBA来说，这可能会使他们的理解变得更困难。对于大多数MySQLDBA和开发人员来说，他们往往更希望了解作为MySQL企业级数据库应用的*存储引擎的InnoDB，我想在本书中，他们完全可以找到他们希望了解的内容。 再强调一遍，任何时候Why都比What重要，本书从源代码的角度对InnoDB的存储引擎的整个体系架构的各个组成部分进行了系统的分析和讲解，剖析了InnoDB存储引擎的核心实现和工作机制，相信这在其他书中是很难找到的。 di1版与di2版的区别 本书是di2版，在写作中吸收了读者对上一版内容的许多意见和建议，同时对于*新MySQL5.6中许多关于InnoDB存储引擎的部分进行了详细的解析与介绍。希望通过这些改进，给读者一个从应用到设计再到实现的完整理解，弥补上一版中深度有余，内容层次不够丰富、分析手法单一等诸多不足。 较di1版而言，di2版的改动非常大，基本上重写了50%的内容。其主要体现在以下几个方面，希望读者能够在阅读中体会到。 ·本书增加了对*新MySQL 5.6中的InnoDB存储引擎特性的介绍。MySQL5.6版本是有史以来*的一次更新，InnoDB存储引擎更是添加了许多功能，如多线程清理线程、全文索引、在线索引添加、独立回滚段、非递归死锁检测、新的刷新算法、新的元数据表等。读者通过本书可以知道如何使用这些特性、新特性存在的局限性，并明白新功能与老版本InnoDB存储引擎之间实现的区别，从而在实际应用中充分利用这些特性。 ·根据读者的要求对于InnoDB存储引擎的redo日志和undo日志进行了详细的分析。读者应该能更好地理解InnoDB存储引擎事务的实现。在undo日志分析中，通过InnoSQL自带的元数据表，用户终于可对undo日志进行统计和分析，极大提高了DBA对于InnoDB存储引擎内部的认知。 ·对di6章进行大幅度的重写，读者可以更好地理解InnoDB存储引擎特有的next-keylocking算法，并且通过分析锁的实现来了解死锁可能产生的情况，以及InnoDB存储引擎内部是如何来避免死锁问题的产生的。 ·根据读者的反馈，对InnoDB存储引擎的insertbuffer模块实现进行了更为详细的介绍，读者可以了解其使用方法以及其内部的实现原理。此外还增加了对insertbuffer的升级版本功能——change buffer的介绍。 读者对象 本书不是一本面向应用的数据库类书籍，也不是一本参考手册，更不会教你如何在MySQL中使用SQL语句。本书面向那些使用MySQLInnoDB存储引擎作为数据库后端开发应用程序的开发者和有一定经验的MySQLDBA。书中的大部分例子都是用SQL语句来展示关键特性的，如果想通过本书来了解如何启动MySQL、如何配置Replication环境，可能并不能如愿。不过，在本书中，你将知道InnoDB存储引擎是如何工作的，它的关键特性的功能和作用是什么，以及如何正确配置和使用这些特性。 如果你想更好地使用InnoDB存储引擎，如果你想让你的数据库应用获得更好的性能，就请阅读本书。从某种程度上讲，技术经理或总监也要非常了解数据库，要知道数据库对于企业的重要性。如果技术经理或总监想安排员工参加MySQL数据库技术方面的培训，完全可以利用本书来“充电”，相信你一定不会失望的。 要想更好地学习本书的内容，要求具备以下条件： ·掌握SQL。 ·掌握基本的MySQL操作。 ·接触过一些高级语言，如C、C++、Python或Java。 ·对一些基本算法有所了解，因为本书会分析InnoDB存储引擎的部分源代码，如果你能看懂这些算法，这会对你的理解非常有帮助。 如何阅读本书 本书一共有10章，每一章都像一本“迷你书”，可以单独成册，也就说你完全可以从书中任何一章开始阅读。例如，要了解di10章中的InnoDB源代码编译和调试的知识，就不必先去阅读di3章有关文件的知识。当然，如果你不太确定自己是否已经对本书所涉及的内容完全掌握了，建议你系统性地阅读本书。 本书不是一本入门书籍，不会一步步引导你去如何操作。倘若你尚不了解InnoDB存储引擎，本书对你来说可能就显得沉重一些，建议你先查阅官方的API文档，大致掌握InnoDB的基础知识，然后再来学习本书，相信你会领略到不同的风景。 为了便于大家阅读，本书在提供源代码下载的同时也将源代码附在了书中，因此占去了一些篇幅，还请大家理解。 致谢 在编写本书的过程中，我得到了很多朋友的热心帮助。首先要感谢Pecona公司的CEO Peter Zaitsev和CTO VadimTkachenko，通过和他们的不断交流，使我对InnoDB存储引擎有了更进一步的了解，同时知道了怎样才能正确地将InnoDB存储引擎的补丁应用到生产环境。 其次，要感谢网易公司的各位同事们，能在才华横溢、充满创意的团队中工作我感到非常荣幸和兴奋。也因为在这个开放的工作环境中，我可以不断进行研究和创新。 此外，我还要感谢我的母亲，写本书不是一件容易的事，特别是这本书还想传达一些思想，在这个过程中我遇到了很多的困难，感谢她在这个过程中给予我的支持和鼓励。 *后，一份特别的感谢要送给本书的策划编辑杨福川和姜影，他们使得本书变得生动和更具有灵魂。此外还要感谢出版社的其他默默工作的同事们。 姜承尧

内容介绍

本书由国内资深MySQL专家亲自执笔，国内外多位数据库专家联袂推荐。作为国内*一本关于InnoDB的专著，本书的di1版广受好评，di2版不仅针对*新的MySQL5.6对相关内容进行了全面的补充，还根据广大读者的反馈意见对di1版中存在的不足进行了完善，全书大约重写了50％的内容。本书从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制，并给出了大量*佳实践，能帮助你系统而深入地掌握InnoDB，更重要的是，它能为你设计管理高性能、高可用的数据库系统提供juejia的指导。全书一共10章，首先宏观地介绍了MySQL的体系结构和各种常见的存储引擎以及它们之间的比较；接着以InnoDB的内部实现为切入点，逐一详细讲解了InnoDB存储引擎内部的各个功能模块的实现原理，包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份与恢复，以及InnoDB的性能调优等重要的知识；*后对InnoDB存储引擎源代码的编译和调试做了介绍，对大家阅读和理解InnoDB的源代码有重要的指导意义。本书适合所有希望构建和管理高性能、高可用性的MySQL数据库系统的开发者和DBA阅读。

作者介绍

姜承尧（DavidJiang），资深MySQL数据库专家，擅长于数据库的故障诊断、性能调优、容灾处理、高可用和高扩展研究，同时一直致力于MySQL数据库底层实现原理的研究和探索。此外，对高性能数据库和数据仓库也有深刻而独到的理解。曾为MySQL编写了许多开源工具和性能扩展补丁，如广受好评的InnoDB引擎二级缓存项目。现任网易杭州研究院技术经理一职，负责MySQL数据库的内核开发，参与设计与开发MySQL数据库在网易云环境中的应用。曾担任久游网数据库工程部经理，曾领导并参与了多个大型核心数据库的设计、实施、管理和维护，实战经验非常丰富。活跃于开源数据库以及开源软件领域，是著名开源社区ChinaUnixMySQL版块的版主，热衷于与网友分享自己的心得和体会，深受社区欢迎。 除本书外，他还撰写了《MySQL技术内幕：SQL编程》，是本书的姊妹篇，颇受好评。