深入理解Nginx：模块开发与架构解析（第2版）

　　书中首先通过介绍官方Nginx的基本用法和配置规则，帮助读者了解一般Nginx模块的用法，然后重点介绍了如何开发HTTP模块（含HTTP过滤模块）来得到定制化的Nginx，其中包括开发一个功能复杂的模块所需要了解的各种知识，并对内存池的实现细节及TCP协议进行了详细介绍；接着，综合Nginx框架代码分析了Nginx架构的设计理念和技巧，此外，还新增了如何在模块中支持HTTP变量，以及与slab共享内存等相关的内容，相信通过完善，可进一步帮助读者更好地开发出功能丰富、性能一流的Nginx模块。

　　本书致力于说明开发Nginx模块的必备知识，第1版发行以后，深受广大读者的喜爱。然而由于Nginx功能繁多且性能强大，以致必须了解的基本技能也很庞杂，而第1版成书匆忙，缺失了几个进阶的技巧描述，因此第2版在此基础上进行了完善。书中首先通过介绍官方Nginx的基本用法和配置规则，帮助读者了解一般Nginx模块的用法，然后重点介绍了如何开发HTTP模块（含HTTP过滤模块）来得到定制化的Nginx，其中包括开发一个功能复杂的模块所需要了解的各种知识，并对内存池的实现细节及TCP协议进行了详细介绍；接着，综合Nginx框架代码分析了Nginx架构的设计理念和技巧，此外，还新增了如何在模块中支持HTTP变量，以及与slab共享内存等相关的内容，相信通过完善，可进一步帮助读者更好地开发出功能丰富、性能一流的Nginx模块。

　　本书包括四大部分：Nginx能帮我做什么；如何编写一个定制的httpmodule；深入Nginx；实战。第一部分针对初级读者，介绍Nginx关于获取编译运行的基本知识。第二部分针对中级读者，以一个例子为主线，告诉读者如何开发一个http模块，这部分读者不需要深入了解Nginx的细节，只需要知道如何实现一个基本的http模块。第三部分针对高级读者，这是本书的重点，彻底解析Nginx架构，深入探讨Nginx各种设计的目的与意义，并对第二部分使用到的一些特性进行代码设计实现上的探索。读者读完本部分，会对整个Nginx架构有清晰的认识，可以编写各种模块（不局限于http模块）插入到Nginx中，从而定制自己的Nginx。第四部分针对中高级读者，以Tengine的开源模块为例，帮助读者从实战角度理解第二、三部分描述的内容。

　　陶辉，毕业于西安交通大学计算机科学与技术专业，曾就职于华为中央软件部、腾讯QQ空间、思科中国CRDC等公司，目前在阿里巴巴云计算公司的飞天团队工作，研究方向为介于Iaas和Paas间的弹性计算，多年以来专注于Nginx的定制化应用，对Nginx的设计与特性有深刻认识，实战经验丰富，编写过许多优秀的Nginx模块并应用于企业级产品中，同时撰写了大量关于Nginx的技术文章。擅长Linux下高性能服务器的开发，以及分布式环境下海量数据存储的设计开发。

　　Nginx一直是高性能服务器的工程典范，它充分利用了操作系统和硬件提供的特性，涉及的知识面非常多，要领略到真正的风景需要艰难的跋涉，本书是很好的向导，一路陪伴着，适时地告诉你哪里是风景，哪里是坑，让你快乐地走完旅程。

　　——阿里云飞天事业部研究员　褚霸
　　
　　

　　Nginx自面世以来，就以高性能的Web服务器著称，然而由于功能强大，插件结构比较复杂，也使众多初学者很难快速入门。为了让广大读者了解Nginx的全貌并迅速投入相关的开发和运维工作中，本书作者通过图文并茂的方式由浅入深地向读者揭开了Nginx的面纱，先从Nginx服务器的配置入手，再到开发简单的HTTP Server，最后介绍Nginx的内存分配原理，既剖析了Nginx，又对如何进行高性能服务器编程进行了很好地阐述，相信对各个层次的读者都有很大的帮助，感谢陶辉！

　　——阿里巴巴集团核心系统部资深专家 伯瑜
　　
　　

　　Nginx作为一款面向性能设计的HTTP服务器，不但在稳定性和性能方面相当出众，而且它模块化的设计让其具有异常灵活的扩展性。本书的作者，通过大量的示例和经验，介绍了Nginx的设计思路和相关编程技巧，以及如何开发Nginx模块。看完这本书，你不但能对Nginx有一个全面了解，更重要的是可以学到Nginx的设计思路和理念，这对于任何一个想在软件设计上有所提高的程序员来说都是非常有价值的。

　　——酷壳网站站长 陈皓

前　言

第一部分　Nginx能帮我们做什么

第1章　研究Nginx前的准备工作 2

1.1　Nginx是什么 2

1.2　为什么选择Nginx 5

1.3　准备工作 7

1.3.1　Linux操作系统 7

1.3.2　使用Nginx的必备软件 7

1.3.3　磁盘目录 8

1.3.4　Linux内核参数的优化 9

1.3.5　获取Nginx源码 10

1.4　编译安装Nginx 11

1.5　conf?igure详解 11

1.5.1　conf?igure的命令参数 11

1.5.2　conf?igure执行流程 18

1.5.3　conf?igure生成的文件 21

1.6　Nginx的命令行控制 23

1.7　小结 27

第2章　Nginx的配置 28

2.1　运行中的Nginx进程间的关系 28

2.2　Nginx配置的通用语法 31

2.2.1　块配置项 31

2.2.2　配置项的语法格式 32

2.2.3　配置项的注释 33

2.2.4　配置项的单位 33

2.2.5　在配置中使用变量 33

2.3　Nginx服务的基本配置 34

2.3.1　用于调试进程和定位问题的配置项 34

2.3.2　正常运行的配置项 36

2.3.3　优化性能的配置项 37

2.3.4　事件类配置项 39

2.4　用HTTP核心模块配置一个静态Web服务器 40

2.4.1　虚拟主机与请求的分发 41

2.4.2　文件路径的定义 45

2.4.3　内存及磁盘资源的分配 47

2.4.4　网络连接的设置 49

2.4.5　MIME类型的设置 52

2.4.6　对客户端请求的限制 53

2.4.7　文件操作的优化 54

2.4.8　对客户端请求的特殊处理 56

2.4.9　ngx_http_core_module模块提供的变量 57

2.5　用HTTP proxy module配置一个反向代理服务器 59

2.5.1　负载均衡的基本配置 61

2.5.2　反向代理的基本配置 63

2.6　小结 66

第二部分　如何编写HTTP模块

第3章　开发一个简单的HTTP模块 68

3.1　如何调用HTTP模块 68

3.2　准备工作 70

3.2.1　整型的封装 71

3.2.2　ngx_str_t数据结构 71

3.2.3　ngx_list_t数据结构 71

3.2.4　ngx_table_elt_t数据结构 75

3.2.5　ngx_buf_t数据结构 75

3.2.6　ngx_chain_t数据结构 77

3.3　如何将自己的HTTP模块编译进Nginx 77

3.3.1　conf?ig文件的写法 77

3.3.2　利用conf?igure脚本将定制的模块加入到Nginx中 78

3.3.3　直接修改Makef?ile文件 81

3.4　HTTP模块的数据结构 82

3.5　定义自己的HTTP模块 86

3.6　处理用户请求 89

3.6.1　处理方法的返回值 89

3.6.2　获取URI和参数 92

3.6.3　获取HTTP头部 94

3.6.4　获取HTTP包体 97

3.7　发送响应 99

3.7.1　发送HTTP头部 99

3.7.2　将内存中的字符串作为包体发送 101

3.7.3　经典的“Hello World”示例 102

3.8　将磁盘文件作为包体发送 103

3.8.1　如何发送磁盘中的文件 104

3.8.2　清理文件句柄 106

3.8.3　支持用户多线程下载和断点续传 107

3.9　用C++语言编写HTTP模块 108

3.9.1　编译方式的修改 108

3.9.2　程序中的符号转换 109

3.10　小结 110

第4章　配置、error日志和请求上下文 111

4.1　http配置项的使用场景 111

4.2　怎样使用http配置 113

4.2.1　分配用于保存配置参数的数据结构 113

4.2.2　设定配置项的解析方式 115

4.2.3　使用14种预设方法解析配置项 121

4.2.4　自定义配置项处理方法 131

4.2.5　合并配置项 133

4.3　HTTP配置模型 135

4.3.1　解析HTTP配置的流程 136

4.3.2　HTTP配置模型的内存布局 139

4.3.3　如何合并配置项 142

4.3.4　预设配置项处理方法的工作原理 144

4.4　error日志的用法 145

4.5　请求的上下文 149

4.5.1　上下文与全异步Web服务器的关系 149

4.5.2　如何使用HTTP上下文 151

4.5.3　HTTP框架如何维护上下文结构 152

4.6　小结 153

第5章　访问第三方服务 154

5.1　upstream的使用方式 155

5.1.1　ngx_http_upstream_t结构体 158

5.1.2　设置upstream的限制性参数 159

5.1.3　设置需要访问的第三方服务器地址 160

5.1.4　设置回调方法 161

5.1.5　如何启动upstream机制 161

5.2　回调方法的执行场景 162

5.2.1　create_request回调方法 162

5.2.2　reinit_request回调方法 164

5.2.3　f?inalize_request回调方法 165

……

　　Nginx一直是高性能服务器的工程典范，它充分利用了操作系统和硬件提供的特性，涉及的知识面非常多，要领略到真正的风景需要艰难的跋涉，本书是很好的向导，一路陪伴着，适时地告诉你哪里是风景，哪里是坑，让你快乐地走完旅程。

　　——阿里云飞天事业部研究员　褚霸

　　Nginx自面世以来，就以高性能的Web服务器著称，然而由于功能强大，插件结构比较复杂，也使众多初学者很难快速入门。为了让广大读者了解Nginx的全貌并迅速投入相关的开发和运维工作中，本书作者通过图文并茂的方式由浅入深地向读者揭开了Nginx的面纱，先从Nginx服务器的配置入手，再到开发简单的HTTP Server，最后介绍Nginx的内存分配原理，既剖析了Nginx，又对如何进行高性能服务器编程进行了很好地阐述，相信对各个层次的读者都有很大的帮助，感谢陶辉！

　　——阿里巴巴集团核心系统部资深专家 伯瑜

　　Nginx作为一款面向性能设计的HTTP服务器，不但在稳定性和性能方面相当出众，而且它模块化的设计让其具有异常灵活的扩展性。本书的作者，通过大量的示例和经验，介绍了Nginx的设计思路和相关编程技巧，以及如何开发Nginx模块。看完这本书，你不但能对Nginx有一个全面了解，更重要的是可以学到Nginx的设计思路和理念，这对于任何一个想在软件设计上有所提高的程序员来说都是非常有价值的。

　　——酷壳网站站长 陈皓

　　为什么要写这本书自第1版发行以来，笔者很欣慰得到了广大读者的认可。本书一直致力于说明开发Nginx模块的必备知识，然而由于Nginx功能繁多且性能强大，以致必须要了解的基本技能也很庞杂，而第1版成书匆忙，缺失了几个进阶的技巧描述（例如如何使用变量、slab共享内存等），因此决定在第1版的基础上进一步完善。

　　事实上，我们总能在nginx.conf配置文件中看到各种带着$符号的变量，只要修改带着变量的这一行行配置，就可以不用编译、部署而使得Nginx具备新功能，这些支持变量的Nginx模块提供了极为灵活的功能，第2版通过新增的第15章详细介绍了如何在模块中支持HTTP变量，包括如何在代码中使用其他Nginx模块提供的变量，以及如何定义新的变量供nginx.conf和其他第三方模块使用等。第16章介绍了slab共享内存，这是一套适用于小块内存快速分配释放的内存管理方式，它非常高效，分配与释放速度都是以纳秒计算的，常用于多个worker进程之间的通信，这比第14章介绍的原始的共享内存通信方式要先进很多。第16章不仅详细介绍了它的实现方式，也探讨了它的优缺点，比如，如果模块间要共享的单个对象常常要消耗数KB的空间，这时就需要修改它的实现（例如增大定义的slab页大小），以避免内存的浪费等。

　　Nginx内存池在第1版中只是简单带过，第2版中新增了8.7节介绍了内存池的实现细节，以帮助读者用好最基础的内存池功能。

　　此外，很多读者反馈需要结合TCP来谈谈Nginx，因此在9.10节中笔者试图在不陷入Linux内核细节的情况下，简要介绍了TCP以清晰了解Nginx的事件框架，了解Nginx的高并发能力。

　　这一版新增的第15章的样例代码可以从http://nginx.taohui.org.cn站点上下载。

　　因笔者工作繁忙，以致第2版拖稿严重，读者的邮件也无法及时回复，非常抱歉。从这版开始会把曾经的回复整理后放在网站上，想必这比回复邮件要更有效率些。

　　读者对象本书适合以下读者阅读。

　　对Nginx及如何将它搭建成一个高性能的Web服务器感兴趣的读者。

　　希望通过开发特定的HTTP模块实现高性能Web服务器的读者。

　　希望了解Nginx的架构设计，学习其怎样充分使用服务器上的硬件资源的读者。

　　了解如何快速定位、修复Nginx中深层次Bug的读者。

　　希望利用Nginx提供的框架，设计出任何基于TCP的、无阻塞的、易于扩展的服务器的读者。

　　背景知识如果仅希望了解怎样使用已有的Nginx功能搭建服务器，那么阅读本书不需要什么先决条件。但如果希望通过阅读本书的第二、第三两部分，来学习Nginx的模块开发和架构设计技巧时，则必须了解C语言的基本语法。在阅读本书第三部分时，需要读者对TCP有一个基本的了解，同时对Linux操作系统也应该有简单的了解。

　　如何阅读本书我很希望将本书写成一本“step by step”式（循序渐进式）的书籍，因为这样最能节省读者的时间，然而，由于3个主要写作目的想解决的问题都不是那么简单，所以这本书只能做一个折中的处理。

　　在第一部分的前两章中，将只探讨如何使用Nginx这一个问题。阅读这一部分的读者不需要了解C语言，就可以学习如何部署Nginx，学习如何向其中添加各种官方、第三方的功能模块，如何通过修改配置文件来更改Nginx及各模块的功能，如何修改Linux操作系统上的参数来优化服务器性能，最终向用户提供企业级的Web服务器。这一部分介绍配置项的方式，更偏重于领着对Nginx还比较陌生的读者熟悉它，通过了解几个基本Nginx模块的配置修改方式，进而使读者可以通过查询官网、第三方网站来了解如何使用所有Nginx模块的用法。

　　在第二部分的第3章~第7章中，都是以例子来介绍HTTP模块的开发方式的，这里有些接近于“step by step”的学习方式，我在写作这一部分时，会通过循序渐进的方式使读者能够快速上手，同时会穿插着介绍其常见用法的基本原理。

　　在第三部分，将开始介绍Nginx的完整框架，阅读到这里将会了解第二部分中HTTP模块为何以此种方式开发，同时将可以轻易地开发Nginx模块。这一部分并不仅仅满足于阐述Nginx架构，而是会探讨其为何如此设计，只有这样才能抛开HTTP框架、邮件代理框架，实现一种新的业务框架、一种新的模块类型。

　　对于Nginx的使用还不熟悉的读者应当从第1章开始学习，前两章将帮助你快速了解Nginx。

　　使用过Nginx，但对如何开发Nginx的HTTP模块不太了解的读者可以直接从第3章开始学习，在这一章阅读完后，即可编写一个功能大致完整的HTTP模块。然而，编写企业级的模块必须阅读完第4章才能做到，这一章将会介绍编写产品线上服务器程序时必备的3个手段。第5章举例说明了两种编写复杂HTTP模块的方式，在第三部分会对这两个方式有进一步的说明。第6章介绍一种特殊的HTTP模块——HTTP过滤模块的编写方法。第7章探讨基础容器的用法，这同样是复杂模块的必备工具。

　　如果读者对于普通HTTP模块的编写已经很熟悉，想深入地实现更为复杂的HTTP模块，或者想了解邮件代理服务器的设计与实现，或者希望编写一种新的处理其他协议的模块，或者仅仅想了解Nginx的架构设计，都可以直接从第8章开始学习，这一章会从整体上系统介绍Nginx的模块式设计。第9章的事件框架是Nginx处理TCP的基础，这一章无法跳过。阅读第8章、第9章时可能会遇到许多第7章介绍过的容器，这时可以回到第7章查询其用法和意义。第10章~第12章在介绍HTTP框架，通过这3章的学习会对HTTP模块的开发有深入的了解，同时可以学习HTTP框架的优秀设计。第13章简单介绍了邮件代理服务器的设计，它近似于简化版的HTTP框架。第14章介绍了进程间同步的工具。第15章介绍了HTTP变量，包括如何使用已有变量、支持用户在nginx.conf中修改变量的值、支持其他模块开发者使用自己定义的变量等。第16章介绍了slab共享内存，该内存极为高效，可用于多个worker进程间的通信。

　　为了不让读者陷入代码的“汪洋大海”中，在本书中大量使用了图表，这样可以使读者快速、大体地了解流程和原理，在这基础上，如果读者还希望了解代码是如何实现的，可以针对性地阅读源代码中的相应方法。在代码的关键地方会通过添加注释的方式加以说明。希望这种方式能够帮助读者减少阅读花费的时间，更快、更好地把握住Nginx，同时深入到细节中。

　　写作本书第1版时，Nginx的最新稳定版本是1.0.14，所以当时是基于此版本来写作的。截止到第2版完成时，Nginx的稳定版本已经上升到了1.8.0。但这不会对本书的阅读造成困惑，笔者验证过示例代码，均可以运行在最新版本的Nginx中，这是因为本书主要是在介绍Nginx的基本框架代码，以及怎样使用这些框架代码开发新的Nginx模块。在这些基本框架代码中，Nginx一般不会做任何改变，否则已有的大量Nginx模块将无法工作，这种损失是不可承受的。而且Nginx框架为具体的功能模块提供了足够的灵活性，修改功能时很少需要修改框架代码。

　　Nginx是跨平台的服务器，然而这本书将只针对于最常见的Linux操作系统进行分析，这样做一方面是篇幅所限，另一方面则是本书的写作目的主要在于告诉大家如何基于Nginx编写代码，而不是怎样在一个具体的操作系统上修改配置使用Nginx。因此，即使本书以Linux系统为代表讲述Nginx，也不会影响使用其他操作系统的读者阅读，操作系统的差别相对于本书内容的影响实在是非常小。

　　勘误和支持由于作者的水平有限，加之编写的时间也很仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，我特意创建了一个在线支持与应急方案的二级站点：http://nginx.weebly.com。读者可以将书中的错误发布在Bug勘误表页面中，同时如果读者遇到任何问题，也可以访问Q&A页面，我将尽量在线上为读者提供最满意的解答。书中的全部源文件都将发布在这个网站上，我也会将相应的功能更新及时发布出来。如果你有更多的宝贵意见，也欢迎你发送邮件至我的邮箱russelltao@foxmail.com，期待能够听到读者的真挚反馈。

　　致谢我首先要感谢Igor Sysoev，他在Nginx设计上展现的功力令人折服，正是他的工作成果才有了本书诞生的意义。

　　lisa是机械工业出版社华章公司的优秀编辑，非常值得信任。在这半年的写作过程中，她花费了很多时间、精力来阅读我的书稿，指出了许多文字上和格式上的错误，她提出的建议都大大提高了本书的可读性。

　　在这半年时间里，一边工作一边写作给我带来了很大的压力，所以我要感谢我的父母在生活上对我无微不至的照顾，使我可以全力投入到写作中。繁忙的工作之余，写作又占用了休息时间的绝大部分，感谢我的太太毛业勤对我的体谅和鼓励，让我始终以高昂的斗志投入到本书的写作中。

　　感谢我工作中的同事们，正是在与他们一起战斗在一线的日子里，我才不断地对技术有新地感悟；正是那些充满激情的岁月，才使得我越来越热爱服务器技术的开发。

　　谨以此书，献给我最亲爱的家人，以及众多热爱Nginx的朋友。

　　陶辉2015年10月