《万亿级流量转发：BFE核心技术与实现》[108M]百度网盘pdf下载

万亿级流量转发：BFE核心技术与实现百度网盘pdf下载

作者:

简介:本篇主要提供万亿级流量转发：BFE核心技术与实现pdf下载

出版社：电子工业出版社

出版时间：2021-08

pdf下载价格：0.00￥

免费下载

前去下载

书籍下载

下载地址

内容介绍

产品特色

编辑推荐

适读人群：本书面向的读者包括计算机网络方向的研究者、网络相关技术的开发者、一般后台程序的开发者和负载均衡系统的使用者等。

突破云端海量极限、百度十年技术积淀——BFE核心技术首次落地成书。

全球shou个以Go语言实现万亿次流量转发的大规模平台。

经历百度春晚红包巅峰决战，是力扛极限并发流量冲击的实战宝典。

浓缩百度技术团队多年对平台架构及迭代的技术、创新、实践和积累。

完整呈现BFE 原理设计、架构实践和开发扩展，同时对流量调度、转发接入、负载均衡有更深入的介绍。

内容简介

本书围绕BFE开源项目，介绍网络前端接入和网络负载均衡的相关技术原理，说明BFE开源软件的设计思想和实现机制，讲解如何基于BFE开源软件搭建网络接入平台。

本书共17章，分为四个部分。第一部分为原理篇，介绍BFE开源项目的概貌，并对网络前端接入技术和网络负载均衡技术做简要介绍；第二部分为设计篇，介绍BFE开源项目的设计细节，包括BFE的设计思想、BFE的转发模型、BFE的关键机制和HTTPS的优化等；第三部分为操作篇，说明如何安装和部署BFE、如何在各种使用场景下配置BFE；第四部分为实现篇，从处理流程、插件机制、协议实现等方面说明BFE的实现机制。

本书面向的读者包括计算机网络方向的研究者、网络相关技术的开发者、一般后台程序的开发者和负载均衡系统的使用者等。

作者简介

章淼

博士，百度智能云架构师，BFE开源项目发起人。1997年至2006年在清华大学从事互联网协议和网络体系结构的研究。2012年加入百度，一直从事网络基础架构的研发工作。同时积极推动百度的代码质量和工程能力的提升，目前兼任百度代码规范委员会主席。

杨思杰

百度资深研发工程师，BFE开源项目主要负责人。从零开始参与百度新一代BFE转发平台的建设及创新，拥有近10年的在网络接入和系统架构方面的深入研究和实践经验。关注于通过开源驱动基础软件可持续发展及创造更大的价值。

戴明

百度资深研发工程师，主要从事BFE相关系统和产品的研发工作。曾在朗讯、诺基亚等电信设备公司工作多年，从事电信软件研发和架构设计工作。

陶春华

博士，百度资深研发工程师。2010年毕业于天津大学计算机系，2013年加入百度，先后参与智能流量调度、BFE的Go语言重构、BFE管控平台等重大项目。目前工作重心是负载均衡商业产品的研发。

精彩书评

以十年磨一剑的精神，以“科技为更好”的理念，BFE诞生于网民数量和互联网流量井喷的时点。在大力倡导并发展核心科技的新时代，BFE再次以开放、开源的方式走进各行各业。愿BFE和信仰技术的开发者们，为数字化、智能化时代贡献更多技术力量，为更多的技术信仰者照亮前行之路！

——李硕百度副总裁

BFE项目从启动至今已经有9年时间了，但是还保持着活力。这是因为百度巨大的用户流量所带来的持续挑战，也因为项目在开源之后来自开源社区的很多优秀的工程师的积极参与。我期待，BFE项目以及这本书可以帮助到更多软件工程师的成长。

——夏华夏美团首席科学家

度小满金融独立时，我毫不犹豫地选择了BFE并一直应用到现在，其稳定性一直非常好。向各位读者推荐这本书，期待BFE帮助更多的人解决问题，期待着更多的人参与到BFE开源项目中来。

——陈存利度小满金融技术总监

作为BFE曾经的建设者和使用者，我一直把它当作守护百度众多产品的“门神”。在用户流量接入、服务可靠性建设方面，百度将多年的经验和智慧沉淀其中，在2019年百度春晚活动的巅峰决战中，BFE扛住了极限并发流量的冲击，让整个活动进展得如丝般顺滑。BFE是十年磨一剑的作品，是百度工程实践的代表性作品之一，本书毫无保留地把这一切奥秘分享给大家，一定能在大家解决实际问题时给以启发。同时，我从本书中看到的是百度工程师务实、自驱、追求极致的工程态度，也希望它能给在工程实践中持续追求卓越的同路人以力量。

——贺锋　百度智能办公平台部总监

BFE是百度统一的七层负载均衡接入转发平台。BFE平台从2012年开始建设。截至2020年年底，BFE平台每日转发的请求超过1万亿次，日峰值请求超过每秒1000万次查询。章淼博士是BFE平台的主要设计者和推动者，特别是推动BFE在2019年成为开源项目，这一决策让整个业界都可以从中获益。我很高兴看到章淼博士及团队推出了这样一本全面介绍BFE架构和关键技术的新书，相信本书能够进一步推动BFE在业界的影响和应用。我愿意推荐本书给广大信息技术从业者和技术开发人员。

——徐恪　清华大学计算机系教授、副系主任

BFE是shou个来自中国、在网络方向被CNCF接受的开源项目。对项目原理、设计、操作、实现、开发以及贡献感兴趣的读者，这本来自项目维护者撰写的书是绝对不容错过的。

——Keith Chan 陈泽辉 CNCF（云原生计算基金会）中国区总监、Linux基金会亚太区策略总监

BFE在互联网基础设施领域像一枚大型火箭炮，不追求面子上对于某些性能的极致指标，但从架构设计之初就充分考虑了各种大型复杂战场的实战需求。面对各种挑战，无论是互联网业务自身复杂多变、快速伸缩的场景，还是互联网技术日新月异的变化，BFE都能高效、称手、可靠地完成各种作战任务。

——韦韬　蚂蚁集团副总裁

招商银行选择百度BFE作为招行私有云负载均衡和流量调度总入口，是因为遇到过Nginx等其他软件无法解决的难题，包括租户支持、配置热加载副作用小、快速启动、灵活的条件表达式、充分而超大规模的验证等。现在，BGW和BFE在招行云逐步实现了对F5的替代。作为BFE的深度用户，招行既研究了BFE的开源代码，学习了章淼等老师的著作，也有了大量使用经验和些许建议。从用户角度来说，本书逻辑通顺，描述清晰。无论是原理或机制介绍，还是操作和实现步骤，都切实可行。我想这与章淼老师团队一贯注重软件工程质量和代码艺术是分不开的。BFE是一个好产品，推荐更多读者和我们一起推动BFE开源社区不断发展壮大！

——熊爱国　招商银行云计算项目组负责人、招商银行杰出人才

站在安全者的角度来说，在改变内容安全的道路上，我们也尝试过很多支撑类产品，但效果都不太理想，直到我们遇到了它——BFE平台。经过一段时间真刀真枪的使用（先线下再线上），它确实让我们眼前一亮：因我们网站的属性有别于商业网站，BFE通过纯正的开源血统，很快地融入了我们现有的技术架构当中，且具有出色的转发性能和丰富的功能特色。

站在使用者的角度来说，我们很满意。在此也期待BFE在开源生态的长河中，为更多的小伙伴们带来更多的亮点。

——戴鸣泉　央视网网络安全部总监

我是在很早之前通过Go Team 的Robert的介绍知道了BFE项目，这是唯一一个通过Go官方的人才知道的国内开源项目，也说明BFE在国际化方面做得非常好，因为项目得到了Go Team的认可。BFE作为目前国内zui da的流量转发开源项目，这一次章博士和他的团队出版的这本书终于能够让更多读者深度地去了解BFE背后的设计原理和实现。

——谢孟军　Gopher China社区创始人，积梦智能CEO

BFE 是一个现代化的、云原生的七层负载均衡系统，在百度内外有着广泛的使用，也是社区最关注的负载均衡软件之一。本书可以为技术人员指引道路，带他们进入 BFE 的世界，具有较强的实战指导意义。

——罗广明云原生社区联合创始人、云原生布道师

随着移动互联网技术的不断发展，企业规模越来越大，对于各个业务来说，服务接入网关转发、流控、安防等需求也随之增加。本书以循序渐进的方式详细剖析了BFE 的方方面面，从原理到设计，再到实战。我相信这本书将帮助读者吃透 BFE，深入理解网络接入。

——杨文 Go夜读社区创始人

在云计算时代浪潮下，大规模、高并发的技术架构已成为主流。云计算的高速发展，离不开底层基础设施的创新与改进。传统七层负载均衡架构已无法满足复杂的网络集群，由此，百度在云时代的巨量请求背景下产出了BFE产品，并在内部不断总结七层负载均衡技术的最佳实践，这本书对BFE庖丁解牛，内容全面详尽，这本书值得每一位与云计算基础相关领域的工程师阅读。

——郑东旭　BFE开源项目Maintainer、《Kubernetes源码剖析》作者

在多数据中心、多集群、多租户的复杂流量调度转发场景下，BFE 是一个很好的解决方案。BFE 作为流量接入层，可以做到开箱即用，同时提供了很好的插件扩展机制，也可以结合 Kubernetes 落地云原生场景。本书涵盖了BFE 的原理设计、架构实践、开发扩展等方面，读者在学习掌握 BFE 的同时，也可以对流量调度、转发接入、负载均衡有新的理解。

——于畅　奇虎360云原生工程师

精彩书摘

第1章 BFE简介

本章将对BFE做一个概括介绍，主要内容如下。

（1）什么是BFE。

（2）构建BFE平台的出发点及平台主要功能。

（3）BFE开源项目情况。

1.1 什么是BFE

BFE最初是Baidu Front End（百度统一前端）的缩写。BFE平台是百度统一的七层负载均衡接入转发平台，该平台从2012年开始建设，截至2020年年底，平台每日转发的请求超过1万亿次，日峰值请求超过每秒1000万次查询。

2014年，BFE平台的核心转发引擎基于Go语言重构，并于2015年1月在百度全量上线。在全世界范围内，BFE平台是较早将Go语言用于负载均衡场景及大规模使用的项目。

2019年年初，BFE平台成功地支持了百度春晚红包项目。在本次项目中，BFE平台提供了每秒亿次级别请求的转发能力，在海量流量下支持了HTTPS（Hyper Text Transfer Protocol over SecureSocket Layer，以安全为目标的HTTP通道）卸载，以及精确限流等关键能力，保证了活动的顺利进行。

2019年7月，BFE平台的转发引擎对外开源。因为BFE开源项目在业界的巨大影响力，所以项目名称仍保留英文缩写BFE，但英文全称更名为Beyond Front End（中文意为“超越前端”），我们希望通过BFE的开源推动负载均衡技术的发展。

2020年6月，BFE被CNCF（Cloud Native Computing Foundation，云原生计算基金会）接受为“沙盒项目（Sandbox Project）”。

BFE开源项目的地址为GitHub官网上的bfenetworks/bfe，也可以在GitHub中搜索“bfe”。

1.2 BFE平台介绍

本节介绍BFE平台的情况。首先介绍为什么需要构建BFE平台，然后介绍BFE平台的主要功能。

1.2.1 为什么需要构建BFE平台

在传统方案中，并不存在统一的七层负载均衡接入层，如图1.1所示。在存在多个服务的场景下，各业务流量在经四层负载均衡的转发后，直接到达业务的Web服务集群。

这种方案存在以下问题。

（1）功能重复开发。在协议处理、安全等方面，很多重要的功能都需要支持，考虑到各种业务集群在语言、技术栈上的差异，在多个不同的业务集群上支持相同的功能会带来很高的研发成本。

（2）运维成本高。在某些场景下，需要多个业务同时上线相同的安全策略，在缺乏统一七层负载均衡接入层的情况下，需要在多个业务集群反复上线。这不仅仅带来大量的上线工作成本，而且也使得策略的上线时间很长。

（3）流量统一控制能力低。由于各业务集群的分散性，在公司层面，缺乏对流量情况的统一观察和控制能力，这也阻碍了对网络资源的统一控制，以及对网络服务质量的统一管理。

在引入BFE平台后，所有流量都经过BFE的接入转发后才到达业务Web服务集群，如图1.2所示，从而带来以下优点。

（1）功能统一开发。无论业务集群的技术有何差异，各种相关功能只需要在BFE平台做一次开发即可。

（2）运维统一管理。对于需要普遍使用的安全策略，只需要在平台上统一上线即可。

（3）增强流量控制能力。和四层负载均衡相比，七层负载均衡可以“看到”流量中更多的内容，可以在流量转发、安全、数据统计等方面提供更强的能力。

1.2.2 BFE平台的主要功能

作为一个综合的大型七层负载均衡流量转发平台，BFE平台包括以下4个主要功能，如图1.3所示。

（1）接入和转发。BFE平台可以接收处理HTTP、HTTPS、HTTP/2、QUIC（Quick UDP Internet Connections，基于UDP的低延迟的互联网传输层协议）等多种协议的流量，并基于HTTP 头部信息做分流转发。

（2）流量调度。BFE平台包括由内网流量调度和外网流量调度所组成的两层流量调度体系。

（3）安全防攻击。BFE平台支持多种安全能力，包括黑名单封禁、大容量限流、WAF（Web Application Firewall，应用层防火墙）等。

（4）数据分析。BFE平台可以基于转发日志生成实时流量报表，以此反映业务的流量变化情况及下游业务集群的健康状态（错误数、延迟等）。

查看全部↓

前言/序言

●● 序 ●●

从2014年4月写下Go语言版本BFE的第一行代码起，7年多的时间过去了。从2015年1月Go语言版本BFE全量上线开始，BFE至今已经在百度稳定运行了6年多的时间，每天转发请求超过万亿次。

BFE（Baidu Front End，百度统一前端）是百度统一七层流量转发平台，当你访问百度的时候，很可能已经在使用BFE的服务了。

百度的BFE团队始建于2012年。当2012年年底我加入百度的时候，整个团队只有6~7个人。这个团队的创始人是夏华夏同学（现在在美团），他为BFE团队的工作方向做了奠基性规划。BFE初期的转发引擎是基于C语言的，听说是杨震原同学（现在在头条）的大作。

2014年年初，基于各种考虑，我们决定对转发引擎进行重构。这次重构前后花费了3个季度，投入了超过30个人月的资源。在面对多次失败的风险后，Go语言版本的BFE终于出炉了。

这里必须感谢部门领导李硕和团队经理贺锋的大力支持，感谢管理层的高度信任；感谢直接参与的几位同学（李炳毅、魏为、杨思杰、陶春华等），大家都是冒着失败离职的风险，硬着头皮把这个项目做下来的。

我必须要感谢百度。到目前为止，我仍然坚定地认为，百度是中国最适合做技术的公司。百度给了工程师最大的尊重和自由，也愿意为了技术研发承担最大的风险。BFE团队的另一个项目GTC(全局流量调度)，前后研发了5年时间。曾经有一个朋友告诉我，也就只有百度可以给团队这么多的时间，如果在其他公司，一年内做不出来，项目很可能就被取消了。能够在百度、在中国做全球最领先的技术，我感到无比骄傲。

2019年7月，BFE的转发引擎对外开源。项目名称仍保留英文缩写BFE，英文全称更名为Beyond Front End（中文意为“超越前端”）。我们希望通过BFE的开源推动负载均衡技术的发展。

从开源的那天起，BFE就已经开始了新的征程。BFE得到了各方的广泛关注，有不少新增的功能是由百度之外的开发者贡献的。BFE也被一些客户选择用于关键的业务场景，在度小满金融、央视网、招商银行等处都有BFE的身影。作为一个做技术的人，能够让自己所做的工作为社会创造价值，这是莫大的幸福和荣幸。

在BFE开源后，我们不断地收到大家提出的一些问题。网络负载均衡本身是一个比较专业和复杂的技术方向；BFE是为面向工业级使用场景而设计的，在模型和机制上和其他同类软件相比，会更加复杂。以上这些因素让一些使用者和开发者在理解BFE的机制方面遇到了困难。希望通过这本书，能够帮助读者更好地了解网络负载均衡的相关技术，让读者更容易地理解BFE的设计机制和使用方法。

BFE项目，是一群技术人的汗水、梦想和追求。

BFE开源，是为了交流、共享，为全中国、全世界的同行赋能。

感谢各位读者的关注，欢迎大家使用BFE开源项目，并提出反馈或参与开发！

章淼博士

百度BFE团队技术负责人、百度代码规范委员会主席

2021年6月25日写于百度

● ●前言● ●

●为什么要写这本书●

网络负载均衡技术已经存在了很多年。无论是商用的硬件负载均衡器，还是免费的Nginx、HAProxy等开源软件，都已经被业界使用多年。随着云计算技术的蓬勃发展，我们又迎来了重新定义负载均衡系统的时机。

作为一个现代的七层负载均衡软件，BFE在2014年基于Go语言编写，在百度内部每日处理的请求超过1万亿次，并于2019年年初成功支持了百度“春晚红包”项目。BFE于2019年7月对外开源，并于2020年6月被云原生计算基金会（CNCF）接受为“沙盒项目”。

BFE是学术、技术和工程相结合的产物。从2015年开始，笔者已经围绕BFE对外做过多次技术分享，在BFE开源项目的官网上也有一些说明文档。但是，对于BFE的原理、设计和实现机制仍缺少系统、全面的资料，这给相关同行了解和使用BFE带来了困难。

为此，笔者整合了BFE开源项目的相关资料和自己的研发心得，希望能够通过这些内容帮助读者理解BFE的原理、实现机制和使用方法。

●如何阅读本书●

本书面向的读者包括计算机网络方向的研究者、网络相关技术的开发者、一般后台程序的开发者、负载均衡系统的使用者等。

本书分为四部分。

第一部分为原理篇，包括第1章至第3章，介绍BFE开源项目的概貌，并对BFE所涉及的网络前端接入和网络负载均衡的技术原理做简要介绍。

第二部分为设计篇，包括第4章至第8章，说明BFE开源项目的设计细节，包括BFE的设计思想、BFE的转发模型、与转发相关的关键机制、运维相关机制、HTTPS的优化等。

第三部分为操作篇，包括第9章至第13章，说明如何安装和部署BFE、如何在各种使用场景下配置BFE。

第四部分为实现篇，包括第14章至第17章，从处理流程、插件机制、协议实现等方面说明BFE的实现机制。

●勘误与支持●

由于笔者水平有限，书中难免会出现一些错误，恳请读者批评指正。如果您有宝贵的意见和建议，请发邮件到BFE-OSC@baidu.com，期待和您进一步深入交流。

●致谢●

首先，感谢百度公司和百度的各位同事，为BFE的诞生和发展创造了良好的环境，本书的完成离不开大家的支持和鼓励。

然后，感谢BFE开源社区的贡献者和参与者，感谢CNCF，BFE开源项目的发展源于大家的关爱和支持。

最后，诚挚地感谢电子工业出版社的滕老师等工作人员，依靠大家的鼓励和幕后支持，才有了本书的出版。