语音识别技术的发展日新月异,新的理论和方案不断出现,读者除了掌握基本原理,也亟须了解语音识别最新的前沿技术,例如加权有限状态转换器(WFST)、端到端(E2E)语音识别等。
作者承担过大量的语音识别项目研究和开发工作,有丰富的工业应用经验。另外,作者从事本科生、研究生的语音识别教学十多年,从最早的动态时间规整(DTW)、隐马尔可夫模型(HMM)到最新的E2E语音识别框架,积累了丰富的教学经验,深感理论知识讲解的困难,特别是语音识别原理比较复杂,从声学特征提取到HMM建模和解码过程,涉及信号处理、概率模型和神经网络等多个领域知识,要做到浅显易懂尤为不易,因此作者很希望能编写一本符合学生掌握能力和教学进度的教材,弥补高校人工智能等专业语音教材的匮乏,同时也为产业界工程师的语音识别入门提供经验参考。
本书围绕语音识别的原理和应用讲解,理论结合实际,采用大量插图,辅以实例,力求深入浅出,让读者能较快地理解语音识别的基础理论和关键技术。为帮助读者动手操作,提高实战技能,本书最后还结合Kaldi和Espnet等开源工具,介绍了具体的工程实践方法。本书包含以下章节:
第1章 语音识别概论,介绍人类语音的产生和感知过程、语音识别的关键技术、发展历史等。
第2章 语音信号基础,介绍声音的采集和量化过程,以及编码和存储格式。
第3章 语音特征提取,介绍语音信号的频域分析、倒谱分析、声学特征提取过程等。
第4章 HMM,介绍双重随机过程,以及HMM的三大问题。
第5章 GMM-HMM,介绍高斯混合模型的定义和重估计公式,并结合例子讲解GMM如何与HMM结合,以及对应的具体参数形式。
第6章 基于HMM的语音识别,介绍单音子声学模型和Viterbi解码过程。
第7章 音素的上下文建模,介绍双音子和三音子模型,并基于问题集和决策树讲述三音子的训练过程。
第8章 语言模型,介绍语言模型训练过程及在语音识别中的作用。
第9章 WFST 解码器,介绍动态和静态解码网络,以及WFST、HCLG等关键技术。
第10章 DNN-HMM,介绍深度学习在语音识别中的应用,包括CNN、LSTM、TDNN等网络。
第11章 序列区分性训练,介绍 MMI/BMMI、MPE/sMBR等准则,以及Lattice-free MMI训练方法。
第12章 端到端语音识别,介绍CTC、RNN-T、Attention和Transformer等端到端语音识别系统。
第13章 Kaldi实践,首先介绍Kaldi的下载安装步骤,然后以aishell-1中文数据库为例,介绍如何训练和测试模型。
第14章 Espnet实践,介绍使用Espnet进行目前主流的端到端语音识别模型的训练和解码过程。
第15章 工业应用实践,介绍如何封装语音识别动态库,如何调用和调优。
本书由洪青阳完成主要章节的编写,李琳负责第3章的编写,洪青阳和李琳对全书进行了审校。特别感谢赵淼、李松、张宁、夏仕鹏、刘凯对本书的贡献,赵淼和李松分别对Kaldi和Espnet的实践过程做了深入细致的整理,他们的协助使得本书顺利完成。
感谢厦门大学智能语音实验室的童峰老师、许彬彬老师和同学们,为本书的创作提供了良好的学术氛围和精益求精的驱动力。
感谢语音学术和产业界的赵庆卫、王东、余洪涌、李明、张超、谢磊、张卫强、张鹏远等专家和学者,他们的指导和启发令本书增色不少。
感谢电子工业出版社的郑柳洁等老师的大力支持,她们认真细致的工作保证了本书的质量。
为读者写一本精品书是作者的初衷,但由于作者水平有限,书中难免有疏漏和不足之处,恳请读者批评指正!