神经网络与机器学习

神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功。在众多神经网络著作中，影响较为广泛的是Simon Haykin的《神经网络原理》（第3版更名为《神经网络与机器学习》）。在本书中，作者结合近年来神经网络和机器学习的新进展，从理论和实际应用出发，全面、系统地介绍了神经网络的基本模型、方法和技术，并将神经网络和机器学习有机地结合在一起。

《神经网络与机器学习》不但注重对数学分析方法和理论的探讨，而且也非常关注神经网络在模式识别、信号处理以及控制系统等实际工程问题的应用。本书的可读性非常强，作者举重若轻地对神经网络的基本模型和主要学习理论进行了深入探讨和分析，通过大量的试验报告、例题和习题来帮助读者更好地学习神经网络。

本版在前一版的基础上进行了广泛修订，提供了神经网络和机器学习这两个越来越重要的学科的新分析。

本书特色：

1. 基于随机梯度下降的在线学习算法；小规模和大规模学习问题。

2. 核方法，包括支持向量机和表达定理。

3. 信息论学习模型，包括连接、独立分量分析（ICA）、一致独立分量分析和信息瓶颈。

4. 随机动态规划，包括逼近和神经动态规划。

5. 逐次状态估计算法，包括卡尔曼和粒子滤波器。

6. 利用逐次状态估计算法训练递归神经网络。

7. 富有洞察力的面向计算机的试验。

Simon Haykin， 于1953年获得英国伯明翰大学博士学位，目前为加拿大McMaster大学电子与计算机工程系教授、通信研究实验室主任。他是国际电子电气工程界的著名学者，曾获得IEEE McNaughton金奖。他是加拿大皇家学会院士、IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多部标准教材。

出版者的话
译者序
前言
缩写和符号
术语
第0章 导言
0.1 什么是神经网络
0.2 人类大脑
0.3 神经元模型
0.4 被看作有向图的神经网络
0.5 反馈
0.6 网络结构
0.7 知识表示
0.8 学习过程
0.9 学习任务
0.10 结束语
注释和参考文献
第1章 Rosenblatt感知器
1.1 引言
1.2 感知器
1.3 感知器收敛定理
1.4 高斯环境下感知器与贝叶斯分类器的关系
1.5 计算机实验：模式分类
1.6 批量感知器算法
1.7 小结和讨论
注释和参考文献
习题
第2章 通过回归建立模型
2.1 引言
2.2 线性回归模型：初步考虑
2.3 参数向量的最大后验估计
2.4 正则最小二乘估计和MAP估计之间的关系
2.5 计算机实验：模式分类
2.6 最小描述长度原则
2.7 固定样本大小考虑
2.8 工具变量方法
2.9 小结和讨论
注释和参考文献
习题55
第3章 最小均方算法
3.1 引言
3.2 LMS算法的滤波结构
3.3 无约束最优化：回顾
3.4 维纳滤波器
3.5 最小均方算法
3.6 用马尔可夫模型来描画LMS算法和维纳滤波器的偏差
3.7 朗之万方程：布朗运动的特点
3.8 Kushner直接平均法
3.9 小学习率参数下统计LMS学习理论
3.10 计算机实验Ⅰ：线性预测
3.11 计算机实验Ⅱ：模式分类
3.12 LMS算法的优点和局限
3.13 学习率退火方案
3.14 小结和讨论
注释和参考文献
习题
第4章 多层感知器
4.1 引言
4.2 一些预备知识
4.3 批量学习和在线学习
4.4 反向传播算法
4.5 异或问题
4.6 改善反向传播算法性能的试探法
4.7 计算机实验：模式分类
4.8 反向传播和微分
4.9 Hessian矩阵及其在在线学习中的规则
4.10 学习率的最优退火和自适应控制
4.11 泛化
4.12 函数逼近
4.13 交叉验证
4.14 复杂度正则化和网络修剪
4.15 反向传播学习的优点和局限
4.16 作为最优化问题看待的监督学习
4.17 卷积网络
4.18 非线性滤波
4.19 小规模和大规模学习问题
4.20 小结和讨论
注释和参考文献
习题
第5章 核方法和径向基函数网络
5.1 引言
5.2 模式可分性的Cover定理
5.3 插值问题
5.4 径向基函数网络
5.5 K-均值聚类
5.6 权向量的递归最小二乘估计
5.7 RBF网络的混合学习过程
5.8 计算机实验：模式分类
5.9 高斯隐藏单元的解释
5.10 核回归及其与RBF网络的关系
5.11 小结和讨论
注释和参考文献
习题
第6章 支持向量机
第7章 正则化理论
第8章 主分量分析
第9章 自组织映射
第10章 信息论学习模型
第11章 植根于统计力学的随机方法
第12章 动态规划
第13章 神经动力学
第14章 动态系统状态估计的贝叶斯滤波
第15章 动态驱动递归网络
参考文献